당신의 나의 뜨거운 감자!
데이터 과학이란? – 미래는 데이터를 제품화하는 회사와 개인에게 달려있다. 전부터 번역하고 싶었던 글인데, 누군가 번역을 잘 해줘서 링크 걸었다. 특히 아래 대목은 페이스북의 데이터 과학자들이 어떤 방식으로 일하는지 아주 간단하고 명료하게 보여준 글이 아닐까 한다. …언제든, 팀원은 파이썬으로 다단계 처리 파이프라인을 작성하고, 가설 시험을 설계하며, R을 가지고 데이터 샘플의 회귀분석을 수행하고 데이터 위주의 제품이나 […]
계속 읽기이번달(2011.09) 월간 마이크로소프트에 기고했던 R로 하는 Big Data분석의 Rhipe 예제 코드에 퍼포먼스 문제가 있어서 개선된 코드를 올려본다. Rhipe의 아키텍처를 살펴볼 시간이 없었는데, 같은 회사분께서 고맙게도 구동 방식을 자세히 설명해줘서 코드 튜닝을 할 수 있었던거 같다. 원본 예제코드가 세 노드에서 6시간에 걸쳐 map/reduce를 한다는 것을 확인 했던 게 원고 데드라인이 지난 후였었는데, Rhipe의 구동 방식을 모르고서는 […]
계속 읽기오늘 아침에 facebook 메시지를 통해서 알았는데, 월간 마소 빅 데이터 연재에서 잠시 소개했던 Revolution Analytics의 R 상용버전의 한국 진출 소식을 접할 수 있었다. 생각보다 상당히 빠른 행보인데, 아무래도 국내 메이저 제조업체가 R을 염두에 두고 있는 관계로 진행이 빨리 된 거 같다는 생각을 해본다. R은 분석 툴로서 가치를 가지고 있고 이를 기반을 어떤 가치를 고객에게 제공할지는 […]
계속 읽기수많은 데이터가 쌓이고 사라지고, 가치가 있을것 같지만 시간을 들여 귀 기울여 보지 않는 그런 수많은 로그들은 벙어리로 살다가 존재감 없이 사라진다. 그 데이터들의 목소리를 듣기 위해서는 새 이름을 만들어주고 애정을 가지고 들여다 보는 ‘시간’이 필요하다. 어린왕자에서 말하는 그런 서로 길들여지는 과정이 필요하다는 것이다. 그런 과정을 거쳐 서로 익숙해 지는 시간을 보냈을 때 데이터는 스스로 […]
계속 읽기R을 처음 배우고 싶어하는 분들이 가장 어려워 하는 이유는 R을 단순히 일반적인 프로그래밍 언어로 접근하기 때문이 아닌가 한다. 따라서 언어를 이해하기 위해 통계나 데이터 마이닝 공부를 병행하는 것을 추천한다. R을 가장 잘 이해하기 위해 개인적으로 가장 추천하는 방법은 언어 문법을 익히고 관련 기초 통계를 R을 기반으로 실습해 보는 것이다. 그리고 마지막 단계로 kaggle이나 CrowdANALYTIX와 같은 […]
계속 읽기지난달에 휴가 내면서까지 원고 데드라인을 맞췄던 ‘R로 하는 Big Data 분석’ 2회 연재를 월간 마소8월호 출간에 맞춰서 공개한다. 1회는 기말고사에 좀 집중하려고 팀원분에게 부탁을 드려서 잘 해결 되었으나 2회는 역시 kmobile 강연하고 거의 겹치는 바람에 집중을 못하고 있다가 결국 휴가내고 하루 집중해서 해결 했다. doSMP와 Rmpi, 그리고 snowfall이라는 멀티코어 분산처리 패키지를 중심으로 설명을 했고, 인터넷에도 […]
계속 읽기금일 k모바일에서 추죄하는 “빅 데이터 애널리틱스 코리아 2011”에 참석해서 마지막 세션인 “Use Cases of Crowd Analysis”에 대해서 발표했다. 가장 듣고 싶었던 첫 세션 최대우 교수님의 말씀덕분에 나중에 R에 대해서 설명하는데 약간은 수월했던거 같다. 인사를 못드려서 좀 아쉽긴 한데, 앞으로 계속 뵐 일이 있을거 같다는 예감이 들어서 그나마 다행이라고 생각한다. Wine 등급에 대한 예측 이야기에 대해서 […]
계속 읽기R에서 예측 변수를 factor로 하고 데이터 작업 하다보면 언젠가는 만날 수 있는 에러라고 생각한다. 이거때문에 is.na() 같은 데이터 체크 함수로 별짓을 다 해봤지만 별 이상없는 데이터를 바라보면 왜 그럴까 했는데, 역시 factor 변수를 쓰면서 나올 수 있는 문제였다. 결과적으로 이 문제는 데이터 편집하다가 값이 없는 factor level이 포함되어 있을때 나올 수 있다. 그러니까 levels(foo)의 결과가 […]
계속 읽기MSE, RMSE, MAE, RSE, RESE, RAE 등의 계산 방법들… Data Mining : Practical Machine Learning Tools and Techniques 에서 발췌
계속 읽기첫번째, 두번째에 이어 세번째 이야기를 하려 한다. 5/28/2011 0.793290832 6/1/2011 0.651258728 6/6/2011 0.653900762 6/14/2011 0.66176357 6/16/2011 0.800861605 6/17/2011 0.647275457 …. 6/23/2011 0.637884434 어제 submission을 통해 다시 한번 에러를 줄이는 쾌거를 올렸다. 이전보다 약 0.01정도 오른 상황이고, 신기하게도 엇그제인가 0.60대가 깨진 score가 하나 올라왔다. 0.03을 줄인다면 1등도 할 수 있을거 같은데, 말이 쉽지 정말 […]
계속 읽기