당신의 나의 뜨거운 감자!
데이터 크기 자체가 문제가 될 상황에 그 데이터를 빅 데이터라고 한다는 정의를 좋아하는데, 빅 데이터 분석도 마찬가지 개념을 적용할 수 있음을 최근에 느낄 수 있었다. 아주 간단한 분석 방법 조차도 데이터 크기가 커져버리면 분석하기 힘들어져 버리는데 그 때의 분석을 빅 데이터 분석이라고 해야 하지 않을까 생각해 본다. 분석 자체도 문제이고 이를 효과적으로 표현하는 Visuallization도 빅 […]
계속 읽기어제 The Art of R Programming 책을 보다가 2.13에서 포함된 바이트 컴파일러 패키지 예제를 보고 몇 가지 코드를 올려본다. 크게 3가지 코드가 있는데, 테스트는 10000000의 데이터를 가진 벡터끼리의 곱 연산 속도 비교를 for문 기반, 바이트 컴파일 된 함수 기반,vectorization 기반 이렇게 세가지 방법으로 돌려봤다. 결과는 바이트 컴파일 된 함수가 for으로 돌린 컴파일되지 않은 코드보다 3배 […]
계속 읽기Revolution R Enterprise버전에 대해서 학생 신분이라면 자유롭게 사용할 수 있으나, 일반인의 경우 죄책감을 느끼며 사용해볼 필요가 있나 싶다. 게다가 엔터프라이즈 버전에 달려있는 최악의 IDE환경은 정말 눈뜨고 못써줄 지경이다. 차선책으로 Revloution R 커뮤니티 버전을 자유롭게 배포하고 있다. 꼭히 대용량 처리의 RevoScaleR 패키지를 사용할 필요가 없으나 math 라이브러리를 최적화해서 컴파일한 윈도우 버전을 쓰고 싶다면 정말 추천하는 R버전이라고 […]
계속 읽기데이터 과학이란? – 미래는 데이터를 제품화하는 회사와 개인에게 달려있다. 전부터 번역하고 싶었던 글인데, 누군가 번역을 잘 해줘서 링크 걸었다. 특히 아래 대목은 페이스북의 데이터 과학자들이 어떤 방식으로 일하는지 아주 간단하고 명료하게 보여준 글이 아닐까 한다. …언제든, 팀원은 파이썬으로 다단계 처리 파이프라인을 작성하고, 가설 시험을 설계하며, R을 가지고 데이터 샘플의 회귀분석을 수행하고 데이터 위주의 제품이나 […]
계속 읽기이번달(2011.09) 월간 마이크로소프트에 기고했던 R로 하는 Big Data분석의 Rhipe 예제 코드에 퍼포먼스 문제가 있어서 개선된 코드를 올려본다. Rhipe의 아키텍처를 살펴볼 시간이 없었는데, 같은 회사분께서 고맙게도 구동 방식을 자세히 설명해줘서 코드 튜닝을 할 수 있었던거 같다. 원본 예제코드가 세 노드에서 6시간에 걸쳐 map/reduce를 한다는 것을 확인 했던 게 원고 데드라인이 지난 후였었는데, Rhipe의 구동 방식을 모르고서는 […]
계속 읽기오늘 아침에 facebook 메시지를 통해서 알았는데, 월간 마소 빅 데이터 연재에서 잠시 소개했던 Revolution Analytics의 R 상용버전의 한국 진출 소식을 접할 수 있었다. 생각보다 상당히 빠른 행보인데, 아무래도 국내 메이저 제조업체가 R을 염두에 두고 있는 관계로 진행이 빨리 된 거 같다는 생각을 해본다. R은 분석 툴로서 가치를 가지고 있고 이를 기반을 어떤 가치를 고객에게 제공할지는 […]
계속 읽기1회에서는 R 기본 문법, 2회에서는 R로 하는 멀티코어 병렬 프로그래밍에 대해서 간단하게 살펴 보았다. 이번 회에서는 R로 빅 데이터를 분석하는 방법을 설명할 예정이다. 일단 왜 R에서 빅 데 이터 분석이 힘든지에 대해서 간략하게 설명을 하겠고, 이를 극복해 분석하기 위해서 몇 가지 패키 지를 활용하는 방법을 소개하겠다. 마지막 연재를 마치고 원고를 공개한다. 아마 어제 오늘 […]
계속 읽기수많은 데이터가 쌓이고 사라지고, 가치가 있을것 같지만 시간을 들여 귀 기울여 보지 않는 그런 수많은 로그들은 벙어리로 살다가 존재감 없이 사라진다. 그 데이터들의 목소리를 듣기 위해서는 새 이름을 만들어주고 애정을 가지고 들여다 보는 ‘시간’이 필요하다. 어린왕자에서 말하는 그런 서로 길들여지는 과정이 필요하다는 것이다. 그런 과정을 거쳐 서로 익숙해 지는 시간을 보냈을 때 데이터는 스스로 […]
계속 읽기R을 처음 배우고 싶어하는 분들이 가장 어려워 하는 이유는 R을 단순히 일반적인 프로그래밍 언어로 접근하기 때문이 아닌가 한다. 따라서 언어를 이해하기 위해 통계나 데이터 마이닝 공부를 병행하는 것을 추천한다. R을 가장 잘 이해하기 위해 개인적으로 가장 추천하는 방법은 언어 문법을 익히고 관련 기초 통계를 R을 기반으로 실습해 보는 것이다. 그리고 마지막 단계로 kaggle이나 CrowdANALYTIX와 같은 […]
계속 읽기