우리는 데이터 분석을 수행하면서 다양한 데이터 변환 작업을 수행하게 된다. 이는 데이터가 원래 특정 분석을 염두에 두고 만들어지는 경우가 거의 없기 때문이며, 사실 애초 데이터 설계를 할 때 분석 목적을 알기도 불가능하다는 게 가장 큰 원인이 아닐까 한다. 이런 연유로 전체 데이터 분석 작업에서 70% 혹은 80% 이상이 이런 데이터 변환 및 전처리 작업에서 소모된다. […]

계속 읽기

큐비보드, 비글보드 블랙을 거쳐 오랜 시행착오 끝네 라즈베리파이에 안착했다. 역시나 라즈베리파이를 만나고 나서 이쪽으로 강렬한 이끌림을 받았으며 이런 저런 창조력을 발휘발 생각에 매일 오감이 자극될 지경이다. 내가 관심 있어하는 것은 내가 흘리고 다니는 나의 데이터이다. 내가 흘리고 다니는 것이라 모두 안다고 치부하기에는 이 데이터는 너무 객관적인 데이터이라는 특징 있다. 여름이 왔으니 일단 실내 온도에 관심이 […]

계속 읽기

한국 사용자들의 R 패키지 이용 현황을 보여주려 한다. RStudio 미러 서버가 전체 한국 사용자를 대변하기는 힘들테지만 RStudio 에디터의 기본 미러링 설정이 RStudio 서버로 되어 있으니 기본 설정 그대로 쓰는 사용자 습성을 볼때 어느정도 의미는 있을 거라 생각한다. library(ggplot2) library(lubridate) library(plyr) if (!require("devtools")) install.packages("devtools") require("devtools") # make sure you have Rtools installed first! if not, then […]

계속 읽기

예전에 한국 cran 미러링 서버를 구축하면서 미러링 서버의 웹 서버 로그를 기반으로 몇 가지 시각화를 해서 공개 세미나에서 분석 결과를 공유했던 적이 있었다. 사실 이런 로그 공개 작업에 대해서 개인적으로 고민한 적이 있었는데, 얼마전에 RStudio에서 관련 작업을 했던 결과를 공개하고 말았다. 그러면서 나도 로컬 cran 미러링에서 RStudio로 넘어오게 되었는데, 이 이유는 RStudio의 미러렁 서버가 AWS […]

계속 읽기

저렴한 시스템에서 대용량 데이터 학습하기 데이터 레코드가 10만개 정도, 그러나 필드가 500개. 그러나 분석가가 가지고 있는 R 시스템은 정말 아주 일반적인 시스템이라 하자. 예를 들어 윈도우 7 32bit, 4GB램… 위의 상황일때 지금같으면 램을 증설하고 윈도우 7 64비트 OS로 바꾸는 작업을 할텐데, 이런 쉬운 결정이야 지금에야 어느정도 가능하지만 불과 몇년전 까지만 해도 간단한 일이 아니었다. 아래 […]

계속 읽기