data.table 소개

분석해야될 데이터가 많아지면 프로세싱에 많은 시간이 걸리게 되고 분석 소요 시간에 대해서 예측할 수 없는 상황에 처하게 된다. 따라서 자신의 데이터 특징에 맞는 데이터 처리 라이브러리를 사용하는게 중요해진다. 많은 패키지가 있기 때문에 이런 선택의 고민에 빠지게 되는데, 이럴때 data.table은 하나의 황금룰로 가져가는것도 나쁘지 않을듯 하다. 예전 외부 세미나에서 data.table은 컬럼에 인덱스를 걸 수 있는거 빼놓고는 […]

계속 읽기

R 실무 데이터 분석 세미나 참고자료

R 실무 데이터 분석 세미나에 참여해 주셔서 감사드립니다. 저도 이번 시간을 통해 R 사용자들이 어떤 부분에 관심이 있고 궁금해 하는지 잘 이해할 수 있었습니다. 이날 정말 많은 내용들을 전달해 드리려 쉬는시간도 거의 없이 7시간을 계속 이야기 했는데도 시간 관계상 간단하게 언급한 내용들과 사전에 공유를 드리지 못한 자료들을 이곳에 올려 놓으니 많은 참고 바라겠습니다. extrafont를 사용한 […]

계속 읽기

서울시 공공 wifi 시각화

서울 공공 wifi 현황 데이터를 가져와 좌표 체계 WGS84로 전환한 이후에 이를 기반으로 몇 가지 시각화를 해봤다. library(ggplot2) wifi_new <- read.csv("http://dl.dropboxusercontent.com/u/8686172/wifi_wgs_euc_kr.csv", encoding = "EUC-KR") ggplot(wifi_new, aes(x = factor(1))) + geom_bar(aes(fill = INSTL_DIV), width = 1) + coord_polar(theta = "y") + xlab("") + ylab("") 위 그래프를 보면 꼭히 시장 점유율대로 공공에 지원하는게 아님을 알 수 있다. […]

계속 읽기

ggmap과 네이버 맵 연동

어제 저녁부터 ggmap에 네이버 맵 연동을 해볼 생각으로 코딩을 좀 했는데, 쓸만한 수준의 구현체가 나와 공유하고자 글을 쓴다. ggmap이 위치 정보 시각화에 상당히 편리한 패키지임에도 국내 전용 지도가 아니어서 다양한 정보를 접할 수 없는 불편한 점이 있었는데, 네이버 staticmap API를 이용해 이 부분을 해결했다. 이걸 구현하는데, 지도의 X,Y 좌표와 그래프의 X,Y 좌표 연동을 하는게 가장 […]

계속 읽기

윈도우 R 수학연산 성능 향상 시키기

  금번 포스트에서는 윈도우 버전의 R의 계산 성능을 향상시키는 팁을 올려본다. 이는 물론 이 문서 에서 힌트를 얻었다는 것을 미리 알려두며, 윈도 버전의 BLAS 라이브러리의 컴파일된 바이너리가 인터넷에 존재해서 가능했다는 점을 미리 밝혀둔다.   만일 그렇다면 직접 윈도우에서 빌드를 하는 수고를 했어야 했다. 리눅스 버전의 경우 심지어 직접 소스를 빌드해야 되며 환경마다 다른 설정이 필요한 부분이 […]

계속 읽기

예측 모델링에 대한 실용서

  R 커뮤니티에서 예측 모델링 실무 패키지로 내가 가장 감명깊게 사용한 패키지가 있는데, caret이라는 패키지이다. 2012년도 UseR! 행사 시 Max Kuhn 박사를 처음 뵈었고 이미 알고 있는 내용이었지만 튜토리얼 세션을 반나절동안 참여했을 정도로 이 박사님의 경험과 철학을 높게 사고 있었다. 특히 모델 평가를 위해 10-fold-crossvalidation 을 멀티코어로 돌려서 가장 최적의 파라메터를 찾는 방법에서 이전 야후!에서의 […]

계속 읽기

분석하기 좋은 데이터(Tidy Data)

우리는 데이터 분석을 수행하면서 다양한 데이터 변환 작업을 수행하게 된다. 이는 데이터가 원래 특정 분석을 염두에 두고 만들어지는 경우가 거의 없기 때문이며, 사실 애초 데이터 설계를 할 때 분석 목적을 알기도 불가능하다는 게 가장 큰 원인이 아닐까 한다. 이런 연유로 전체 데이터 분석 작업에서 70% 혹은 80% 이상이 이런 데이터 변환 및 전처리 작업에서 소모된다. […]

계속 읽기

라즈베리 파이를 이용한 라이프 로깅 시작

큐비보드, 비글보드 블랙을 거쳐 오랜 시행착오 끝네 라즈베리파이에 안착했다. 역시나 라즈베리파이를 만나고 나서 이쪽으로 강렬한 이끌림을 받았으며 이런 저런 창조력을 발휘발 생각에 매일 오감이 자극될 지경이다. 내가 관심 있어하는 것은 내가 흘리고 다니는 나의 데이터이다. 내가 흘리고 다니는 것이라 모두 안다고 치부하기에는 이 데이터는 너무 객관적인 데이터이라는 특징 있다. 여름이 왔으니 일단 실내 온도에 관심이 […]

계속 읽기

R 미러링 서버 로그 분석(2)

한국 사용자들의 R 패키지 이용 현황을 보여주려 한다. RStudio 미러 서버가 전체 한국 사용자를 대변하기는 힘들테지만 RStudio 에디터의 기본 미러링 설정이 RStudio 서버로 되어 있으니 기본 설정 그대로 쓰는 사용자 습성을 볼때 어느정도 의미는 있을 거라 생각한다. library(ggplot2) library(lubridate) library(plyr) if (!require("devtools")) install.packages("devtools") require("devtools") # make sure you have Rtools installed first! if not, then […]

계속 읽기