당신의 나의 뜨거운 감자!
인터넷에서 이런 저런 자료들을 찾아보면서 메모를 해본다. 메모리보다 큰 데이터를 다루기 위해서 가장 편리한 툴은 역시 SAS라고 한다. 어떤 사용자는 20GB의 데이터를 가지고 분석하는데 흡사 20MB의 데이터를 가지고 처리하는것과 별반 다를게 없는 퍼포먼스를 보여준다고 한다. 그런데 20GB보다 큰 데이터는 SAS로도 힘들다고 한다. 만일 그것보다 큰 데이터라면 R과 Hadoop이 결합된 Rhipe라는 프로젝트가 도움이 될거 같다는 […]
계속 읽기2주전에 TED 동영상을 보다가 우쿨렐레에 빠지게 되었는데, 악기 구입후 2주 동안 연습한 결과를 올려본다. 사실 이틀전에 이 동영상을 페이스북에 올렸는데, 뭐 완벽하지는 않지만 꽤 반응이 좋았다. ㅋ 기술이든 뭐든지간에 배움의 즐거움은 무엇봐도 바꿀 수 없는 재미인거 같고 게다가 현악기 연주가 처음인데 줄곧 흥미있었던 관악기와는 다른 또 다른 매력인듯 하다. 곡명은 자전거탄 풍경의 “너에게 난, […]
계속 읽기요런 본격적인 데이터 분석 방법소개는 처음인데…종종 “데이터분석”카테고리에 글을 정리하고자 한다. 개인적으로는 R언어를 데이터분석에 활용하는것에 대한 정리 차원의 의미가 크다고 말하고 싶다. EDA에서는 크게 네가지 주제를 다루게 된다. 1. resistance의 강조 2. residuals의 계산 3. 자료변수의 re-expression 4. 그래프를 이용한 revelation 아래 예제는 이 네가지를 이용한 간단한 분석을 소개한다. 먼저 데이터가 resistance를 가지게 하기 위해서 […]
계속 읽기아마도 페이스북에 올린 사진을 통해 눈치 채신 분들이 있을지 모르겠지만 올해부터 방송대 정보 통계학과에 3학년 편입을 결정하게 되었다. 사실 지난 2010년 3월에 통계학 공부를 해보고자 이래저래 알아보던중 유일하게 회사를 다니면서 다닐 수 있는 통계학과에 방송대가 있다는 사실을 처음 알게 되었으나 2월에 이미 모집이 끝난 상황이어서 땅을 치고 후회를 했고 다시 1년을 기다려 편입을 하게 되었다. […]
계속 읽기아래 글은 책(“Natural Language Processing with Python” )의 예제에 알파벳 bigram feature를 추가해서 실험 한 결과이다. (이 부분에 대한 명시 없이 글을 써놓고 있다가 댓글에서 지적을 받아 수정했다. 코드예제 책을 보며 작성하고 시간이 많이 흐른 뒤에 해당 코드를 사용해서 포스팅을 하다보니 본의아니게 큰 실수를 하고 말았다. 나중에라도 이런 명시가 없어서 벌어질 사태를 생각하면 지적해준 분에게 […]
계속 읽기개발자들이 ‘개발 거의 다 끝났다’라고 하는 말은 이제 테스트 해 볼 만한 모듈이 만들어 졌다는 뜻으로 받아들여야 한다. 개발자도 사람인지라 ‘인지편향’의 경향을 지닐 수 밖에 없다. 자신이 만든 기능만을 테스트하고 테스트 케이스도 앞으로 들어올 데이터를 모두 대변할 만한 그런 샘플링 데이터가 아니라, 지극히 편향된 데이터로만 테스트를 하게 된다. 따라서 이전 기능이 모두 잘 돌아가는지 테스트를 […]
계속 읽기