당신의 나의 뜨거운 감자!
I’d been testing with R and Python what the page rank score on each R packages. Firstly, I need to scrape all package description pages and then parsing section “Depends”, “Imports”, “Reverse Depends” to know relation between packages. I was using Python with scrapemark for convenient. This is “scrape.py”(no code optimization for easy understanding). […]
계속 읽기아직 github에 정박중인 코드이지만 오늘 빡시게 작업해서 한글 오토마타 모듈 넣었다. 자바 코드를 객체지향적으로 만들었는데 덕분에 의외로 R에서 코드가 간단해 졌다. 좀더 테스트 해보고 새해 기념으로 cran에 submit 해야겠다. 이젠 아래와 같은 짓들도 가능해졌다. > str <- convertHangulStringToJamos("배포 조건의 상세한것에 대해서는 ‘license()’ 또는 ‘licence()’ 라고 입력해주십시오") > str2 <-paste(str, collapse="") > str2 [1] […]
계속 읽기2011.12.19일 R meetup 행사를 회사 카페에서 진행을 했었다. 약 20명 정도의 분들이 오셔서 아기자기 하게 모임을 가졌고, 첫번째 세션으로 cran.nexr.com 을 운영하면서 나온 아파치 로그를 분석하는 방법과 그 결과물을 공유 했었고, 나머지 15분 동안 KoNLP 패키지 소개를 했었다. LA R User group에서 했던 meetup 행사 동영상을 보면서 상당히 스크린캐스트가 재미 있다는 생각을 해보게 되서 직접 […]
계속 읽기KoNLP 패키지 업데이트를 했다. 업데이트 내용은 아래와 같음. Version 0.0-8.0 (2011-12-09)—————————————————————————— * improved performance more than 100 times on functions which related with Hannanum Analyzer. * set -Xmx512m for Java VM. * Java sources are added. 자바 코드 최적화로 성능향상이 있었는데, Thread 기반에서는 정확한 기능 보장을 못하니 R에서 병렬 프로세싱으로 KoNLP 패키지 사용을 […]
계속 읽기다시금 예전에 열심히 코드리뷰 하던 생각을 하게끔 하던 일들이 생겨나면서 야밤에 여러 생각을 하게 만든다. 코드리뷰… 리뷰야 하면 좋은데, 시간은 없고…. 그렇다고 안할수도 없고…, 이런 생각으로 코드리뷰를 하게 되면 100% 얼마 안가서 그만두게 된다. 그럼 계속 잘 하게 하려면 어떻게 해야 하나? 그렇다면 일단 코드리뷰보다는 hudson과 같은 빌드 테스트 환경을 잘 갖추고, 소프트웨어 테스트를 굉장히 […]
계속 읽기처음 R CRAN에 등록하고 참 많은 것들을 해본거 같다. 가장 큰 문제였던 것들은 윈도우 머신에서 오동작 하는 문제와 json 포맷 파일을 윈도우에서 읽어 오지 못하는 문제였다. 일단 맥과 리눅스에서는 잘 돌아가는 것을 확인 했지만 결국 위 두 가지 문제를 해결하면서 맥과 윈도우도 UTF-8에서만 잘 도는 것이였음이 밝혀졌다. 일단 한글 처리 패키지이기 때문에 CJK관련 문자 인코딩에 […]
계속 읽기일단 R cran에 등록 되었다는 메일을 받았다. 그리고 확인 해보니 정말 등록 되어 있었다. http://cran.r-project.org/web/packages/KoNLP/ 패키지 소개에서도 언급 했지만 오픈소스 형태소 분석기들이 없었다면 이런 작업이 쉽지는 않았을 것이다. R 패키지 처음 만들어 보고 게다가 Java언어와 인터페이싱에 신경 쓰느라 정작 직접 구현한 함수들의 내구도가 떨어지는데, 이는 추후 보완해야 될 작업이라고 생각한다.
계속 읽기지난달에 휴가 내면서까지 원고 데드라인을 맞췄던 ‘R로 하는 Big Data 분석’ 2회 연재를 월간 마소8월호 출간에 맞춰서 공개한다. 1회는 기말고사에 좀 집중하려고 팀원분에게 부탁을 드려서 잘 해결 되었으나 2회는 역시 kmobile 강연하고 거의 겹치는 바람에 집중을 못하고 있다가 결국 휴가내고 하루 집중해서 해결 했다. doSMP와 Rmpi, 그리고 snowfall이라는 멀티코어 분산처리 패키지를 중심으로 설명을 했고, 인터넷에도 […]
계속 읽기아래 글은 책(“Natural Language Processing with Python” )의 예제에 알파벳 bigram feature를 추가해서 실험 한 결과이다. (이 부분에 대한 명시 없이 글을 써놓고 있다가 댓글에서 지적을 받아 수정했다. 코드예제 책을 보며 작성하고 시간이 많이 흐른 뒤에 해당 코드를 사용해서 포스팅을 하다보니 본의아니게 큰 실수를 하고 말았다. 나중에라도 이런 명시가 없어서 벌어질 사태를 생각하면 지적해준 분에게 […]
계속 읽기개발자들이 ‘개발 거의 다 끝났다’라고 하는 말은 이제 테스트 해 볼 만한 모듈이 만들어 졌다는 뜻으로 받아들여야 한다. 개발자도 사람인지라 ‘인지편향’의 경향을 지닐 수 밖에 없다. 자신이 만든 기능만을 테스트하고 테스트 케이스도 앞으로 들어올 데이터를 모두 대변할 만한 그런 샘플링 데이터가 아니라, 지극히 편향된 데이터로만 테스트를 하게 된다. 따라서 이전 기능이 모두 잘 돌아가는지 테스트를 […]
계속 읽기