당신의 나의 뜨거운 감자!
사실 대부분 코드의 본체는 Programming Erlang 의 예제코드에서 얻었고 간단하게 멀티 코어용 MapReduce 모듈을 구현한것을 보고 감동을 받아서 조금 고쳐 봤다. 책에서는 Reducer 하나만을 생성해서 결과를 combine 했는데 이 모듈에서는 Reducer 갯수를 조절할 수 있게 해놓았고, Hadoop과 유사하게 Key, Values 쌍으로 소팅해서 결과를 가져오게 했다.Hadoop처럼 대용량 파일을 모두 메모리에 올릴 수 없어 파일로 쓸수 밖에 […]
계속 읽기Programming Erlang 이라는 책의 번역 리뷰를 하고 있다.인사이트 출판사 사장님이 이 책을 내가 전에 읽어본것을 알고 있었기 때문에 부탁한 듯 싶다. 아마도 번역을 하신 분의 입장에서는 상당히 스트레스를 받을 수 있는 그런 과정이지 싶은데, 일단 받았으니 10챕터부터 끝까지 리뷰를 진행하고 있다. 주간에는 일을 해야하니 새벽 시간을 조금 활용해 하루에 1 챕터씩 진행하고 있는데 몇몇 원서의 […]
계속 읽기하루에 꼭 2번씩 다운된다.트래픽이 초과되서 그런것인데….어제 그 연유로 해서 하루 트래픽을 1G로 늘려 놓았지만 오늘 12시간 만에 여지없이 다운되었다. 모니터링 페이지를 열어봐서 트래픽 많이 소모하는 ip를 조사해봤더니..Yahoo! Slurp하고 Google Bot이 1,2위를 다투고 있다. 그나마 할 수 있는게 스킨을 가벼운 걸로 교체하는 방법뿐이니… 이걸 어쩐데.
계속 읽기Erlang을 보고 있자면 계속 Hadoop이 생각난다. 만일 Hadoop을 Java가 아닌 Erlang으로 구현했으면 상당히 깔끔하게 구현이 되었을 거란 느낌이 든다. Hadoop에서 Job 스케줄링을 하는것과 Job 생성, 파괴 등등 아마도 Java에서 이런 기능들을 직접 구현했을 테지만, Erlang에서는 이런 멀티 프로세스 관리를 언어레벨에서 지원을 해주기 때문이다. 그것도 Hadoop의 특징인 fault tolerance를 충분히 지원하도록 말이다. 게다가 Hadoop 외부 API지원 […]
계속 읽기이전까지 feedwave 주소를 가져다 썼는데, 이 feedwave가 종종 먹통이 되는 바람에 이번기회에 rss주소를 바꿔보자 한다. (오늘 먹통이다. 얼마전 먹통될때와 비슷한 증상으로 보인다.) 이것도 핸드폰 번호 바꾸는것만큼이나 구독하는 분들의 수많은 수고를 일으키는 일이라 많이 망설였지만 더 나은 구독자분들의 편의를 위해 과감히 시행해 본다.물론 당장 feedwave 구독 주소를 없애는건 아니지만, 현재 hanrss에서 “!” 표시를 보신분이거나 별도의 불편함을 […]
계속 읽기그동안 원룸에서 생활하다가 이사한 후에 내 서재가 생겼다. 저녁늦게 와이프 자고있는 동안 책보거나 작업하는데 미안하기도 했던터라 이렇게 서재가 생긴것을 개인적으로 상당히 다행으로 생각하고 있다. 책이 좀 있는데, 이것도 작은 책장 크기만한 만큼의 책을 버리고 이사를 해서 이정도다.물론 이사할때 버릴 책들의 필터링은 최근 1~2년 사이에 열어보지 않은 책들 위주로 선정했고, 40권 정도의 책을 처분한거 같다. 책을 […]
계속 읽기내가 세상에서 가장 좋아하는 머그컵이 있다. 바로 예전에 샌프란시스코 출장을 갔을때 와이프것과 내것으로 커플로 맞춰온 머그컵이다. 회사 카페에서 커피를 받을때 일회용을 사용하지 않고 굳이 이 컵을 씻어서 매번 사용하는 이유가 있는데…바로 이 컵으로 뭔가를 마시면 잠시 여행을 다녀올 수 있기 때문이다. 컵의 전면에 샌프란시스코의 명물들이 그려져 있는데, 커피를 받아서 이 그림들을 보고 있자면 그곳의 좋은 […]
계속 읽기이 앙상블 러닝 방법은 이전의 포스팅에서도 소개를 한적이 있었다. 이 앙상블 방법에 대해서 상당히 잘 설명한 발표자료를 소개한다. 역시 이런것은 예제를 어떤걸로 제시하느냐가 이해도를 높이는 가장 중요한 방법중에 하나라는 생각이 든다. 여기서 netflix prize를 풀기위한 방법에 따른 개선정도를 표시한 그래프가 있는데 대부분 존재하는 방법으로는 다 시도를 해본거 같다. 그래서 아마도 이 ppt의 저자는 이 방법들을 […]
계속 읽기회사서 웹검색을 하고 있는 관계로 대학원 생활동안 웹마이닝에 대한 공부 욕구가 컷으나, 개설이 한번도 된적이 없어 입맛만 다시고 있었다. 그러다… 이번 학기에 웹 데이터 마이닝 과목이 개설 되었다는 이야기를 듣고 정말 갈까 말까 고민하다가 청강을 하러 학교에 갔다.사실… 졸업한 몸이니 청강이라고 하기엔 좀 그렇다. ㅋㅋ 그런데 Springer책들은 왤케 쉽게들 나오는지… 텍스트북이 Web Data Mining 인데 […]
계속 읽기