야후 본사에 있는 hadoop 클러스터 사용허가.

hadoop wiki에 밝혀져 있는 야후 본사의 클러스터 사용 허가를 신청했다.

벌써 관계자는 승인이 난 상태이고, 계정 생성만 남았다. ^^

내용은 분산 한글 형태소 분석에 대해서 신청했고, 이번기회에 600노드클러스터를 어떤방식으로 구성했는지 살짝 엿보고, 실제 그 퍼포먼스도 어느정도 가늠해 볼수 있을거 같다.

오늘 아침부터 hadoop관련 사내 위키로 문서작성해 올리고 관계자에게 메일보내고, 만들었던 코드들 정리하고 그랬다.

재미난것은 분산처리 관련해서 전세계적으로 야후 지사나 본사에서 많은 실험이 이루어 지고 있다는 것이다. 그 목록을 보고 있자니 신이 나는군… 역시 나도 마지막에 한줄 넣었다. ㅋ

600노드에다 한번 돌려보자구. ^^

CC BY-NC 4.0 야후 본사에 있는 hadoop 클러스터 사용허가. by from __future__ import dream is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.