당신의 나의 뜨거운 감자!
3일동안 고민하고 코딩하고 테스트하고를 반복 하다가 결국 사내 machine learning 커뮤니티에 질문을 던졌다.미국시간으로 새벽에 메일을 받았을텐데, 어느 마음씨 좋은 Yahoo! research팀의 scientist분이 답변을 주셨다. 내 짧은 메일의 내용을 200% 이해하고 있었으며 정확하게 핵심을 짚어서 답변을 해주셨다.답변보다 놀라웠던점은 내가 하는 작업과 알고리즘에 대해서 훤히 들여다 보는 그 혜안이였다. 그분이 통한건지 내가 통하게 질문을 했던건지…..쩝 사실 그동안 […]
계속 읽기어제 상을 받았다. 이름하여 Yahoo! Odyssey Award.상에 대한 정보는 이사람이 잘 정리해 놓은듯 하다. 업적은 웹검색에 기여한…. 어쩌구 저쩌구. 작년에 웹검색을 열심히 하고자 했지만 방대한 시스템에 허덕이고 시행착오도 많이했다. 하지만 상당히 얻은것들이 많았다. 그 방대한 시스템과 그것들에 붙어서 돌아가는 여러 알고리즘들, 책에서 본 그 알고리즘들은 paper수준에서 머문것이 아니라 야후내부에서 이미 실체화 되어 있었다.그것들을 처음 맞이 […]
계속 읽기오늘 businessweek지에서 상당히 흥미로운 기사를 봐서 포스팅 해본다. The Two Flavors of Google 이라는 글인데, 요즘(?) MapReduce기술을 기반으로 각광 받고 있는 cloud computing 분야에서 두가지 기술적인 조류를 이루고 있는 Google의 mapreduce와 Hadoop에 대해서 이야기 하고 있다. 이 글을 보고 Hadoop이 구글의 기술을 99% 배껴서 만들어 졌다는 편견을 말끔히 해소할 수 있었다. 구글에서 Hadoop에 컨트리뷰트 하고 […]
계속 읽기오늘 아침에 팀장님에게 이 좋은 소식을 들었고, 다시 YDN에서 눈으로 확인을 했다. 이름하여 M45라는 컴퓨팅 환경을 제공하는 프로그램을 학술 목적에 쓸수 있게 개방을 한다는 것이다. 내용인 즉슨, 학술연구 목적으로 야후의 Hadoop 클러스터에 대한 컴퓨팅 환경 지원을 약속했다는것인데, 대용량 데이터에 대한 컴퓨팅 리소스가 많이 들어가는 웹 마이닝분야나 자연언어 처리, 기계번역, 컴퓨터 그래픽스 분야에서 이런 환경이 쓰일수 […]
계속 읽기야후에서 직접 Hadoop이 내부적으로 어떻게 쓰이는지 공개 했다. 뭐 쓰임새야 야후직원이고 평소 관심이 많아 알고 있었던 사실이고 직접 써보기 까지 했으니… 내부 자료인데, 적당한 레벨에서 공개를 한거 같다. 실제 Hadoop에 대한 소개글 수준인 Doug Cutting의 ppt 보다 Eric의 ppt가 볼만하다.왜냐면 실무에서 어떻게 사용이 되는지 간단하게 나마 소개되어 있기 때문이다. Hadoop at OSCON Yahoo!의 Hadoop cluster […]
계속 읽기