당신의 나의 뜨거운 감자!
비동기적 세상으로 떠나는 여행 : 프로그래밍 얼랭(Programming Erlang) 한달도 전에 번역리뷰를 하느라 좀 고생을 했던 책이 이제 출간한단다. 솔직히 리뷰를 핑계로 책을 먼저 읽어보는 행운을 누렸다고 해야 하나? 욕심도 많지, 그것도 짧은 기간동안 책의 반을 리뷰한다고 했으니…..쩝! 전화 교환기 사진인가? 이 탁월한 표지 디자인 감각! ㅋ~ 사실 이 리뷰기간을 계기로 Erlang 코딩을 많이 하게 되었다. […]
계속 읽기사실 어제 알고리즘을 작성하다가 두 값을 넣어서 첫번째 값이 두번째 값보다 우선할때 true를 리턴하는 함수를 작성했다. 그리고 그걸 이용해서 데이터를 소팅을 했는데 처음 몇백건에 대해서는 아무런 문제 없이 되다가 실제 수백만건으로 작업을 하다가 메모리가 풀나버렸다. (당연하겠지만…) 일단 이전과 같이 하던 작업 스타일인 우열을 가늠할 수 있는 필드를 레코드 마지막에 넣어서 나중에 sort 명령으로 소팅해 버리면 […]
계속 읽기Google Tech Talk행사를 한다고 블로그에 공개적으로 올라오고 난 후 주제에 흥미가 가서 신청을 했는데 오늘 초청장이 왔다.사실 저번에 초청장 받은적이 있었는데 Tech Talk에 대한 내용에 대한 언급이 전혀 없었고 게다가 문의 메일을 보냈는데 답장이 없어서 관심이 시들해져 버렸었다. 하지만 이번에는 좀 다를거 같다. ——————- 일 […]
계속 읽기가장 중요하고 가장 많은 시간을 잡아 먹는것이… “데이터 전처리” 라는걸 많은 사람들이 간과한다. 나도 역시 ML 코어작업에 완전 푹 빠져서 이 부분을 간과하고 있다가 크게 뒤통수를 맞았다. 에러데이터 제거, 데이터 노말라이즈, 컴퓨터가 알아보기 쉬운 Feature Vector로의 변환작업 등등 그중에 입력 데이터의 정확도를 확인하는 부분은 정말 힘든 작업이다. 어느책을 보면 이 전처리 부분이 전체 마이닝 관련 […]
계속 읽기위 질문은 어제 내 발표가 끝나고 어떤분이 했던 질문이였다.어제 대다수의 질문이 hadoop(야후 그리드 시스템 구성이나 operation) 자체에 대한 질문이였다면(이런 질문은 confidential 이슈로 대부분 답변하지 않았다.) 그러나 이 질문은 가장 유일했던 hadoop을 이용한 알고리즘에 대한 질문이였다. 이 이야기를 좀더 심도깊게 이야기 하지 못한게 약간 후회되서 포스팅을 써본다. 변명을 하자면 어제 상당히 많은 분들이 질문과 명함교환을 요청하셔서 […]
계속 읽기어제 PlatformDay2008 이라는 행사에 All day 참석을 했다. 아랫부분 누구 머리인지 살짝 예상이 된다. ㅋ 한재선 박사님의 부탁으로 나름 준비 좀 해서 발표를 했다. 이전에도 언급했지만 역시 이 발표에서도 하지 말아야 될 말들과 해도 될 말들에 대한 고민을 많이 했고, 발표 중간 중간 질문이 있을때 솔직히 답변을 생각하기 보다는 이걸 말해도 되는지에 대한 생각을 가장 […]
계속 읽기내가 사용하는 서버중에 core가 8개인 서버가 있다. 메모리도 4기가 정도 되고… 오늘 이 서버에 데이터를 옮기로 압축을 풀고 있는데 이 압축 푸는 속도가 너무 느리고 htop을 쳐서 보면 1개 코어만 쓰고 나머지는 핑핑 놀고 있어서 나중에 써먹을 것을 생각해서 코어에 분산시켜서 untar를 하는 Erlang 프로그램을 짜봤다. [CODE js]#!/usr/bin/env escript main(_) -> OptionList = [{cwd, […]
계속 읽기사이트나 블로그의 크롤 어뷰징을 줄일 수 있는 몇가지 방법을 소개한다. 일단 일반적인 구글이나 야후 크롤러의 성향을 말해보자면…크롤러들은 사이트가 바뀌었다고 생각하면 일단 자주 방문을 하게 되고 이전 방문때와 비교했을때 별다르게 바뀐점이 없다는 판단을 하면 방문 횟수를 적절하게 줄여나간다.그래서 본인의 블로그 스킨을 바꾸었을때 굉장히 많은 트래픽이 몰려서 트래픽 초과를 당한적이 좀 있었다. 물론 지금은 이전보다 트래픽이 훨씬 […]
계속 읽기이번 광우병 파동을 겪으면서 우리가 진실에 얼마나 가까운 생활을 하고 있는지 다시한번 느끼게 되었다. 수많은 구독자들의 신뢰를 받아온 블로거들이 속속들이 광우병 촛불집회에 대한 주말 경찰의 대응과 시민에 대해서 직접 발로 뛰거나 밤새도록 그곳의 생중계를 보면서 하얗게 지세우고 있다. 이런 블로거들의 대응과 느낌은 바로 거침없이 RSS 피드를 타고 날라와 그 숨결을 직접 느끼게끔 해주었으나, 주말 동안 […]
계속 읽기