당신의 나의 뜨거운 감자!
출판사로부터 PDF원본을 받아서 읽어 보고 있다. 목차가 대부분 내가 지금까지 해왔던 것들, 공부했던 것들과 굉장히 밀접한 관련이 있다.Lucene, Weka, Nutch 그리고 Machine Learning, Data Mining 등등그래도 이 책은 한명의 독자의 입장으로서도 많이 기다려온 책이다. ^^ 이 책의 저자역시 Bio관련 회사에서 일하는거 같은데 역시나 생명공학 부분에서 집단지성을 발현하는 메커니즘 관련해 더 전문성을 인정받는 것 같다.아까 회사 […]
계속 읽기오늘 책을 좀 보다가 정말 주옥과 같은 표현을 발견했다. Jackson and Moulinier (2002) suggest that “Understanding the data is one of the keys to successful categorization, yet this is an area in which most categorization tool vendors are extremely weak. Many of the `one size fits all’ tools on the market have not been tested […]
계속 읽기어제 Hadoop 커뮤니티 모임이 Daum에서 있었다. 그 모임에서 Daum에 계시는걸로 보이는 어떤분이 MPI로도 가능한데 Hadoop으로 꼭히 써야될 필요가 있는가에 대해서 굉장히 열정적으로(?) 조목조목 hadoop의 단점과 문제점에대한 질문을 하셨다. 처음에는 질문이 날카로웠지만 점점 끝나지 않을거 같은 헤게모니 논쟁으로 흘러가는 분위기였다. ㅡㅡ; 솔직히 MPI를 사용해본적은 없고 멀티코어CPU 관련된 프로그래밍 라이브러리 이야기 할때 잠깐 소개를 받은적이 있었다. 메시지 […]
계속 읽기2003년인가 누군가가 spam filter에서 compression ratio가 중요한 펙터로 작용한다는 글을 쓴적이 있었다. 이는 스팸문서의 경우 단순한 패턴의 연속표현일 경우가 있다는 가정이 깔려 있다. 그런 문자열의 반복성은 압축 알고리즘의 구현 원리에 따라서 압축률을 측정함으로 간접적으로 측정이 가능할 것이다. 물론 지금 이 feature를 spam 필터링에 쓴다는 이야기는 절대 아니고 다른 작업을 하고 있는데 이 compression ratio가 중요한 […]
계속 읽기값을 0 ~ 1 사이의 값으로 사상시켜주는 함수이다. 이거 말고 비슷한 tanh 함수등이 있지만 이 함수가 가장 많이 알려져 있다. sigmoid function 위 함수가 가장 많이 쓰이는 곳은 역시나 neural network (ANN) 알고리즘일 것이다. 사실 저 수식을 암기하는것보다 위 그래프를 보면서 어떨때 쓰면 좋을까 생각해보는것도 꽤 재밋다. 0 ~ 1 사이의 […]
계속 읽기데이터를 핸들링 하는 사람들이 가장 많이 듣는 말중에 하나가 GIGO(Garbage In, Garbage Out)이라는 말이다. 이는 “잘못된 데이터가 입력이 되면 아무리 알고리즘이 좋고 퍼포먼스가 좋은 시스템이 있더라도 결국 잘못된 값을 출력할 수 밖에 없다” 라는 의미를 내포하고 있다. 그러나 통계쪽나 ML쪽을 하다보면 많은 사람들이 GIGO의 의미를 잘못 이해하고 있다는것을 볼 수 있다. 바로 Garbage In, Gospel […]
계속 읽기아들 예방접종을 하기 위해 휴가를 냈다. 전부터 한번 같이 가보고 싶었는데 이번에 기회를 봐서 한번 관심있게 지켜보고자 한다. 소문으로는 예방접종시 짧고 굵게 운다는 이야기를 들었는데 과연 그럴까 굉장히 기대가 된다. 그나저나 내일 예방접종인 줄도 모르고 웃고만 있군.. ㅋㅋ
계속 읽기살면서 내가 원하던 내가 궁금했던 부분이라고 생각한 곳을 시원스래 긁어주는 그런 책을 만나는건 그리 쉬운일이 아니다. 한장 한장 넘길수록 정말 놀라움을 금치 못하는 책이 있었으니 그 책이 바로 Head First 시리즈다. 이전에는 몰랐지만 Head First Statistics를 완독하고 너무 감동을 받아서 이 시리즈를 주목하고 있다. 이 책만큼 hypothesis test / confidence interval을 다양한 확률 분포를 대상으로 […]
계속 읽기이런 해킹 유형을 파악하기 위해서 몇가지 필요한 툴이 있다. 그리고 HTTP 프로토콜에 대한 약간의 지식이 있으면 훨씬 이해하기 편할 것이다. 1. Firefox 2. Live HTTP (Firefox add in) 3. Modyfy Headers (Firefox add in) 4. Web Developer (Firefox add in) 구글 검색 결과를 확인해 보자. "오리엔탈드림" 쿼리를 사용한 구글 결과 위 링크를 클릭하고 […]
계속 읽기