당신의 나의 뜨거운 감자!
드뎌 기계학습 시간에 주제로 선정한 스팸 필터를 제작하는 초기화 작업을 시작했다.아니 이미 시작했구나.. ㅡㅡ; 쉬는동안 이미 C로 구현한 스레드 기반 서버는 거의 만들었고, 클라이언트를 구현하고 스팸필터를 만드는 일이 남았다. 게다가 stemmer를 구현해야 하는데. 이것은 강승식 교수님 라이브러리를 사용해서 간단하게 사용해야 겠다. 학습용이니 사용해도 될듯하다. 폴 그래이험이 스팸필터 알고리즘으로 사용했던 나이브 베이지언 룰을 이용해서 일단 구현해서 […]
계속 읽기열심히 하겠습니다. ^^ ps. Yahoo! messenger ID : gogamza
계속 읽기Pagerank의 가장 큰 문제점은 좋은 글이 시간이 가면 갈수록 너무 유명해져서 새롭게 등장하는 좋은 글이 랭킹의 위로 올라갈 기회를 안준다는데 있다. 물론 구글에서도 이런것에 대한 개선사항이 있었겠지만, 어제 화장실에서 철학책을 뒤적이면서 링크 정보를 활용한 랭킹시스템에 위의 문제를 개선할 좋은 방법을 생각해 냈다. 상대적인것과 절대적인 것의 의미의 차이를 잘 생각해보면 알수 있다. 다만 구현상에 중요한것은 링크정보를 […]
계속 읽기문서 중복에 대해서 예전에 Shingle 방법에 대한글을 쓴 경험이 있다. 주로 중복문서의 제거의 Key Issue는 검색 복잡도를 해결하는것이라고 할 수 있다. md5 hash를 이용하는 방법은 O(n)의 복잡도를, Shingle 계열의 방법을 사용하는것은 O(n^2)의 복잡도를 자랑한다. 어느글과 비슷한 글을 찾기 위한 기능을 검색엔진에서 제공한다면 아마도 주로 Shingle을 이용한 여러가지 방법들중에 하나를 사용해서 제공하리라 본다. 하지만 이는 미리 […]
계속 읽기“printf를 쓰지 않고 숫자(int형)를 출력하시오!” 얼마전에 모 기업 필기 입사 시험에 나온 코딩 문제다. 그때 이 문제를 딱 보고 ASCII코드 관련 문제구나 하고 생각만하고 다른 문제 푸는데 시간이 많이 소요되었기도 하고 putchar라는 함수명이 정확히 기억이 안나서 그냥 넘어갔던 문제였다. 갑자기 생각이 나서 한번 코드로 구현해봤다. [CODE c]#include <stdio.h>#include <stdlib.h> int powi(int, int); int main(int argc, […]
계속 읽기요즘 기술적인 부분보다 그냥 생각하는 것들을 블로그에 많이 적고 있다. 형태소 분석이든 검색 모델이든간에… 고전적인 Text 기반의 검색을 이야기 하고 있다. 물론 Text는 검색을 위해서 중간의 인터페이스가 될 수 있다. 인터페이스가 된다 함은 Text가 다루기 쉽고, 현재 정보검색에서 연구분야도 많은 뿐더러 실례로 상당히 많이 때문이다. 얼마전에 동영상 검색을 하는데 음성인식 기술을 이용해서 Text를 추출후 그 […]
계속 읽기좀 오래(?) 전 이야기를 해보고자 한다. 한때 MapReduce니, GFS니 등 구글 기술에 관심이 많았던 때가 있었는데, 마침 구글직원을 만나서 논문을 보면서 궁금했던 것을 직접 물어볼 기회가 있었다. 질문들이다. 1. GFS에서 서버가 추가될때 데이터 레벨링이 어떻게 이루어 지는가?(논문에 자세한 내용이 나오지 않았다.) 답 : 5년전 페이퍼라서 지금 쓰는 구조와는 많은 차이가 있다. (답변을 하는 사람의 우월감을 […]
계속 읽기요즘 가장 고민을 많이 하는 부분이 바로 이 제목과 같은 것이다. 이것때문에 교수님이 추천해주신 Language Model을 공부하였으나.. 영 고민하는 주제와 연결감이 안오는 바람에 좀 다른 생각을 하고 있다. 그렇다면 어느 블로그가 좋은지 나쁜지 사람이 판단하는 기준을 보고 측정할 수밖에 없을것이다. 말하자면 휴리스틱한 방법을 말이다. 휴리스틱은 정말 좋은 방법이지만 어떻게 좋음을 표현하는 문제가 있다. 컴퓨터가 알아듣게 […]
계속 읽기