당신의 나의 뜨거운 감자!
그동안 좀 봐뒀던 Language Model을 정리하고자 한다.사실 Language Model은 예전에 내가 보던 Information Retrival : Algorithm and Heuristic이라는 책에서 봤었지만, 정리까지는 안해봤다.(난 뭐든 정리가 필요하다.) Language Model이라함은 정보검색을 하다보면 나오는 unigram, bigram trigram이라는 말과 전혀 다르지 않다. 위 자체가 그대로 문서를 표현하는 모델링 방법이 될수 있는것이다. 각 문서 내에서 빈도수 및 여러 factor를 가지고 아래와 […]
계속 읽기잉카 인터넷이라는 회사에서 처음 검색엔진이라는 것을 만져봤다. 그곳에서 연구했던 것들이 지금에서는 나의 큰 자산으로 작용하고 있는건 부정할 수 없는 사실이다. 안타깝게도 그곳에서 만든 Kimap이라는 Knowledge Map이라는 뜻의 검색엔진은 회사 Product에서 제외가 되어 버렸다. 얼마전까지만 해도 있더니만, 결국 없어지고 말았다. 엔진의 모티베이션이 되는것은 자동분류라는것이였다. 이 엔진팀에 같이 있었던 친구는 현재 대학4학년인데, 그 친구가 첫눈이 나왔던 시절에 […]
계속 읽기개발자로서 algorithm과 data structure를 항상 염두에 두고 개발을 해야하고 문제 해결을 위해 어떤것을 사용해야 할지 고민을 하는것은 필수라고 생각한다. 개발자로서 대량의 데이터를 처리할시 알고리즘을 조금 손보고 엄청난 퍼포먼스 향상이 있었던 경우를 겪어본 분들은 분명 공감하리라 생각한다. 자신이 잠시동안 이러한 것들에 대해서 잊고 살았다고 생각하는 분들은 강좌를 찾아보는 방법도 괜찮은 방법이라고 생각한다. 찾아보면 여러곳에서 알고리즘 강좌를 […]
계속 읽기어제 오늘 그동안 시간이 없어 미뤄두었던 움베르트 에코의 “푸코의 진자“를 정말 흥미롭게 보고 있다. 보면서 카소봉라는 주인공으로 사료되는 인물이 벨보의 컴퓨터의 암호를 알아맞추는 과정에서 프로그래밍을 해서 순열을 구하고 그 순열의 나열 순서에 따른 답을 입력하는 부분이 나온다. 책에서는 Basic프로그램으로 4개의 char의 경우에 대한 프로그래밍 예제가 나오고 그것을 이용해서 카소보가 permutation 프로그래밍을 하는 대목으로 이어지는 것이다. […]
계속 읽기수업이 있는 마지막 학기를 All A+로 마무리 했다. 이로서 대학원 평점은 4.5 만점에 4.5가 확실시 되었다. 휴~~ 솔직히 편하게 갈 수 있었던 수업들 이였는데, 업무 연관성과 나의 관심도에 따라서 수업을 선택해서 듣기가 정말 힘들었다. 수업을 선택한다는것은 어느정도 시간 투자의 여력을 나 자신이 판단하는 과정을 거쳐야 한다. 어느 한계점 이상의 시간을 투자하기란 셀러던트로서 정말 불가능한 문제다. […]
계속 읽기예전에 spell correction을 하기위해 edit distance를 사용할 수 있다는 이야기를 했다. 물론 포탈이나 여러곳을 가보니 다 이런 방식으로 거의 다 적용이 되어 있더라. 사실 그 당시는 잘 몰랐기도 했거니와 내 나름대로 고민하고 생각해서 올려본것인데 이미 다른 사람들도 같은 생각을 하고 있더라. 이번의 기법은 이 역시 robust한 검색 시스템을 만들기 위해 soundex를 사용하면 어떨까 하고 올려본다. […]
계속 읽기어떤 D Language user가 D community에서 D language로 밥벌어먹을 수 있느냐? 하는 질문에 어느 고수 개발자가 답글을 달았다. 읽어보는데 구구절절 개발자의 특정 언어 선호에 대한 따끔한 질책을 느낄 수 있었다. …..Don’t become a D programmer. Don’t become a C++ programmer. Don’t become a C# or a Java programmer. You really don’t want to become a […]
계속 읽기오늘 comment spam server 제작발표를 했다. 이번 학기 내내 심지어 미국에 출장가서까지 호텔서 코딩하게 만든 spam server여서 그런지, 신나게 발표했다. 게다가 시연까지 성공적이였다. 정확하게 스팸 comment가 날라오는 상황을 재현하려고 임시적으로 client도 구현해서 테스트 했다. 이거 vmware player에서 debian linux를 띄워서 테스트를 했는데, 로컬 리눅스 머신에서 직접 돌릴때보다 2배정도의 학습시간이 소요되는거 같았다. 구형 노트북이라서 그러려니 했지만 […]
계속 읽기계속 검색엔진 포스팅만 하다가 뜬금없이 comment spam에 관심을 가지는 이유가 있다. 물론 spam문제가 기본적으로 분류의 문제기도 해서 전혀 검색과 다른 분야는 아니라고 생각한다. 그렇지만 내가 spam에 관심을 가지는 이유는 그것도 comment spam에 관심을 가지는 이유는 웹검색 랭킹에 이것들이 영향을 미치기 때문이다. 개인적으로 내 포스트를 복사해서 여러곳에 올리는것도 전혀 좋아하지 않는다, 왜냐면 그것은 검색엔지니어에게 중복처리에 관련된 […]
계속 읽기