readwriteweb에 최근 번역중인 Collective Intelligence in Action 의 저자와 추천엔진(recommendation engine)에 대한 인터뷰가 실렸다.

이 글을 보면 저자가 추천엔진의 정확도 측면보다 이를 애플리케이션에 적용할 때 대용량 데이터와 수많은 사용자의 요구를 빠르게 충족시켜 줄 수 있으냐를 고민하고 있음을 알 수 있었다.
그래서 구글 뉴스의 추천엔진이 가장 인상깊은 추천 시스템이라고 말하고 있고 Netflix 추천 시스템 10% 향상 프로젝트에서도 이 부분에 대한 언급을 하고 있는거 같다.

10%의 성능 향상은 알고리즘 만으로 거의 불가능 하다는 말이 많았는데 1등을 하고 있는 BellKor팀이 8.43%의 성능향상을 왔다고 하는데 이들이 하나의 가이드 라인을 제시했다고 한다.

이들 가이드 라인의 요약은 이렇다.

다수개의 모델을 결합하고 여러가지 휴리스틱 방법을 적용해야 한다.

한마디로 앙상블 방법이라는 이야기인데…
이에 관한 관련 포스팅은 아래와 같다.

http://freesearch.pe.kr/828
http://freesearch.pe.kr/897

마지막에 사람을 이용해서 추천엔진을 만드는게 더 낮지 않을까 라는 질문에 저자의 답변이 정말 대단했다.

Using humans to form a rich database for recommendations may work for
small applications, but it would probably be too expensive to scale. I
don’t see them competing against each other, human versus machine. Even
with human/expert recommendations, one first needs to find a
human/expert with tastes similar to those of the user, especially if
you want to go after the long tail.

애플리케이션과 대상 데이터가 작다는 효과적이지만 대용량으로 가면 갈 수록 이 비용이 만만치 않을 거라는 이야기를 하고 있다.

게다가 사람 혹은 전문가를 기용해 데이터를 만들때 과연 이들이 애플리케이션 사용자들의 입맛에 맞는 결과를 내놓을지도 의문이라고 이야기 하며 이 문제는 다른 애플리케이션도 대부분 잘 하고 있는 상위 20%의 아이템이 전체 매출의 80%를 커버하게 만드는 롱테일의 헤드 부분에는 효과적일 수 있지만 다른 상업용 애플리케이션과 차별점을 가져오는 하위 80%의 아이템에 집중해서 추천을 하는것은 불가능하다고 이야기 한다.

우와~~~ 좋은 말이다.

이 책의 번역이 끝나면 이 인터뷰 내용도 부록으로 넣는 것도 독자들이게 도움이 될 듯 하다.

Collective Intelligence In Action 저자 Satnam Alag의 인터뷰 by from __future__ import dream is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.