당신의 나의 뜨거운 감자!
작년 언젠가 회사 PD분이 위 질문을 했다. 아마도 그때 답변은 미지의 데이터에 대해서 학습된 데이터를 기반 예측을 해서 자동으로 어떠한 처리하기 위해 ML을 사용한다고 한거 같다.쩝~ ML 공부만 하고 실무는 전혀 안해본 샌님이나 할 수 있는 대답이다. 오늘 분류데이터를 분석하면서 왜 ML을 사용해야 하는지 정말 절절하게 깨달았다. 이 느낌은 이전에 스팸관련 논문을 쓰면서 ML실험을하는 과정에서 […]
계속 읽기3일동안 고민하고 코딩하고 테스트하고를 반복 하다가 결국 사내 machine learning 커뮤니티에 질문을 던졌다.미국시간으로 새벽에 메일을 받았을텐데, 어느 마음씨 좋은 Yahoo! research팀의 scientist분이 답변을 주셨다. 내 짧은 메일의 내용을 200% 이해하고 있었으며 정확하게 핵심을 짚어서 답변을 해주셨다.답변보다 놀라웠던점은 내가 하는 작업과 알고리즘에 대해서 훤히 들여다 보는 그 혜안이였다. 그분이 통한건지 내가 통하게 질문을 했던건지…..쩝 사실 그동안 […]
계속 읽기사실 어제 알고리즘을 작성하다가 두 값을 넣어서 첫번째 값이 두번째 값보다 우선할때 true를 리턴하는 함수를 작성했다. 그리고 그걸 이용해서 데이터를 소팅을 했는데 처음 몇백건에 대해서는 아무런 문제 없이 되다가 실제 수백만건으로 작업을 하다가 메모리가 풀나버렸다. (당연하겠지만…) 일단 이전과 같이 하던 작업 스타일인 우열을 가늠할 수 있는 필드를 레코드 마지막에 넣어서 나중에 sort 명령으로 소팅해 버리면 […]
계속 읽기가장 중요하고 가장 많은 시간을 잡아 먹는것이… “데이터 전처리” 라는걸 많은 사람들이 간과한다. 나도 역시 ML 코어작업에 완전 푹 빠져서 이 부분을 간과하고 있다가 크게 뒤통수를 맞았다. 에러데이터 제거, 데이터 노말라이즈, 컴퓨터가 알아보기 쉬운 Feature Vector로의 변환작업 등등 그중에 입력 데이터의 정확도를 확인하는 부분은 정말 힘든 작업이다. 어느책을 보면 이 전처리 부분이 전체 마이닝 관련 […]
계속 읽기위 질문은 어제 내 발표가 끝나고 어떤분이 했던 질문이였다.어제 대다수의 질문이 hadoop(야후 그리드 시스템 구성이나 operation) 자체에 대한 질문이였다면(이런 질문은 confidential 이슈로 대부분 답변하지 않았다.) 그러나 이 질문은 가장 유일했던 hadoop을 이용한 알고리즘에 대한 질문이였다. 이 이야기를 좀더 심도깊게 이야기 하지 못한게 약간 후회되서 포스팅을 써본다. 변명을 하자면 어제 상당히 많은 분들이 질문과 명함교환을 요청하셔서 […]
계속 읽기내가 사용하는 서버중에 core가 8개인 서버가 있다. 메모리도 4기가 정도 되고… 오늘 이 서버에 데이터를 옮기로 압축을 풀고 있는데 이 압축 푸는 속도가 너무 느리고 htop을 쳐서 보면 1개 코어만 쓰고 나머지는 핑핑 놀고 있어서 나중에 써먹을 것을 생각해서 코어에 분산시켜서 untar를 하는 Erlang 프로그램을 짜봤다. [CODE js]#!/usr/bin/env escript main(_) -> OptionList = [{cwd, […]
계속 읽기시간은 정확하게 2008년 5월 23일 새벽 4시 15분부터 스팸 폭탄 투하가 시작되었다.그래서 정확하게 4963개의 스팸 comment가 달리다가, 같은날 아침 7시 56분에 끝이 났다. 지우다 지쳐서.. db에서 delete 명령으로 해결했으나 그 전에 스팸 데이터를 백업해 두었다. comment에 달린 링크의 host에 약간의 중복이 있는듯해서 카운팅 해보고 나서 이 스팸 폭탄 지능적으로 발송이 된걸 알았다. (물론 ip도 다양한 […]
계속 읽기참.. 날이 가면 갈수록 교묘해 진다.같은 IP의 반복을 카운팅해서 스팸을 막는다고 해고 이렇게 다양한 IP대역으로 들어오니 또한 링크를 몰아주는 Porn사이트도 정말 다양하게 보내줬다. 허허 여기서 가장 잘 알수 있는 공통적인 사실은 모든 URL을 Porn사이트로 몰아간다는건데 그럼 막기 위해서 링크를 따라서 링크를 한 페이지의 Porn을 판단해야 한다는건데 그렇다면 또 여기서 새로운 논문거리가 하나 나오는군. 대상 사이트를 […]
계속 읽기서광열님의 블로그를 보고 다시 생각해봤다. Functional Programming Creeps into Job Specs 즉, 돈 안 되는 이상한 언어를 구사자를 찾을수록 실력 있는 개발자를 뽑을 확률이 높다는 이야깁니다. 함수 언어를 먹고 살기 위해 배우는 언어가 아니라 열의를 가지고 공부해야만 알 수 있는 언어이기 때문에, 함수 언어 구사자를 찾으면 자연적으로 다른 언어 구사자에 비해 실력 좋은 개발자를 뽑을 […]
계속 읽기