[작성자:] 고감자

예전에 IBM Developerworks에 굉장히 특이한 칼럼을 쓴적이 있었다. 주로 개발 관련 소프트웨어에 대한 글이 주를 이루고 있는 웹진인데 겁도 없이 수식을 들이대고 스팸 필터링 관련 Machine Learning 칼럼을 기고한 것이다. 그러고나서 한번의 질문도 제대로 받지 못했고 한분을 제외하고는 칼럼에 대한 피드백을 받아 본적이 없었다. (사실 대중성이 없는 주제기도 하다. ) 그러다 어느날 어느 유명 검색포털에 […]

계속 읽기

어제 마눌님이랑 이산을 보다가 잠깐 방에 들어가서 어제 저녁에 야후 본사 Research 팀 박사님이 보내준 나의 질문에 대한 답변의  코드 분석을 하고 있었다.거실에서 이산의 마지막에 흘러나오는 테마곡 장윤정 – 약속 이라는 노래가 흘러나왔는데, 갑자기 이 노래를 오카리나로 불러보면 꽤 잘 어울릴거 같다는 느낌이 들었다. 그래서 바로 악보를 찾아봤고 그 악보를 보고 즉석으로 주제곡을 연주해 봤다. […]

계속 읽기

3일 내내 뭔가 많이 보고 연구해보고 시도해보고 했지만 마지막 한개의 단추가 안끼워지는 느낌이 든다. 많이 뭔가를 보긴 봤는데 계속 겉도는 느낌만 들고 …입질은 계속 되는데 고기는 못 낚는 그런 느낌이랄까? 항상 그러하듯이 어느 한순간 머리에 확 떠오르면서 마치 어떤 새로운 세계가 눈앞에 전개되는 듯한 느낌이 언젠가는 들겠지?뭔가 연구한다는건 항상 이런 식이다. 꾸준히 구애하다가 결국 깨달음에 […]

계속 읽기

사실 어제 알고리즘을 작성하다가 두 값을 넣어서 첫번째 값이 두번째 값보다 우선할때 true를 리턴하는 함수를 작성했다. 그리고 그걸 이용해서 데이터를 소팅을 했는데 처음 몇백건에 대해서는 아무런 문제 없이 되다가 실제 수백만건으로 작업을 하다가 메모리가 풀나버렸다. (당연하겠지만…) 일단 이전과 같이 하던 작업 스타일인 우열을 가늠할 수 있는 필드를 레코드 마지막에 넣어서 나중에 sort 명령으로 소팅해 버리면 […]

계속 읽기

가장 중요하고 가장 많은 시간을 잡아 먹는것이… “데이터 전처리” 라는걸 많은 사람들이 간과한다. 나도 역시 ML 코어작업에 완전 푹 빠져서 이 부분을 간과하고 있다가 크게 뒤통수를 맞았다. 에러데이터 제거, 데이터 노말라이즈, 컴퓨터가 알아보기 쉬운 Feature Vector로의 변환작업 등등 그중에 입력 데이터의 정확도를 확인하는 부분은 정말 힘든 작업이다. 어느책을 보면 이 전처리 부분이 전체 마이닝 관련 […]

계속 읽기