데이터 분석/데이터 마이닝 작업 자체가 일단 “희망고문”의 연속이라고 생각한다.

대부분의 가설은 실패한다. 그러기에 많은 시간을 들여 분석한 결과들이 허사가 되는 경우가 많은데, 이 스트레스를 어떻게 승화시키느냐가 이 업무의 중요 성공 요인이 될듯하다.

무엇보다 모델 수천개 만들어서 1개만 성공해도 그 효과는 크다. 무엇보다 그렇기에 매력있는 직무인듯 하다. 이 단 한번의 성공이 큰 마약인 셈이다(흡사 금맥을 발견하는 것처럼…).

이런 실패의 스트레스를 떨치기 위해서 나름대로 생각하는 해결 방법은 “빠른 프로토타이핑”이다. 아이디어나 가설을 많이 가지고 있다면 그것을 검증하기까지 기간과 리소스를 단축하는게 무엇보다 중요하고 이를 빠르게 하기 위해서 효과적인 분석 환경 뿐만 아니라 개인의 프로그래밍(주로 스크립팅) 언어 실력도 있어야 된다고 생각한다(일단 도메인 지식이 충분하다는 가정하에…). 아마도 스스로 데이터 전처리를 얼마나 빠르고 정확하게 할 수 있으냐가 빠른 프로토타이핑의 중요한 성공 요인중에 하나가 될거라 생각한다.  

역시나 빠른 trial들이 “희망고문”에 따른 스트레스를 느낄 여유를 주지 않는다는….

“희망고문” by from __future__ import dream is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.