빅 데이터 쌓기 경쟁

최근 작금의 상황을 보자면 빅 데이터를 모아서 쌓아두는데 목적을 두는 기업들이 상당히 많다는 것을 자주 느끼곤 한다. 빅 데이터를 쌓아두면 뭔가 가치 있는 정보들이 나올거라는 미신같은것 때문에 너도 나도 빅 데이터 클러스터를 구성하는데 관심을 가지고 있는 듯 하다.

물론 빅 데이터에 가는 가장 명시적인 마일스톤이 빅 데이터 처리 플랫폼을 구축하는 것이고 어쩌면 이는 돈을 투자하면 바로 되는 시각적인 효과가 분명한 프로젝트일 것이다. 그나마 쉬운 작업을 가장 먼저 하는 것, 내가 보기엔 이것 이상도 이하도 아닌 것 같다.

정작 데이터에서 가치 있는 정보를 뽑아내는 분석작업, 그리고 이를 실제 비즈니스에 적용해서 개선하는 작업에 대한 고려는 전혀 없이 클러스터를 구성하고 빅 데이터 플랫폼을 구성하는 경쟁을 하고 있는 것으로 밖에 보이지 않는다. 가장 어려운 것을 하지 않고 빅 데이터 플랫폼을 구축하는 프로젝트를 보자면 정말 일을 위한 일밖에 되지 않는 그런 느낌을 상당히 많이 받곤 한다.

기업 데이터 분석 작업이 어려운 이유는 작업 자체의 난이도 보다는 기술과 실무가 만나는 접점에 있는 영역의 일이고, 여기서 나온 결과물들이 실제 비즈니스 방식 자체를 바꿔야만 적용이 될 수 있는 것들이 상당히 많기 때문에 이에 대한 이해를 시키고 구성원의 동의를 얻는데 많은 노력이 들기 때문이다. 이는 시간이 오래 걸리는 일이기에 외부 분석가를 영입해서 프로젝트를 진행하는 것 보다는 내부에서 데이터 과학자를 키워서 점진적이고 장기적으로 이끌어 나가게끔 하는게 가장 바람직한 방향이 아닐까 하는 생각을 해본다. 그리고 무엇보다 시급한 것은 과연 빅 데이터를 이용하길 원하는 회사가 과연 데이터가 이끄는 회사(Data Driven Company)인가 하는 것이다. 이는 비즈니스 하나하나의 개선보다 더 어려운 회사의 문화에 대한 문제이기 때문에 데이터 과학자가 아무리 많다 해도 바꿀 수 없는 부분이기도 하지만 빅 데이터를 활용하기 위해서는 반드시 한번 정도는 비교해보고 고민해봐야 하는 부분이 아닐까 한다. 

데이터가 이끄는 회사….

대표적으로 구글, 야후, 페이스북, 링크드인, 넷플릭스 같이 데이터를 활용해 재미를 본 회사들이며 이들이 바로 빅 데이터 활용의 가장 많은 성공 사례를 제시한 회사들이라는 것은 다들 알고 있을 것이다. 이 사실을 알고 있다면 이들 데이터가 이끄는 문화가 어떤것을 의미하는지 먼저 이해하는 과정을 빅 데이터 플랫폼 구성 이전에 고민을 해야 한다고 생각한다.

어쩌면 과거 OLAP을 구성하고 데이터 마이닝을 통해서 정보를 뽑아내려 했던 회사들이 이런 DW나 마이닝 기술에 실망한것은 사실 그들 문화가 이 기술들을 포용할 준비가 되지 않아서이지 않을까 하는 생각을 해본다.

ps. 야후!에서는 p-value라는 단어가 전사 메일에 포함되서 오는 경우가 허다했다. 중요한 서비스의 성능 향상은 꼭 이런 통계적 용어와 함께하고 있었고, 전 직원이 이에 대한 이해를 하고 있다는 사실…난 이점이 정말 데이터가 이끄는 회사의 한 단면을 보여주고 있는게 아닐까 한다.