경험

빅 데이터라고 불리는 프로젝트를 최근에 좀 해본 사람으로서 의견을 적어보고자 한다. 많은 분들이 이야기 하지만 빅 데이터 분석이라는 개념 자체도 빅 데이터 분석 프로젝트라 불리는 일을 하다보면 경계가 모호해 진다는 것이다. 결국 빅 데이터 분석 프로젝트도 일반적인 분석 프로젝트라는 것이라는 게 내 첫 번째 개인적인 의견이다.

문제는 이런 프로젝트를 IT 전담 부서에서 수행한다는 게 큰 문제인거 같다. 이 글에서 보는 것과 같이 장동인 대표님도 같은 견해를 피력한바 있다. 필자도 최근 프로젝트를 IT전담부서에서 그 프로세스에 맞게 수행을 했다. 그러면서 소프트웨어 개발 산출물을 갑사에 제출을 했는데, 여기에는 가장 중요한 분석 보고서와 같은 것들은 요건에 들어가 있지도 않았다. 그럼에도 불구하고 개인적으로 이 부분 필요하다고 하면서 억지로 산출물에 넣었던 경험이 있다. 게다가 IT 전담 부서는 설계 문서가 필요하다고 이야기하며 요청하게 되고, 분석 담당자는 분석 프로젝트는 과정에서 길을 찾는 것이지 시작 전에 설계를 하기 힘들다고 이야기 한다. 둘 다 본인들 입장에서는 맞는 말이지만, 정말 잘못된 만남이 어떤 결과를 초래하는지 극명하게 보여주는 사례가 아닐 수 없다. 다시 한번 말하지만 소프트웨어 개발과 데이터 분석은 목적과 과정 자체가 다른 것들이다. 만일 두 가지를 특정 프로젝트라고 통칭하고 싶다면 분석을 앞에 두고 분석 프로젝트를 먼저 수행하고 이후에 소프트웨어 개발 프로젝트를 수행하는게 맞다. 

이렇게 되면 다른 한가지 문제점이 더 불거진다.  바로 현업이 프로젝트에 주도적으로 참여할 기회가 적어진다는 것이다. IT전담 부서에서 리딩을 하니 물론 그럴 것이지만, 현업이 그저 watcher로 전락해서 수동적으로 프로젝트에 참여를 하게 됨으로써 데이터 분석가는 이들을 주도적으로 참여하게 끔 하는 데 역량을 소모할 수 밖에 없다. 이는 굉장히 비효율적인 상황이며, 자칫 잘못하다가는 거의 쓸모없는 분석만을 반복적으로 수행하다가 프로젝트가 종료될 수 있다. 그래서 필자는 주마다 현업이 있는 곳으로 직접 찾아가서 분석 결과를 이해시키며 피드백을 받는 프로세스를 따로 추가했는데, 이 과정은 상당히 유효했으나 별도의 개인적인 노력이 들어가야 되는 부분이었고 요청해야 되었던 부분들이었다.

목적없는 빅 데이터 분석 프로젝트

“데이터에 뭔가 있을 것 같기 때문에 프로젝트를 수행한다.“ “빅 데이터 프로젝트는 비정형 데이터를 다루는 것이기 때문에 프로젝트 수행 중에 목표를 찾아야 된다.”

난 위 이야기를 하고 다니는 컨설턴트나 영업직원을 경멸한다.  왜냐면 그 불똥은 실제 구현과 분석을 하는 필자와 같은 분석가들에게 떨어지기 때문이다.

단 몇 개월 만에 찾아낼 뭔가 큰 비즈니스 건들이라면 이미 내부에서 찾았을 것이기 때문이며, 설령 찾는다고 하더라도 그 가능성은 극히 낮을 것이기 때문이다.

위와 같이 목적없는 빅 데이터 분석 프로젝트는 실패할 가능성이 매우 크며 수행업체 측면에서나 갑사의 경우 빅 데이터에 대해서 회의적인 입장을 취하게 되는 큰 부작용을 낳게 된다. 결국 무리한 프로젝트로 인해 업계 생태계가 위협받을 수 있는 것이다.

해보니 별것 없더라…. 이런 이야기가 나오는 건 시작자체가 해볼 만한 수준이 아니었기 때문이다.

그렇다면.

빅 데이터 분석 프로젝트는 필자의 경험으로 현업이 정말 필요로 하는 작은 분석기능들을 제공하는 것으로 시작하는게 가장 좋은 접근 방법이라고 생각한다. 이런 상황에서 현업은 다양한 비즈니스적인 견해를 분석가에게 공유하게 되고 이것을 기반으로 서로 피드백을 받아가면서 새로운 비즈니스 기회창출의 가능성을 높이게 되는 것이다. 처음부터 막연한 것으로 서로 에너지를 소모하는 것과는 접근 방법 자체가 다르고, 점차 조직내에서 Data-Driven 의사 결정의 맛을 조금씩 느끼게 되는 시발점이 되는 것이다.  하지만 문제는 이런 접근 방법은 단기간의 프로젝트로는 불가능하다는 것이다. 따라서 최근 많은 기업들이 빅 데이터 분석 전담 조직을 만드는 경향이 있는데 이는 매우 바람직한 방향이라 생각한다.

만일 짧은 기간의 빅 데이터 분석 프로젝트를 수행하게 된다고 한다면 Data-Driven의사 결정의 맛 정도만을 보여주는 것을 분석 프로젝트의 목표로 할 수 밖에 없는데, 이 정도만 되더라도 큰 수확이다. 필자의 경우 내가 분석하고 구축한 분석 결과물에 대해서 현업이 궁금해서라도 하루에 한번은 꼭 들어와 분석 배치 결과를 보게끔 만드는 것을 개인적인 목표로 삼았는데, 이는 데이터를 기반한 통계치를 기준으로 현업이 특정 판단을 하도록 유도하는 그 개념과 맥락을 같이한다.  데이터를 분석하는 가치와 그 맛은 이런 결과물에서 느끼게 되는데 분석가로서는 반드시 현업이 가치 있어할 만한 분석을 해야 된다는 것을 항상 명심해야 한다. 그러기에 현업과 코웍이 중요한 것이다.

Give and Take

현업과 코웍하는게 중요하다고 이야기 했는데, 잘 협업하기 위한 한 가지 팁을 주겠다.

분석가는 현업에게 줄 수 있는 게 초반에는 상대적으로 적다. 하지만 반드시 줄 수 있는 것 한가지가 있는데, 초기 가정에 의한 분석 결과가 그것이다. 아주 초보적인 가정이라도 분석을 하고 시각화를 해서 분석 레포트를 공유하게 되면 현업은 그때서야 관심을 보일 가능성이 많다. 시각화 결과가 그동안 보지 못했던 혹은 가능했지만 만들어보기 어려웠던 결과라면 더욱 효과는 좋은데, 필자의 경우 초기 가정이 아무리 허술하고 기초적이라 해도 기반한 다양한 시각화나 분석 결과는 현업이 굉장히 관심을 두었었다. 심지어 당연한 결과지만 분석 결과가 그것을 본인이 알고 있던 내용을 반영하고 있다면 분석가에 대한 신뢰와 더불어 동질감을 잠시나마 느낄 수 있는 것이다. 많은 현업들은 외롭게 일하는데 같은 견해로 특정 문제를 바라봐줄 사람이라는 그 믿음은 그런 과정에서 나오게 되는 것이다.  그 관심을 파고들어 하나, 두개 , 세개… 의 현업의 의견과 노하우를 얻어가며 분석 레포트를 고도화 하는게 나의 경험에서 우러나온 노하우이다.

현업은 어렴풋한 경험치가 있으나 이들이 명확하게 조직화 되지 않은 상태로 업무를 수행하는 경우가 많다. 특히 데이터와 엑셀을 가지고 주 업무를 하는 사람들이 그런데, 이들의 경험치를 조직화 시켜 판단의 기준으로 삼을만한 통계 결과를 보여주는 분석가의 노력이 이들을 행복하게 만들 수 있는 것이다.

바램

필자는 데이터를 활용하는데 큰 가치를 두는 사람이다. 그런 측면에서 빅 데이터 유행은 큰 행운이라 생각하는데, 이 빅 데이터의 유행 자체가 의미하는 것을 좀 다르게 해석하곤 한다.

“그 동안 CRM, 데이터마이닝, Web 2.0을 제안하며 데이터 활용을 외쳤는데, 왜 아직 너희는 못하고 있니?  다시 한번 빅 데이터라는 기회를 줄 테니 데이터를 잘 활용할 수 있는 역량을 키우길 바란다.”

바로 위와 같은 의미라고 생각한다.

내가 느낀 데이터의 맛… 이 맛이 매우 달콤하고 중독적이며 활용 가치가 무궁무진한 것이라는 것을 다른 분들이 알게 해주고 싶을 따름이다.  

빅 데이터 분석 프로젝트에 대한 개인적인 경험과 의견 그리고 팁 by from __future__ import dream is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.