Text Analysis Developers’ Workshop 2018 참석 후기

작성일자 글쓴이

작년부터 1년엔 한번씩 Text Analysis Developers’ Workshop에 참석을 하게 되었고 작년 런던 정경대에서의 워크샵 참석 이후 NYU의 워크샵에 다시 초대되었다. 워크샵 참석을 위한 숙박비 및 비행티켓 등은 NYU와 rOpenSci에서 펀딩을 받았다. 기간동안의 일비, 로밍 비용은 SK Telecom에서 지원해주었다.

세계적으로 많이 쓰이는 텍스트 분석 오픈소스 개발자들을 대상으로 초대가 이루어 졌고, 초청받은 사람만 참석 가능한 특징을 가지고 있다.

워크샵 Schedule

Where: Center for Data Science, New York University, 60 5th Avenue, Room 150 this map.

Day 1

  • 9-10:00 Introductions (Everyone introduces him/herself, describes package(s), objectives and interests). Max 4-5 mins each, including one slide added to the Google Slides intro slide deck. (Link via email.)
  • 10:00-11:00 Roundtable 1: NLP
  • 11:00-11:15 Coffee break
  • 11:15-12:00 Roundtable 2: User’s Corner
  • 12:00-12:45 Roundtable 3: Interoperability
  • 12:45-13:30 Lunch
  • 13:30-14:00 Prep for hackathon issues
  • 14:00-15:30 Working sessions/hackathon
  • 15:30-15:45 Coffee break
  • 15:45-17:00 Working sessions/hackathon
  • 17:00-18:00 Roundtable 4: Deep Learning
  • 18:30- Dinner on site

Day 2

  • 9:30-10:00 from future import (Everyone shares what they are working on now or in the near future, outside the workshop).
  • 10:00-10:15 Coffee break
  • 10:15-11:00 Demos
  • 11:00-12:00 Sneak previews: Work in progress
  • 12:00-12:45 Lunch
  • 12:45-13:30 Wish lists
  • 13:30-14:30 Working sessions/hackathon
  • 14:30-14:45 Coffee break
  • 14:45-15:45 Working sessions/hackathon
  • 15:45-17:30 Working groups present results, identify future goals, etc.
첫날

워크샵에서 해결하고 싶었던 것은 어떻게 하면 딥러닝 모형을 좀더 자연스럽게 사용자들이 사용할 수 있는 패키지에 탑재 할 수 있는지 어떠한 힌트 혹은 해결책을 알고 싶었다. 배경 지식을 위해 Model as a Program이라는 개념을 설명하자면, 현재 많은 소프트웨어가 딥러닝이나 머신러닝 모델을 탑재하고 있고 앞으로 이 빈도는 더 늘어날 것으로 보고 있다. 이는 모형의 성능이 사람이 직접 코딩한 로직보다 훨씬 좋은 성능을 보이기 때문인데, 이렇게 Model이 프로그램의 핵심적인 동작을 관활하게 만들어지는 소프트웨어를 Model as a Program이라 한다. 나는 이 Model as a Program을 어떻게 하면 여러 소프트웨어에 의존하지 않고 만들 수 있을지에 대한 고민을 안고 워크샵에 참석하게 되었다. 하지만 지금과 같이 다양한 딥러닝 프레임웍과 빠른 변화 속에서 안정적으로 소프트웨어를 유지하는건 작은 소망에 가깝다는 생각도 마음 한켠에 간직하고 참석을 하였다.

궁극적인 Model as a Program(from Deep Learning with Python)

이러한 연유 때문에 워크샵 일정 시작 이전부터 KoSpacing을 최대한 정리해서 설치 가능하게 Github에 올려두었으며, 워크샵 시작 전날에 Python 버전의 PyKoSpacing을 공개했다. 이 작업은 뉴욕에서의 가족여행일정을 시작하면서 작업을 시작해 워크샵 시작 직전에 마무리가 되었다.

KoSpacing과 PyKoSpacing을 간단하게 설명하면, 자동 한글 띄어쓰기 패키지이다. 한글은 같은 문장에 대해서 다양한 띄어쓰기가 가능하며, 정확한 띄어쓰기 여부는 이후 형태소 분석 등의 분석 작업에 지대한 영향을 끼치며, 잘못된 띄어쓰기는 문장이 전혀 다른 의미로 의도되게 만들기도 한다. 이러한 이슈 때문에 많은 한글 텍스트 분석 패키지는 암암리에 형태소분석 혹은 명사 추출과 같은 작업 이전에 자동띄어쓰기 모듈을 동작하게 하나, 이들의 성능이 그렇기 좋지 않았던 상황이었다. 이 패키지는 필자가 만든 첫 Model as a Program으로 대부분의 로직은 딥러닝 모델이 커버하고 있다. 그리고 유일한 공개된 한글 띄어쓰기 엔진이다.

아침에 일어나 워크샵 장소인 NYC의 Center of Data Science로 향했다. NYC에서 잡아준 Sheraton Tribeca Hotel을 나와 5 Av/w 20 St 역에 도착했다. 뉴욕의 아침은 전날의 흐린 날씨와는 다르게 맑은 가을 날씨를 뽐내고 있었다.

역에서 NYU 에 가는길

학교 건물 옆에 있던 First Presbyterian Church.

학교건물의 측면, 캠퍼스가 전무함…

뉴욕의 대학은 캠퍼스가 거의 없고, 건물로 개별 단과대가 나뉘어 있다는게 좀 신기했다. 그만큼 땅값이 비싼 곳이라서 그럴 것이지만, 다소 낭만과 여유가 없어 보이는건 사실이다.

워크샵 시작 직전 강의실 전경. NYC의 펀딩을 주도했던 페트릭 교수가 강단에서 누군가와 이야기하는 중이다.

강의장에 좀 일찍 도착해서 자리를 잡고 사람들이 오길 기다렸다. 마침 rOpenSci의 제롬이 도착하는 모습을 보고 안부를 물은 뒤 한국에서 부탁받은 10월말 한국에서 열리는 R컨퍼런스 참석 여부를 물어보았다. 일단 스케줄 보고 알려주겠단다. 제롬은 rOpenSci의 핵심 개발자로 rOpenSci의 철학을 몸소 실천하고 있는 사람중에 하나로 한국에서 rOpenSci에 대한 관심이 높아져 초청을 진행하려 했다.

물병을 기념품으로 줬는데, 이야기하느라 챙길 여유가 없었다.

몇몇 작년 CJK에 대한 논의를 같이 했던 코헤이 및 아키와 인사 및 안부 작년 진행했던 한국어 분석기를 ICU 컨소시엄에 컨트리뷰트 하는 이야기를 잠시 하다가 워크샵 시작 시간이 되어 자리에 앉았다.

첫 소개 세션에서 각기 준비한 1장의 슬라이드를 기반으로 자신이 관심 있는 영역과 개발한 패키지 그리고 이 워크샵에서 관심있어 하는 주제들에 대해서 이야기 했다.

 

내 소개 자료

이번 워크샵은 작년과 다소 다르게 Python영역의 분들이 대거 참여하였다. 따라서 머신러닝이나 딥러닝 관련 분들의 비율이 대거 높아졌으며, 특히나 scikit-learn 개발자와 spaCy 개발자가 참여하고 있는건 큰 변화였고, 실제 한글관련해서 spaCy와 이야기한 부분도 이후 소개를 할 예정이다.

사실 전통적인 텍스트 분석의 목적인 사회과학에서의 연구와 매우 가깝다. 따라서 이들이 딥러닝과 같은 기술을 쓰기에도 적합하지 않고 그러기 때문에 리서치를 하기가 쉽지 않은데, 이 부분에 대한 차이가 2일자의 라운드테이블 논의에서 부각되었다.

사실 NLP 라운드테이블 논의에서는 어떠한 도메인(언어, 뉴스 등)에서 POS Tagging이나 Sentiment Analysis 등의 기술들이 사용되고 있고 거의 정답에 가깝게 성능이 발현되었는지와 사용자들이 이들 기술에 대해서 필요로 하는 기능이 무엇인지에 대해서 논의했다. 이 부분에 대해서 재밋었던 부분은 불용어에 대한 부분이었다. 불용어 리스트를 소프트웨어에서 제공하는게 맞는지와 아닌지, 그리고 그 수준은 어떠해야 되는지 등의 논의였는데, 과연 불용어의 정의가 무엇인지 명확한 기준이 있어야 된다는 사실에 모두 공감했다. “불용어에 대한 국제적 표준을 마렵합시다!”라는 이야기까지 나왔다.

첫번째 NLP 라운드테이블이 끝난 뒤 이 워크샵에서 꼭 뵙고 싶었던 조경현 교수님과 이런 저런 이야기를 했다. 특히 관심있는 소프트웨어적인 딥러닝 프레임웍간 포맷 전환 문제와 이를 손쉽게 소프트웨어화 하는 방식에 대한 질문에 깊이 공감했고, 몇가지 관련 소프트웨어가 개발되고 있다는 이야기(ONNX)와 실제 자신의 연구에서는 이 부분때문에 과거 논문 결과에 대한 재현을 하기 위해 많은 개발을 별도로 하고 있다는 이야기까지 했다. 논문 연구를 하는데에도 기존 연구 결과를 재현하고자 많은 개발이 진행되고 있다는 사실에 생각보다 놀랐고, 고민의 수준도 예상을 상회해다. 특히나 zeroMQ와 같은 인터페이싱 프레임웍을 사이에 두고 각기 딥러닝 프레임웍에 대한 공통적인 인터페이스를 하게 하면 어떨까 하는 교수님의 코멘트는 교수가 아닌 개발자와 이야기한다는 느낌까지 들게 할 정도로 재미있는 코멘트였다. 사실 조경현 교수님은 구글과도 많은 개발 협업을 하고 있는 개발자이자 연구자였다.

사실 이 시점부터 현 워크샵이 내가 가고자 하는 방향과 다소 차이가 있다는 생각을 하게되었는데, 이 차이는 뒤이은 딥러닝 라운드테이블 논의에서 극화 되었다.

Interoperability 라운드테이블에서는 이 부분의 해석에 대해서는 매우 많은 해석이 가능해서 다양한 논의가 나올줄 예상했으나 그렇지 않았다. 모델 프레임웍간의 상호 변환이 호환에 대한 이야기에 대한 좀더 활발한 논의가 있었으면 했는데, 코퍼스, 단어 여기서 조금 더 나아가서 워드임베딩의 공통 포멧에 대한 논의가 있어졌고, 워드임베딩의 공통 포맷에 대한 이야기를 소주제 논의 항목으로 살려갈 수 있었다. 워드임베딩의 공통 포맷은 현재 다양한 패키지에서 개발된 포맷을 하나의 포맷으로 정의하고자 하는 논의였고, 이 부분은 러시아에서 온 드미트리가 주도해서 진행했다. 드미트리는 러시아에서 꽤 유명한 개발자로 작년에 이어 올해도 아내와 방문했으며, 여전히 극비의 스타트업에서 일하고 있다.

오후엔 아래와 같은 방식으로 소주제 영역으로 나뉘어서 진행이 되었다.

모임의 주최자인 켄 교수가 소주제를 잡고 있다.

내가 속한 주제영역은 Internalization 부분이었다. 이 소주제에 포함된 사람은 코헤이와 프린스턴 대학의 윌 교수였는데, 가장 먼저 아라빅 언어의 POS Tagging 결과의 방향 문제에 대해서 이슈가 있었으나, 이 부분은 역시나 R과 윈도우의 오묘한 인코딩 이슈때문인 것으로 판단되어 일단은 적당한 후처리 이후 진행이 되는것으로 이야기 되었다. 여기서 이미 R에서 인코딩 관련 이슈에 대해서 다소 늦었지만 코어 내부에서 논의가 진행되고 있다는 사실을 알았다. 게다가 이 영역이 RStudio까지 연결되어 문제가 커져 역시나 Internalization의 시작과 끝은 다시금 인코딩 이슈라는 걸 실감했다. 이 시점에 코헤이의 요청으로 내가 개발한 KoSpacing에 대한 소개를 하였으며, 일본어와는 다르게 한글에서 이 전처리 영역이 매우 중요하다는 사실을 소개하고 KoSpacing으로 해결 가능하다는 것을 인지시킬 수 있었다. 사실 일본어나 중국어에서는 띄어쓰기 문제가 크지 않고 한국어 특유의 이슈다.

임베딩에 대한 논의를 하고 있는 리치몬드 대학의 테일러.

최근 CRAN에 올라온 RmecabKo에 대한 이슈도 논의 대상이 되었는데, 이 부분에서 우리 한국어 전문 처리 패키지들이 왜 발전이 더디고 지속적으로 관리되고 있지 않는지 많은 고민을 하게 하였다. 사실 KoSpacing도 마찬가지 문제를 가지고 있었는데, 주제 영역에서는 왜 패키지 이름에 Ko를 붙이느냐는 코헤이의 질문이 그 고민의 시작이었다. 그리고 그 고민은 왜 KoNLP를 개발하고 유지한지 5년이 넘었는데로 단 한번의 pull request만을 받았는지 그 이유를 설명하기 충분했다. 고헤이의 제안으로 필라델피아에 거주하는 RmecabKo개발자 분에게 연락해 혹시 일본어를 지원 대상에 넣을 수 있을지 문의했고, 다행히 긍정적인 답변을 받을 수 있었다. 한국어 뿐만 아니라 다양한 언어를 지원하는 오픈소스 소프트웨어가 좀더 많은 개발자들이 오픈소스에 기여하기 만들 수 있으며, 이렇게 되면 단순히 한국어만 지원되던 오픈소스 소프트웨어보다 생명력은 좀더 길어지게 될 것이다. 여튼 RmecabKo 개발자인 김준혁씨가 매우 긍정적으로 이 방향에 대해서 생각하고 있다고 맴버들에게 알려줄 수 있었다.

첫날 하루를 마치며 한국어 뿐만 아니라 다은 언어를 포함하는 프레임웍을 구상하여 오픈소스화 하는것이 NLP관련 오픈소스 개발을 하는데 훨씬 생명력을 길게 유지하는 방향이라는 조언이 기억에 남는다. 혼자하는 것보다 나은건 큰 판에 참여하는 것이고 참여보다 더 나은건 다른이들이 쉽게 참여할 수 있는 판을 만드는것이다. 라는 조언은 지금까지 내가 힘들게 오픈소스를 해오던일이 왜 그렇게 어려웠는지에 대한 이유를 알려주기 충분했다. 한국에 돌아가서 이 부분에 대해서 고민을 좀더 해보고 사람들을 모아서 같이 큰 판에 참여를 해볼 수 있는 포인트를 마련해 봐야겠다. 사실 그 포인트라는건 상당히 많다. 딥러닝이든 아니면 고전적인 텍스트 분석 도구이든 한국어는 모두 취약한 상황이니까.

둘째날

이틀차는 첫날 1층에서 주로 시행된거와는 다르게 NYU Center of Data Science 7층에서 시작되었다. 첫날과 비슷한 과정이나 딥러닝 라운드 테이블 세션이 있었고, 내가 원하는 이야기와 질문들이 활발하게 나오길 기대했다.

텍스트 분석을 위해서 딥러닝을 어떻게 활용해야 되는가? 라는 질문에 딥러닝이 블랙박스여서 분석을 하기위한 도구로는 사회과학 연구에서 사용하기 어렵다라는 의견이 지배적이었다. 이 의견에 패널로 올라론 조경현 교수는 이미 딥러닝 도구의 예측성능이 좋다라는 이야기를 하며 이런 도구의 내재된 기재를 연구하는게 사회과학 연구자들이 취해야 되는 자세가 아닐까 하는 이야기를 했다. 또 한명의 패널인 세일즈포스 엔지니어인 제임스의 코멘트가 자못 흥미로웠는데, “이미 세상은 딥러닝으로 차츰 돌아가고 있는데, 사회과학 연구자가 딥러닝을 연구하지 않는건 이상한것 같다.”라는 코멘트는 연구자들에게 큰 부담으로 다가왔을 것이라는 생각을 해본다.

사회연구에 토픽모델이 적용되기 시작한지도 불과 얼마 되지 않았는데, 딥러닝이야 아직은 시기상조라는 생각이 들었고, 워크샵에 참여한 대부분의 사회과학 연구자들도 비슷한 느낌을 주는 코멘트를 하였다. 이러한 내용이 오가면서 다소 내가 가지고 있던 워크샵에 대한 질문이 얼마나 앞으로 나아간 질문인지 깨달을 수 있었고, 답변을 얻기 어려울 수 있다는 생각을 하게 되었는데, 이 시간 이후부터는 개별 전문가에게 직접적인 조언이나 의견을 구하는 방향으로 워크샵 참여 전략을 바꾸게 되었다.

가장 먼저 제임스에게 현재 가지고 있던 문제점을 이야기하고 좋은 해결책이 없는지 문의하였으나, 그 친구 역시 뾰족한 해결책을 주지 못했다. 대신 spaCy의 딥러닝 프레임웍을 사용하고 그곳에 모형을 올려두면 절대 모형이 작동하지 않는 순간은 오지 않을거라고 이야기했다. 그래서 spaCy개발자 메튜를 찾아가서 딥러닝 프레임웍이 Thinc에 대한 이야기를 시작했다.

한국어, 일본어 NLP 학습셋에 대해서 논의중인 spaCy의 핵심 개발자인 메튜

spaCy에는 기본적으로 POS Tagger나 개체명 인식기 등의 모델에 딥러닝으로 학습된 모형이 기본적으로 탑재되어 있다. 물론 지원하는 언어가 8개 내외로 그렇게 많지 않으나, 아무래도 NLP 영역에서 딥러닝이 매우 좋은 성능을 보이고 있으니 이러한 딥러닝 프레임웍 탑재는 당연한게 아닐까 하는 생각을 했다. 타 패키지와는 다르게 spaCy는 자체 구현된 딥러닝 프레임웍이 존재하고 이를 Thinc(씽크)라고 한다. 딥러닝으로 학습된 NLP 모형을 안정적으로 지원하는게 씽크의 가장 큰 목적이기 때문에 타 딥러닝 프레임웍처럼 버전업이 되면서 기존 모형이 돌아가지 않거나 하지 않고 딥러닝 프레임웍 자체가 spaCy에 잘 녹아들어 있기 때문에 둘간의 디펜던시가 깨져 시간이 지나 모형이 동작하지 않게 되는 경우를 방지할 수 있다는 설명 등을 메튜가 자세히 해주었다. 사실 내가 가지고 있는 딥러닝 모형(Keras, MXNet)을 다시 재학습 시켜야 된다는 부담감이 있으나 복잡한 딥러닝 모델을 소프트웨어 내부에 가지고 있고 이를 안정적으로 유지하기 위한 노력을 최소화 하기 위해서는 spaCy는 가장 이상적인 패키지가 아닐까 하는 생각을 했다.

이러한 설명 이후 메튜가 한국어 학습결과가 잘 나오지 않는다는 이슈를 제기해서 함께 이슈를 파헤쳐보기 시작했다. 학습셋을 살펴보고, 한국어 학습이 잘 안되는 이유는 사실 학습셋 자체가 잘못되었기 때문이라고 설명해 주었다. 예를 들어 “학교에”라는 어절을 “학교”, “에”로 파싱 후 개별 단어에 명사, 조사라는 태그를 달아줘야 되는데 “학교에”를 하나의 형태소로 설정해 학습을 시킨것이다. 메튜와 원천 학습 데이터를 확인했을때 해당 정보가 있었음에도 불구하고 한국어에 대한 사전지식이 없어서 위와 같은 학습셋으로 잘못 전처리해 학습을 시킨것이었다. 다행히 빨리 원인을 찾았고, 개체명인식의 경우 내가 가지고 있는 학습셋이 spaCy에 적용 가능한지 같이 확인하고 학습하는 방법을 간단하게 메튜가 소개해 주는 시간을 가졌다. 그리고 한국에 가서 한국어 관련 spaCy 모형을 컨트리뷰트 해보도록 하겠다는 약속을 하고 메튜와의 미팅을 마치게 되었다.

NYU의 조경현 교수님과…

이후 첫날에 이어 GRU로 유명한 조경현 교수님과 이런 저런 이야기를 나눴다. SKT에서 어떠한 모형을 딥러닝으로 구축하고 있는지 궁금해 하셔서 어떻게 일하고 있고 현재 어떠한 변화가 되고 있는지 이야기를 했다. 딥러닝 때문에 하는 일과 패턴이 상당히 많이 달라지고 있다는 이야기에는 깊이 공감하는 분위기였다. 6월에 한국에 오시면 한번 뵙기로 하고 교수님은 학생과의 미팅때문에 다시 사무실로 향하셨다.

 

마치며

작년과는 다르게 Python 영역의 개발자들이 대거 참여를 하면서 자연스래 딥러닝에 대한 논의가 나오게 된건 매우 고무적이었다. 하지만 기존 R기반의 연구자들이 사회과학에 대한 연구를 주로하시는 분들이어 다소 두 영역간의 격차는 사용하는 랭귀지 이상으로 컸다고 생각한다. 그리고 SKT에서 내가 고민하고 있는 내용들이 생각보다 매우 발전적이고 앞서나간 고민이라는 것도 새삼 느끼게 되었다.

무엇보다 오픈소스 개발을 6년 넘게 해오면서 좀더 많은 참여자를 만들기 위해 전략적으로 움직여야겠다는 생각을 해본다. 좀더 좋은 판에서 기여를 하고 더 나아가서 스스로 좋은 판을 만들기 위해 노력해야겠다는 생각을 해본다.

한국에 가서 해야될 일들을 정리해 보자면 아래와 같다.

  1. spaCy에 한국어 딥러닝 모델 추가
  2. 불용어 사전 정리 및 공유
  3. 위의 작업을 체계적으로 같이 해볼 계획 만들기…
  4. 딥러닝은 더더욱 열심히…

 

 

CC BY-NC 4.0 Text Analysis Developers’ Workshop 2018 참석 후기 by from __future__ import dream is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.