• Articles posted by 고감자

Author Archives: 고감자

About 고감자

당신은 나의 뜨거운 감자!

딥러닝 한글 자동띄어쓰기 모형 성능 향상 및 API 업데이트

1차 모형과 띄어쓰기 정확도 성능 차이

테스트 셋 1차 모형 2차 모형
세종 코퍼스 94.8% 97.1%
구어체 코퍼스 93.2% 94.3%

성능 측정방식은 코퍼스 내 문장별로 모든 띄어쓰기를 제거하고 넣었을때 올바르게 띄어쓰기가 되는지 여부를 측정한 것이다. 세종 코퍼스 1만 문장, 구어체 코퍼스 3만 문장으로 테스트 했다. 그리고 모형 학습은 박찬엽씨가 공유해준 뉴스 코퍼스 1억 문장 기반으로 했다.

금번 API 업데이트의 핵심은 물론 정확도 향상이다. 몇몇 레이어의 추가가 핵심적인 역할을 수행했다.

딥러닝 아키텍처라는게 일종의 “어떠 어떠한 패턴을 뽑아줄 수 있을 것이다”라는 가능성을 내포하는데, 몇몇 실험을 통해 그 가능성을 크게 해준게 효과적으로 적용되었던 것으로 본다.

GPU 두장을 거의 이틀에 하루꼴로 구동시키며 실험했는데, 이를 통해 얻은 경험치는 아래와 같다.

  1. 될성부른 모형은 초기 epoc 성능부터 다르다.
  2. 데이터를 더 많이 넣을 수 있는 구조는 결국 추가적인 코드 작업을 부른다. 하지만 딥러닝에서 많은 데이터는 축복과 같은것…
  3. 데이터를 버려도 될 정도로 많으니 overfitting 방어는 거의 필요 없게 되네..
  4. 성능 추이에 대한 모니터링은 텔레그램 봇을 통해서 받자. 나중에 잡 kill 명령도 텔레그램 봇으로?
  5. CuDNNGRUmulti_gpu_model이 아직 정식 릴리즈 되지 않았지만 시행착오를 빨리하는데 큰 도움이 되었다.

API의 호출방식은 달라진게 없고, 이 함수패키지를 활용하면 쉽게 가능하다. Python에서 호출하고 싶다면 필자의 포스트를 참고하면 된다.


그동안 이 API를 둘러싸고 많은 흥미로운 일이 있었다.
일단 이 API 호출을 하게 되면 서버에서 로그를 남기게 해두었다. 입력과 출력에 대한 로그이며, 이 로그는 사용자의 요구사항을 엿들어 볼 수 있는 일종의 창구 역할을 하고 있는데, 상당수의 로그가 영화리뷰에 대한 로그였다. 아무래도 네이버 영화 리뷰 분석을 많이들 하시니 그 영향이 아닌가 싶기도 하고…

흥미롭게도 대부분의 리뷰는 띄어쓰기를 별도 하지 않아도 될 리뷰였으나, 몇몇 리뷰의 경우 아래와 같이 필요한 리뷰였다.

sent : 그만해라 야붕이들아ㅠ
corrected : 그만해라 야 붕이 들 아ㅠ

sent : 이게영화냐이게영화냐이게영화냐
corrected : 이게 영화냐이게 영화냐이게 영화냐

위에 보다시피 잘 정제되지 않은 인터넷 은어와 구어체 표현에 엔진이 취약한 것을 알 수 있었다. 물론 이 부분은 당연한 부분이다. 왜냐하면 딥 뉴럴넷 모형은 위와 같은 학습셋을 본적이 없기 때문이다. 따라서 인터넷 용어 및 구어체 표현에 대한 띄어쓰기 성능은 앞으로 개선이 되어야 될 부분이라 생각하는데, 이를 위해서 양질의 학습셋을 어떻게 구하는가 하는 문제가 남아 있다. 사용자가 이러한 전처리를 하는게 뒷단에 형태소 분석기를 구동시키기 위함인데, 올바르게 띄어쓰기를 해주더라도 형태소 분석기가 저러한 문장을 잘 처리할지도 걱정이긴 하다.

필자가 구한 구어체 표현들로 평가해본 결과 문어체에 비해서 약 1%정도의 성능 저하가 나타나는걸 볼 수 있었는데, 아마도 체감으로는 더 클거라 생각한다. 왜냐하면 상대적으로 인터넷에 존재하는 구어체에는 신조어/은어들이 예상보다 많이 등장하기 때문이다.

API 공개 후 이틀만에 이 API를 이용한 kospacing 패키지가 등장했다. 물론 이 패키지 이전에 이미 함수를 만들어 공개한 분도 있었다. 그만큼 자동화된 한글 띄어쓰기 패키지에 대한 열망이 있었다고 생각이 들며, 이번 API 공개를 통해 더 훌륭한 공개 패키지들이 많이 등장했으면 하는 바램이 있다.

초반 구글 클라우드에서 Flask 기반으로 REST API 서버를 구성했는데(python 웹서버 기반), 잦은 서버 다운으로 몇일 고생을 좀 하다가, nginx, uwsgi, flask 조합으로 아무런 문제없이 운영하고 있다. 하지만 클라우드 서버 인스턴스를 가장 저렴한걸로 해놔서 많은 트래픽이 유입될 시 문제가 될 소지는 있다.

이 띄어쓰기 엔진은 keras + tensorflow 기반으로 학습되었다. 이를 R 패키지로 만드는건 아직은 다소 어려운 이슈이다. R 패키지로 만들기 위해서는 keras, tensorflow, Python 등 수많은 필요 외래 패키지가 필요한데, 이런 구조로 공식적인 패키지로 등록이 거의 불가능하기 때문이다. 그래서 찾아보고 있는게 Cpp로 모델을 포팅하는 모듈인데, 아직 쓸만한 모듈을 찾지 못한 상황이다. Model as a Program이 일반화 되기에는 시기상조이지 않을까 하는 생각이 먼저든다.

장기적인 계획은 이 모형을 R, Python 패키지 내에 포함시키는 적절한 방식을 찾아내 REST API가 아닌 stand-alone으로 동작하게 하는것이다. 하지만 그 방식을 빨리 찾을 수 있을것 같지는 않아 보인다.

맥주마시며 만들어본 딥러닝 맥주 추천엔진

퇴근 후 간단한 저녁과 함께 데낄라 한잔을 하고 집에 와서 맥주를 마시다가 4년전에 킵해둔 맥주 리뷰 데이터 생각이 나서 이 데이터 기반으로 10분만에 딥러닝 맥주 추천엔진을 만들어 봤다. 학습하는데 10분이 더 걸렸던 것을 빼놓고는 생각보다 나쁘지 않은 엔진이 구축되었다.

딥러닝 기반의 추천엔진 학습은 사용자 임베딩 매트릭스와 맥주 임베딩 매트릭스의 가중치를 학습하는게 목적이며 이 임베딩 매트릭스 기반으로 추천이 동작하게 된다. 물론 네트워크 자체를 활용할 수도 있고 유저 임베딩을 별도로 활용하는 방식도 있을 것이나, 이 부분은 서비스 컨셉에 따라서 다를 것이니 일단 넘어가자!

학습은 각 사용자 임베딩과 맥주 임베딩이 주어졌을 때 이들간의 벡터 내적이 등급에 가깝게 가중치 학습이 되게 하는 과정으로 학습이 진행된다. 이를 개념적으로 설명하자면 어느 두 고객이 기네스 맥주에 대해서 같은 등급을 매겼다고 가정 한다면,  기네스 맥주 가중치와 각각 고객의 가중치의 내적이 유사한 값이 도출될 수 있도록 상호 가중치 조정이 되게 된다.  결과적으로 기네스 맥주를 사이에 두고 두 고객 가중치는 유사한 가중치를 가지게끔 조정이 되게 될 것이다. 비슷한 데이터로 계속 학습될 경우 결국 두 고객은 매우 유사한 가중치(벡터)를 가지게 될 것이고 유사 고객으로 판단될 수 있을 것이다. 이와 반대로 한 고객이 두 맥주에 유사한 등급을 매겼다면 두 맥주는 비슷한 맥주로 가중치가 점점 조정될 것이다.

 

In [8]:
import pandas as pd
from keras.layers import *
from keras.regularizers import *
from keras.models import *
from sklearn.metrics.pairwise import euclidean_distances
%matplotlib inline
In [9]:
beers = pd.read_csv('beer_reviews.csv.bz2')
idx_reviewer = beers.groupby('review_profilename').size().reset_index()
idx_reviewer.shape
Out[9]:
(33387, 2)
In [10]:
user2idx = dict(zip(idx_reviewer.review_profilename, idx_reviewer.index.values))
idx_beers = beers.groupby('beer_name').size().reset_index()
idx_beers.shape
Out[10]:
(56857, 2)
In [11]:
beer2idx = dict(zip(idx_beers.beer_name, idx_beers.index.values))
idx2beer = dict(zip(idx_beers.index.values,idx_beers.beer_name))

beers['beer_idx'] = [beer2idx.get(b) for b in beers.beer_name]
beers['user_idx'] = [user2idx.get(u) for u in beers.review_profilename]

beers.loc[:, ['user_idx', 'beer_idx', 'review_overall']].as_matrix()

n_users = len(user2idx) 
n_beers = len(beer2idx) 
In [4]:
user_in = Input(shape=(1,), dtype='int64', name='user_in')
u = Embedding(n_users, 20, input_length=1,embeddings_regularizer=l2(1e-5))(user_in)

beer_in = Input(shape=(1,), dtype='int64', name='beer_in')
b = Embedding(n_beers, 20, input_length=1,embeddings_regularizer=l2(1e-5))(beer_in)

x = Dot(axes=2)([u,b])
x = Flatten()(x)

model = Model([user_in, beer_in], x)

model.compile('Adam',loss='mse')

model.summary()
__________________________________________________________________________________________________
Layer (type)                    Output Shape         Param #     Connected to                     
==================================================================================================
user_in (InputLayer)            (None, 1)            0                                            
__________________________________________________________________________________________________
beer_in (InputLayer)            (None, 1)            0                                            
__________________________________________________________________________________________________
embedding_1 (Embedding)         (None, 1, 20)        667740      user_in[0][0]                    
__________________________________________________________________________________________________
embedding_2 (Embedding)         (None, 1, 20)        1137140     beer_in[0][0]                    
__________________________________________________________________________________________________
dot_1 (Dot)                     (None, 1, 1)         0           embedding_1[0][0]                
                                                                 embedding_2[0][0]                
__________________________________________________________________________________________________
flatten_1 (Flatten)             (None, 1)            0           dot_1[0][0]                      
==================================================================================================
Total params: 1,804,880
Trainable params: 1,804,880
Non-trainable params: 0
__________________________________________________________________________________________________
In [19]:
from IPython.display import Image
from keras.utils.vis_utils import model_to_dot

Image(model_to_dot(model,show_shapes=True, show_layer_names=False).create(prog='dot', format='png'))
Out[19]:
In [6]:
data_set_mat = beers.loc[:, ['user_idx', 'beer_idx', 'review_overall']].as_matrix()

history = model.fit(x=[data_set_mat[:,0], data_set_mat[:,1]], y=data_set_mat[:,2], 
                    batch_size=64, epochs=10, validation_split=0.1, verbose=2)
Train on 1427952 samples, validate on 158662 samples
Epoch 1/10
 - 66s - loss: 4.6260 - val_loss: 15.3516
Epoch 2/10
 - 60s - loss: 2.5994 - val_loss: 15.3719
Epoch 3/10
 - 60s - loss: 2.5567 - val_loss: 15.3726
Epoch 4/10
 - 60s - loss: 2.5165 - val_loss: 15.3920
Epoch 5/10
 - 60s - loss: 2.4975 - val_loss: 15.3773
Epoch 6/10
 - 60s - loss: 2.4882 - val_loss: 15.3994
Epoch 7/10
 - 60s - loss: 2.4841 - val_loss: 15.3882
Epoch 8/10
 - 60s - loss: 2.4778 - val_loss: 15.3692
Epoch 9/10
 - 60s - loss: 2.4743 - val_loss: 15.3741
Epoch 10/10
 - 60s - loss: 2.4737 - val_loss: 15.3721
In [12]:
beer_dist = euclidean_distances(X=model.layers[3].get_weights()[0])

#[k for k, v in beer2idx.items() if k.startswith('Guinness')]
In [13]:
def get_beer_recomm(beer_nm, beer_dist, idx2beer, topN=10):
    q_b_idx = beer2idx[beer_nm]
    beer_dists = beer_dist[q_b_idx]
    orders = np.argsort(beer_dists)
    return(zip(beer_dists[orders[:topN]], [idx2beer[i] for i in orders[:topN]]))
    
    
In [15]:
rec = get_beer_recomm('Indica India Pale Ale',beer_dist, idx2beer, topN=10)
tuple(rec)
Out[15]:
((0.0, 'Indica India Pale Ale'),
 (0.18242778, 'Bengali Tiger'),
 (0.18408915, 'Tröegs Dead Reckoning Porter'),
 (0.20235237, 'ACME California IPA'),
 (0.20946412, 'Odell 90 Shilling Ale'),
 (0.21144439, 'Kentucky Bourbon Barrel Ale'),
 (0.21554285, 'Juniper Pale Ale'),
 (0.22981298, 'Bully! Porter'),
 (0.23215295, 'Full Sail Wassail'),
 (0.23331977, 'Terrapin Hopsecutioner'))
In [16]:
rec = get_beer_recomm('Samuel Adams Boston Lager',beer_dist, idx2beer, topN=10)
tuple(rec)
Out[16]:
((0.0, 'Samuel Adams Boston Lager'),
 (0.44417816, 'Anchor Steam Beer'),
 (0.47144812, 'Samuel Adams Octoberfest'),
 (0.49871373, 'Hoegaarden Original White Ale'),
 (0.50791579, 'Samuel Adams Noble Pils'),
 (0.53693092, "Bell's Oberon Ale"),
 (0.54775667, 'Samuel Adams Winter Lager'),
 (0.58550274, 'Guinness Extra Stout (Original)'),
 (0.60181528, 'Franziskaner Hefe-Weisse'),
 (0.61106598, "Samuel Smith's Nut Brown Ale"))

 


인디카 맥주의 경우 추천을 해주는 맥주들이 대부분 IPA나 ALE류 인것을 알 수 있고(참고로 Bengali Tiger는 IPA다), 세뮤엘 아담스 라거의 경우 같은 양조장의 세뮤엘 아담스 류의 맥주와 필스너, 라거, White Ale, Brown Ale 등 의 IPA보다 다소 도수가 낮고 맛이 강하지 않은 맥주가 추천되는 것을 알 수 있다.  뭐 추천이 되는 맥주를 맛볼 수 있다면 그러고 싶은데, 아쉽게도 대부분 국내에서 잘 팔지 않는 것들이다.

 

위 딥러닝 네트웍은 추천을 위한 매우 기본적인 구조를 가지고 있다. 실제 학습 데이터를 확인해 보면 맥주의 카테고리라든지 양조장 등의 정보가 있다.  이들 정보를 위 네트웍에 녹여넣어서 구현을 해본다면 좀더 나은 구현체가 나올 수 있을 것이고, 맥주와 고객의 임베딩을 pre-train하여서 그 결과를 가지고 학습을 해도 좋은 결과를 볼 수 있을 것이다.

위와 같은 dense하고 deep한 임베딩을 기반으로 학습하는 경우의 가장 큰 장점은 매우 일반화된 추천을 할 수 있다는 것이라 할 수 있을 것이다.  이 덕분에 어떠한 맥주를 넣더라도 그럴싸한 맥주를 추천해줄 수 있으나, 정확도는 떨어질 가능성이 있다.  이를 위해 실제 평점 데이터를 Exploit 할 수 있는 추가적인 네트웍(wide한)을 구성하는게 최근 추세인데, 결과적으로 두 네트워간의 밸런스를 어떻게 하느냐에 따라서 추천의 성격이 달라질 수 있다.  Exploit,  Explore 둘중에 어떤것에 중점을 둘 것인가?   이 부분이 추천에서의 아트영역이지 않을까 한다.

언제나 처럼 코드와 데이터는 필자의 Git에 올려두었고, 혹시나 고전적인 방식의 추천이 궁금하다면 필자가 4년 전에 작성한 포스트를 참고해도 좋을 것이다.

 

딥러닝 기반 한글 자동 띄어쓰기 API 공개

형태소 분석 이전에 문자열의 정상 유무는 이후 분석 품질에 지대한 영향을 미친다. 최근 음성인식 정확도가 높아짐에 따라 많은 음성데이터가 Text로 변환되고 분석되기 시작했는데, 이를 위해 잘 동작하는 띄어쓰기 엔진은 텍스트 분석에서 거의 필수적인게 되어 버렸다. 또한 트위터나 페이스북의 사용자 생성 데이터를 분석하기 위해서 일종의 정규화 작업이 필수이며 양질의 띄어쓰기 엔진 확보가 점차 중요해지고 있다.

개인적으로 이런 저런 시도를 해오면서 큰 진전이 없다가 작년부터 어떻게 하면 딥러닝으로 한글 자동 띄어쓰기를 잘 해볼까 라는 고민을 하기 시작했고 이번 추석 연휴를 기회로 쓸만한 띄어쓰기 엔진이 만들어져 간단한 API로 공개해본다. 세종 코퍼스 1만 문장 기준 94.8% 그리고 최근 뉴스 기사 기준 95.3%의 띄어쓰기 정확도를 가지는 엔진으로 박찬엽씨가 수집/공유해준 2017년도 뉴스 기사 중 1억 문장으로 학습되었다.

딥러닝 기반의 첫 시도는 KoWordSpacing Git에 공개되어 있으나 현재 이 방식하고는 상당부분 달라졌고, 그렇게 개선된 딥러닝 아키텍처 덕분에 성능향상이 두드러졌다고 판단하고 있다. 관련 아키텍처는 별도 기회(논문이나 기고)를 통해 공유를 할 생각이다.

아래와 같은 방식으로 API를 사용할 수 있으며, 호출 건수에 대해서 별도의 제한은 없으나, 1회 호출에 200글자로 글자수를 제한하고 있어 문장단위로 입력을 하면 띄어쓰기가 된 문장을 리턴받을 수 있다.

Python기반 (>= 3.3)

from requests import put

spaced_sent = put('http://35.201.156.140:8080/spacing', 
      data={'sent':"최근음성인식정확도가높아짐에따라많은음성데이터가Text로변환되고분석되기시작했는데,이를위해잘동작하는띄어쓰기엔진은거의필수적인게되어버렸다."}).json() 

print(spaced_sent['sent'])

## 최근 음성인식 정확도가 높아짐에 따라 많은 음성데이터가 Text로 변환되고 분석되기 시작했는데, 이를 위해 잘 동작하는 띄어쓰기엔진은 거의 필수적인 게 되어버렸다.

R기반

library(reticulate)

requests <- import('requests')

spaced_sent <- requests$put('http://35.201.156.140:8080/spacing', 
      data=list(sent="아래와같은방식으로API를사용할수있으며,호출건수에대해서별도의제한은없으나,1회 호출에200글자로글자수를제한하고있다."))$json() 


print(spaced_sent$sent)
## [1] "아래와 같은 방식으로 API를 사용할 수 있으며, 호출 건수에 대해서 별도의 제한은 없으나, 1회 호출에 200글자로 글자수를 제한하고 있다. "