Grad CAM을 이용한 딥러닝 모형 해석

모형의 해석은 실무적인 관점에서 생각보다 중요한 부분을 차지하고 있다. 가장 먼저 모형이 상식에 맞게 만들어 졌는지 확인하기 위한 용도로 활용 가능한데, 만일 상식에 기반해서 모형이 만들어 졌다면 오랜 기간 모형을 운영하는데 안정성을 유지해줄 가능성이 많다. 또한 모형 스코어에 대한 설명을 현업에서 요구하는 경우가 많은데, 이 경우 현업의 이해와 신뢰를 도모하는데 큰 역할을 해준다. 무엇보다 모형을 해석할 수 있게 되면, 이전에 알지 못했던 새로운 정보를 아는 경우도 많아 예측이 목적이 아닌 현실을 모델링 하는 용도로 모형을 이용하기도 한다.

딥러닝 모형은 대표적인 블랙박스 모형으로 인지되어 왔으나, 최근 필자의 경험을 빗대어 보자면 딥러닝 모형이 블랙박스 모형일 것이라는 선입견이 상당부분 없어진 상황이다. 이번 글에서 그러한 가능성을 영화 리뷰 분류 모형을 기반으로 설명해 보고자 한다.

사용한 데이터는 Naver sentiment movie corpus이며, 해당 레포지터리에서 제공하는 학습셋과 테스트셋을 그대로 사용했으며, 데이터에서 제공하는 레이블(1:긍정, 0:부정)을 기반으로 리뷰의 긍정, 부정을 예측하는 모형을 딥러닝 모형으로 구축할 예정이다.

이 글에서 기반으로 한 Grad CAM 논문은 이미지를 기반으로 설명하고 있으나, 최근 추세로 볼때 텍스트 모델링 영역의 문제들도 Convolution 기반의 기법이 많이 사용되고 있어 살짝 방향을 틀어 텍스트 분류 모형을 구축하고 이를 해석하는 시도를 해보고자 한다. Grad CAM 기법은 모형이 해당 리뷰가 긍정(혹은 부정)이라고 판단한 원인을 backpropagation 기반 필터 가중치와 컨볼루션 아웃풋 값을 이용해 각 엔트리에 스코어를 부여하는 방식이다. 컨볼루션 아웃풋이 뭔가를 결정하는 다양한 재료를 제공한다고 예를 들어보면, 필터 가중치는 클래스에 의존해 컨볼루션이 제공한 재료에 하이라이팅을 하는 역할을 수행하는 것이다.
이런 종류의 컨볼루션 시각화 방식은 실제로 gradient ascent 기법을 활용하는데, 오히려 어떤걸 최대화 할지에 대한 생각을 가지고 이해를 하면 조금 이해하기 쉽다. 실제로 딥러닝 학습에서 “gradient X -1 X  learnig_rate” 만큼의 가중치 델타 업데이트가 이뤄지는건 loss를 줄이기 위함인데, 역으로 시각화할 영역에 델타를 가중해준다면 우리가 보고 싶어하는 부분이 부각이 될 것이다. 종합해서 이야기 하자면 학습이 되는 과정을 역으로 이용해 모형을 해석하고자 하는게 Grad CAM계열의 핵심이다. 여기서는 모형에서 선택된 1D 컨볼루션의 개별 필터의 가중치를 구해 필터를 통해 나온 결과에 가중해줘 개별 단어 엔트리가 클래스에 어느정도 중요하게 사용되었는지 확인하려고 한다. 이를 통해 모형이 상식적으로 모델링 되었는지 확인할 수 있으며, 더 나아가 모델을 디버깅하는데 도움이 될 수 있을 것이다.

In [1]:
import pandas as pd
import numpy as np
from konlpy.tag import Mecab
from collections import Counter
import operator
import matplotlib.pyplot as plt
%matplotlib inline

mecab = Mecab()
In [2]:
tbl = pd.read_csv("ratings_train.txt",sep='\t')
In [3]:
tbl.iloc[:10]
Out[3]:
id document label
0 9976970 아 더빙.. 진짜 짜증나네요 목소리 0
1 3819312 흠…포스터보고 초딩영화줄….오버연기조차 가볍지 않구나 1
2 10265843 너무재밓었다그래서보는것을추천한다 0
3 9045019 교도소 이야기구먼 ..솔직히 재미는 없다..평점 조정 0
4 6483659 사이몬페그의 익살스런 연기가 돋보였던 영화!스파이더맨에서 늙어보이기만 했던 커스틴 … 1
5 5403919 막 걸음마 뗀 3세부터 초등학교 1학년생인 8살용영화.ㅋㅋㅋ…별반개도 아까움. 0
6 7797314 원작의 긴장감을 제대로 살려내지못했다. 0
7 9443947 별 반개도 아깝다 욕나온다 이응경 길용우 연기생활이몇년인지..정말 발로해도 그것보단… 0
8 7156791 액션이 없는데도 재미 있는 몇안되는 영화 1
9 5912145 왜케 평점이 낮은건데? 꽤 볼만한데.. 헐리우드식 화려함에만 너무 길들여져 있나? 1

키워드 사전 구성 및 전처리

In [4]:
keywords = [mecab.morphs(str(i).strip()) for i in tbl['document']]
In [5]:
np.median([len(k) for k in keywords]), len(keywords), tbl.shape
Out[5]:
(14.0, 150000, (150000, 3))
In [7]:
keyword_cnt = Counter([i for item in keywords for i in item])
In [8]:
#간단하게 진행하기 위해 가장 빈도수가 많은 상위 5000개의 키워드만 사용한다. 
keyword_clip = sorted(keyword_cnt.items(), key=operator.itemgetter(1))[-5000:]
In [9]:
keyword_clip_dict = dict(keyword_clip)
keyword_dict = dict(zip(keyword_clip_dict.keys(), range(len(keyword_clip_dict))))
In [10]:
#공백과 미학습 단어 처리를 위한 사전 정보 추가  
keyword_dict['_PAD_'] = len(keyword_dict)
keyword_dict['_UNK_'] = len(keyword_dict) 
In [11]:
#키워드를 역추적하기 위한 사전 생성 
keyword_rev_dict = dict([(v,k) for k, v in keyword_dict.items()])
In [12]:
#리뷰 시퀀스 단어수의 중앙값 +5를 max 리뷰 시퀀스로 정함... 
max_seq =np.median([len(k) for k in keywords]) + 5
In [13]:
def encoding_and_padding(corp_list, dic, max_seq=50):
    from keras.preprocessing.sequence import pad_sequences
    coding_seq = [ [dic.get(j, dic['_UNK_']) for j in i]  for i in corp_list ]
    #일반적으로 리뷰는 마지막 부분에 많은 정보를 포함할 가능성이 많아 패딩은 앞에 준다. 
    return(pad_sequences(coding_seq, maxlen=max_seq, padding='pre', truncating='pre',value=dic['_PAD_']))
In [ ]:
train_x = encoding_and_padding(keywords, keyword_dict, max_seq=int(max_seq))
In [15]:
train_y = tbl['label']
In [16]:
train_x.shape, train_y.shape
Out[16]:
((150000, 19), (150000,))

모델링

임베딩을 별도 학습시켜서 진행할 수 있었으나, 포스트 목적상 간단하게 진행했다. 드롭아웃이 가미된 Bidirectional GRU가 성능향상에 가장 도움이 된거 같다.

In [17]:
from keras.models import *
from keras.layers import *
from keras.utils import *
from keras.optimizers import *
from keras.callbacks import *
from keras.layers import merge
from keras.layers.core import *
from keras.layers.recurrent import LSTM
from keras.models import *
import keras.backend as K
In [18]:
x_dim = train_x.shape[1]
In [19]:
inputs = Input(shape=(train_x.shape[1],), name='input')
In [20]:
embeddings_out = Embedding(input_dim=len(keyword_dict) , output_dim=50,name='embedding')(inputs)
In [21]:
conv0 = Conv1D(32, 1, padding='same')(embeddings_out)
conv1 = Conv1D(16, 2, padding='same')(embeddings_out)
conv2 = Conv1D(8, 3, padding='same')(embeddings_out)
In [22]:
pool0 = AveragePooling1D()(conv0)
pool1 = AveragePooling1D()(conv1)
pool2 = AveragePooling1D()(conv2)
In [23]:
concat_layer = concatenate([pool0, pool1, pool2],axis=2)
In [24]:
bidir =Bidirectional(GRU(10, recurrent_dropout=0.2, dropout=0.2))(concat_layer)
In [25]:
out = Dense(1,activation='sigmoid')(bidir)
In [26]:
model = Model(inputs=[inputs,], outputs=out)
In [27]:
model.summary()
__________________________________________________________________________________________________
Layer (type)                    Output Shape         Param #     Connected to                     
==================================================================================================
input (InputLayer)              (None, 19)           0                                            
__________________________________________________________________________________________________
embedding (Embedding)           (None, 19, 50)       250100      input[0][0]                      
__________________________________________________________________________________________________
conv1d_1 (Conv1D)               (None, 19, 32)       1632        embedding[0][0]                  
__________________________________________________________________________________________________
conv1d_2 (Conv1D)               (None, 19, 16)       1616        embedding[0][0]                  
__________________________________________________________________________________________________
conv1d_3 (Conv1D)               (None, 19, 8)        1208        embedding[0][0]                  
__________________________________________________________________________________________________
average_pooling1d_1 (AveragePoo (None, 9, 32)        0           conv1d_1[0][0]                   
__________________________________________________________________________________________________
average_pooling1d_2 (AveragePoo (None, 9, 16)        0           conv1d_2[0][0]                   
__________________________________________________________________________________________________
average_pooling1d_3 (AveragePoo (None, 9, 8)         0           conv1d_3[0][0]                   
__________________________________________________________________________________________________
concatenate_1 (Concatenate)     (None, 9, 56)        0           average_pooling1d_1[0][0]        
                                                                 average_pooling1d_2[0][0]        
                                                                 average_pooling1d_3[0][0]        
__________________________________________________________________________________________________
bidirectional_1 (Bidirectional) (None, 20)           4020        concatenate_1[0][0]              
__________________________________________________________________________________________________
dense_1 (Dense)                 (None, 1)            21          bidirectional_1[0][0]            
==================================================================================================
Total params: 258,597
Trainable params: 258,597
Non-trainable params: 0
__________________________________________________________________________________________________
In [28]:
model.compile(optimizer='rmsprop', loss='binary_crossentropy')
In [29]:
hist = model.fit(x=train_x,y=train_y, batch_size=100, epochs=10, validation_split=0.1)
Train on 135000 samples, validate on 15000 samples
Epoch 1/10
135000/135000 [==============================] - 32s 234us/step - loss: 0.4070 - val_loss: 0.3630
Epoch 2/10
135000/135000 [==============================] - 17s 129us/step - loss: 0.3550 - val_loss: 0.3485
Epoch 3/10
135000/135000 [==============================] - 17s 129us/step - loss: 0.3359 - val_loss: 0.3400
Epoch 4/10
135000/135000 [==============================] - 17s 129us/step - loss: 0.3248 - val_loss: 0.3374
Epoch 5/10
135000/135000 [==============================] - 17s 129us/step - loss: 0.3160 - val_loss: 0.3371
Epoch 6/10
135000/135000 [==============================] - 17s 129us/step - loss: 0.3091 - val_loss: 0.3330
Epoch 7/10
135000/135000 [==============================] - 17s 129us/step - loss: 0.3030 - val_loss: 0.3327
Epoch 8/10
135000/135000 [==============================] - 17s 128us/step - loss: 0.2982 - val_loss: 0.3321
Epoch 9/10
135000/135000 [==============================] - 17s 128us/step - loss: 0.2927 - val_loss: 0.3287
Epoch 10/10
135000/135000 [==============================] - 17s 128us/step - loss: 0.2878 - val_loss: 0.3339
In [31]:
plt.plot(hist.history['loss'])
plt.plot(hist.history['val_loss'])
plt.title('model loss')
plt.ylabel('loss')
plt.xlabel('epoch')
plt.legend(['train', 'valid'], loc='upper left')
plt.show()

테스트셋 만들기

In [33]:
tbl_test = pd.read_csv("ratings_test.txt",sep='\t')
In [34]:
parsed_text = [mecab.morphs(str(i).strip()) for i in tbl_test['document']]
In [35]:
test_x = encoding_and_padding(parsed_text, keyword_dict, max_seq=int(max_seq))
In [36]:
test_y = tbl_test['label']
In [37]:
test_x.shape, test_y.shape
Out[37]:
((50000, 19), (50000,))
In [38]:
prob = model.predict(test_x)
In [39]:
#개인적으로 모형 퍼포먼스 시각화는 R을 주로 활용하는편이다... ^^;..AUC 0.93정도로 꽤 좋은 성능이다.
%reload_ext rpy2.ipython
In [41]:
%%R -i test_y -i prob
require(pROC)
plot(roc(test_y, prob), print.auc=TRUE)

키워드 중요도 추출

In [60]:
def grad_cam_conv1D(model, layer_nm, x, sample_weight=1,  keras_phase=0):
    import keras.backend as K
    import numpy as np
    
    #레이어 이름에 해당되는 레이어 정보를 가져옴 
    layers_wt = model.get_layer(layer_nm).weights
    layers = model.get_layer(layer_nm)
    layers_weights = model.get_layer(layer_nm).get_weights()
    
    #긍정 클래스를 설명할 수 있게 컨볼루션 필터 가중치의 gradient를 구함  
    grads = K.gradients(model.output[:,0], layers_wt)[0]
    
    #필터별로 가중치를 구함 
    pooled_grads = K.mean(grads, axis=(0,1))
    get_pooled_grads = K.function([model.input,model.sample_weights[0], K.learning_phase()], 
                         [pooled_grads, layers.output[0]])
    
    pooled_grads_value, conv_layer_output_value = get_pooled_grads([[x,], [sample_weight,], keras_phase])
    #다시한번 이야기 하지만 loss를 줄이기 위한 학습과정이 아니다... 
    for i in range(conv_layer_output_value.shape[-1]):
        conv_layer_output_value[:, i] *= pooled_grads_value[i]
    
    heatmap = np.mean(conv_layer_output_value, axis=-1)
    return((heatmap, pooled_grads_value))
In [68]:
# test셋에서 90번째 인덱스에 해당하는 데이터를 시각화 해본다. 
idx = 90
In [69]:
prob[idx], tbl_test.iloc[idx], test_y[idx]
Out[69]:
(array([ 0.01689465], dtype=float32),
 id                                                   9912932
 document    로코 굉장히 즐겨보는데, 이 영화는 좀 별로였다. 뭔가 사랑도 개그도 억지스런 느낌..
 label                                                      0
 Name: 90, dtype: object,
 0)
In [70]:
hm, graded = grad_cam_conv1D(model, 'conv1d_1', x=test_x[idx])
In [71]:
hm_tbl = pd.DataFrame({'heat':hm, 'kw':[keyword_rev_dict[i] for i in test_x[idx] ]})
In [72]:
%%R -i hm_tbl
library(ggplot2)
library(extrafont)

ggplot(hm_tbl, aes(x=kw, y=heat)) + geom_bar(stat='identity') + theme_bw(base_family = 'UnDotum')

위 결과를 해석해보면 “개그, 뭔가, 억지”와 같은 단어가 해당 리뷰가 긍정을 판단하게 하는데 부정적인 역할을 수행하고 있다는 것을 알 수 있다. 반면 ‘사랑’이라는 단어는 긍정을 판단하게 하는 역할을 수행했으나, 결과적으로 종합 스코어 상 부정 클래스에 속하게 되었다.
위의 결과에서 보면 조사가 다소 노이즈성을 가지는 것을 볼 수 있는데, 조사를 제거하면서 유의미한 키워드셋을 더 늘리는 방안도 해석력과 모델 성능을 위해 고민해볼 필요가 있다고 생각된다.

 


간단하게 Grad CAM을 이용해 딥러닝 모형 해석을 시도해 보았다. 물론 위 코드는 단일의 레코드에 대한 설명을 하고 있는데, 다수의 긍정, 부정 리뷰를 랜덤으로 샘플링해 위와 같은 단어 가중치를 뽑아 통계를 내보면 영화 리뷰에서 긍정이라 판단되는 단어들과 부정이라 생각되는 단어 리스트를 얻을 수도 있을 것이다.  물론 이 단어는 모형에서 판단하기에 부정, 긍정을 결정하는 단어가 될 것이며, 이것들이 모형에서 이야기하는 중요 키워드라 할 수 있을 것이다.

 

 

 

CC BY-NC 4.0 Grad CAM을 이용한 딥러닝 모형 해석 by from __future__ import dream is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

This entry was posted in Deep Learning, Machine Learning, NLP

  • taeuk

    잘 보고 갑니다. 꾸벅..

  • 국진 김

    감사합니다.

  • 전승철

    감사합니다. ^^

  • 감사합니다. ^^

  • 네네.. 감사합니다.

  • 넵… 고맙습니다. ^^

  • Junhewk Kim

    대단하셔요. 매번 많은 아이디어 얻습니다.
    여쭤보고 싶은 게 있어서요.

    1. embeddings_out = Embedding(input_dim=len(keyword_dict) , output_dim=50,name=’embedding’)(inputs)
    그대로 넣으면

    index #5002가 embedding dimension [0, 5002) 에서 out of border로 잡힙니다.
    ( InvalidArgumentError: indices[0,17] = 5002 is not in [0, 5002) )

    keyword_dict[‘_PAD_’] = len(keyword_dict)
    keyword_dict[‘_UNK_’] = len(keyword_dict) + 1

    여기서 에러가 난 것 같아요. ‘_PAD_’: 5000, ‘_UNK_’: 5002가 됩니다.

    keyword_dict[‘_UNK_’] = len(keyword_dict)

    로만 넣어도 되지 않을까요?

    2. 이번 작업을 R 코드로 다시 정리해보았는데 공유해도 될지요?

    감사합니다.

  • 1. 네.말씀이 맞습니다. ^^ 지금껏 코드 피드백을 받아본적이 없었는데, 코드 개선에 도움을 주셔서 감사드립니다. 관련 코드는 바로 고쳤습니다. ^^

    2. 네, 출처만 명시해 주신다면 얼마든지 가능합니다.