About Me에 보면 아래와 같은 내 소개글이 있다.
오픈소스 NLP 관련 활동은 정말 나에게는 큰 기회와 감동, 경험을 줬던 활동이었다. 아직도 그 후광을 국가대표 AI 선발전에서 받고 있으니 말이다.
왜 오픈소스 덕이냐?
KoBERT, KoGPT2는 지금은 개발이 멈춘 MXNet 이라는 프레임웍에서 학습이 되었다. 당시 MXNet은 분산 학습 퍼포먼스가 가장 좋은 프레임웍으로 알려져 있어서 멀티 노드 학습을 필수적으로 해야했던 당시에 좋은 선택이었다. 게다가 gluon-NLP 라는 oss에서 내가 활동하던 이유도 있었고…
BERT 논문이 나오자 마자 해당 학습 로직에 대해 gluon-NLP에 직접 커밋하고 당시 오픈소스 개발자들과 코드리뷰를 진행했던게 코드 레벨 시행착오를 줄일 수 있었던 큰 요인이라고 생각한다. 당시 이런 리뷰를 팀이나 사내에서 받기는 어려웠으니 말이다.
댓글에 명시했지만, KoGPT-2 학습시에는 전부터 알고 있던 MXNet 오픈소스 개발자 분(당시 AWS 재직중)들에게 커널 코드를 받아서 최적화도 진행했었고, AWS 로부터 고맙게도 GPU 인스턴스 제공도 받았었다. 물론 AWS GPU 인스턴스를 무료로 쓰기 위한 여러 의무적인 활동도 하긴 했지만, 이제서야 이런 작업들이 계보로라도 저런 큰 자리에서 인정을 받을 수 있어서 정말 다행이란 생각을 해본다.
SKT에서 좋은 시작(KoBERT, KoGPT-2)을 잘 이어서 좋은 모델로 마무리 할 수 있기를 기대해 본다.
