당신의 나의 뜨거운 감자!
어제 Carnegie Mellon의 AI 사용에 대한 비판적 사고 연구 논문을 읽으며, 작년 말 GenAI 기반 서비스의 UX 프로토타입을 만들었던 경험이 떠올랐습니다. 당시 고민했던 많은 부분들이 이 연구에서 실증적으로 확인되었고, 이를 기존에 봤던 GhostWriter 연구, Cursor vs Copilot 개인적 사용 사례, 그리고 Science Advances의 AI 기반 글쓰기 생산성 연구와 함께 종합해보니 뭔가 통합된 통찰을 얻을 수 […]
계속 읽기
지난 2월 온전히 1개월을 모두 뉴질랜드 가족여행에 쏱아 붓고 있던 중 뉴질랜드 푸카키 호수 마운트 쿡 빙하 아래 있던 (전화도 잘 터지지 않던)오지 캠핑장에서 작은 메일을 받았다. DMLC에 초대를 하고 싶다는 메일이었다. DMLC(Distributed (Deep) Machine Learning Community ) DMLC는 대표적으로 데이터 사이언스를 한다면 알고 있을 xgboost를 만든 개발자 집단이라 보면 된다. xgboost는 지금도 그렇지만 케글과 […]
계속 읽기작년부터 1년엔 한번씩 Text Analysis Developers’ Workshop에 참석을 하게 되었고 작년 런던 정경대에서의 워크샵 참석 이후 NYU의 워크샵에 다시 초대되었다. 워크샵 참석을 위한 숙박비 및 비행티켓 등은 NYU와 rOpenSci에서 펀딩을 받았다. 기간동안의 일비, 로밍 비용은 SK Telecom에서 지원해주었다. 세계적으로 많이 쓰이는 텍스트 분석 오픈소스 개발자들을 대상으로 초대가 이루어 졌고, 초청받은 사람만 참석 가능한 특징을 가지고 […]
계속 읽기형태소 분석 이전에 문자열의 정상 유무는 이후 분석 품질에 지대한 영향을 미친다. 최근 음성인식 정확도가 높아짐에 따라 많은 음성데이터가 Text로 변환되고 분석되기 시작했는데, 이를 위해 잘 동작하는 띄어쓰기 엔진은 텍스트 분석에서 거의 필수적인게 되어 버렸다. 또한 트위터나 페이스북의 사용자 생성 데이터를 분석하기 위해서 일종의 정규화 작업이 필수이며 양질의 띄어쓰기 엔진 확보가 점차 중요해지고 있다. 개인적으로 […]
계속 읽기KoNLP v.0.80.0 릴리즈 on CRAN 3년 5개월만의 업데이트다. 금번 업데이트에서 가장 큰 변화는 기존 36만에서 약 120만 형태소 사전을 탑재했다는 것이고, 이들 사전을 사용자들이 원하는 형태로 사용할 수 있게 하는데 방점을 두었다. 총 66개의 카테고리 사전을 보유하고 있으며 사용자들의 분석 대상에 맞게 카테고리 사전을 선택해 조합하여 사용할 수 있게 하였다. 추가 제공 사전 정보 : […]
계속 읽기예측 모형 운영의 문제점 Concept Drift 예측 모델링이나 머신러닝 영역에서 쓰이는 용어로서 시간이 지나면서 예측 성능이 달라지는 목적변수의 통계적 특징을 의미함 이런 특징은 시간이 지나면서 예측성능이 점차적으로 떨어지는 부작용을 일으킴 복잡한 사회 현상의 한 단면을 예측하자고 할 경우 사회현상에 대한 모든 변인을 고려해 모델링 하는 것은 불가능하기 때문에 이러한 실제 예측모형을 구축할때 점차적으로 성능이 달라지는 […]
계속 읽기국토교통부 실거래가 데이터 스크래핑 코드를 공유한다. 블로그에 썼던 데이터 분석에 사용한 데이터는 친분이 있는 분으로 부터 받은 데이터인데, 새로운 매매 데이터가 올라가면서 매번 요청하기 힘들것 같아서 코드를 작성해 봤고, 아래와 같이 간단하게 스크래핑 코드를 만들 수 있었다. 데이터 스크래핑 코드는 항상 그렇듯이 임시방편적이고, 코드가 깨끗하지 않다. 그래서 좀 색다르게 magrittr 방식으로 코딩해 봤으나 그다지 나아 […]
계속 읽기대부분 많은 사람들이 알겠지만 R은 분석언어이고, 프로덕션에션 레벨에서 사용하기 힘든 언어이다.프로덕션에서 사용하기 힘들다는건 서비스로 적용하기 힘든 프로토타이핑용 언어라는 것이다. 이런 중요한 이유중에 하나가 퍼포먼스 이슈가 있다. R언어는 상당히 많은 부분의 리소스를 데이터의 무결성 체크(NA와 같은 값들을 결정하기 위한 로직)나 분석 오류를 잡아내기 위해 할애한다. 따라서 많은 종류의 하이레벨 함수들을 사용하게 되는데, 이는 데이터 분석시 분석 […]
계속 읽기지난 12월 13일 도곡동 KAIST에서 열린 R meetup에서 발표한 발표자료를 첨부한다. KoNLP, Sejong, Ruchardet 패키지를 개발하면서 했던 시행착오들을 다른 분들은 하지 않길 바라는 마음에서 올해 꼭 하고 싶었던 meetup이었고, 발표자료보다 말로 그리고 쉘을 통해서 했던 설명들이 대부분이었던 발표였다. 발표자료 다운로드
계속 읽기R에서 입력되는 문서나 데이터셋의 인코딩을 알아내는 작업은 상당히 귀찮은 작업이다. 이 작업 R 쉘에서 간단하게 수행하기 위해 Ruchardet란 패키지를 개발해 CRAN에 submit하였다. 원 알고리즘 및 코드는 Mozilla 계열의 브라우저의 html파일 인코딩 예측을 하는 모듈기반에서 개발을 했으며, 패키지 라이센스도 MPL을 동일하게 따랐다. 아래와 같이 문자열에 대해서 바이트 시퀀스의 패턴을 보고 인코딩 검출을 한다. ## install.packages("Ruchardet") library(Ruchardet) […]
계속 읽기