당신의 나의 뜨거운 감자!
Overfitting은 노이즈와 시그널을 구분하지 못하고 노이즈를 과도하게 학습에 사용하게 됨으로써 미래의 데이터에 대한 예측 퍼포먼스를 갉아 먹는 모형 상태를 의미한다. 이런 부분이 최근 빅 데이터 시대에 문제가 되는건 바로 다양한 데이터 때문이다. 필자는 지난번 포스팅에서 데이터가 부족해서 일어났던 과거의 오버피팅이 속성이 다양해지면서 발생하는 오버피팅문제로 전환 시켰다고 언급했는데, Lasso와 같은 Regularization 이외의 방식으로 오버피팅을 피하는 방안들을 […]
계속 읽기Lasso 속성의 숫자가 레코드보다 더 많은 경우 발생할 수 있는 문제는 오버피팅(overfitting)이다. 이는 레코드에서 sparse하게 나타난 패턴을 적절하지 않은 속성으로 과대 해석하게 됨으로써 발생하게 된다. 이 때문에 속성 선택 과정을 거치거나 혹은 더 많은 데이터를 구하는 과정을 거치게 된다. 위와 같은 경우는 앞으로 IoT(Internet of Things)가 일반화되어 특정 단위 시간에 다양한 종류의 데이터가 쏟아지게 되면서 […]
계속 읽기금일 아침부터 행아웃으로 한미 동시에 발표했던 영상과 자료를 공유한다. 이런 식의 발표는 다소 청중의 표정을 볼 수 없어서 답답하긴 했지만 나름 작년에 묵혀둔 자료를 활용해서 “생활 데이터 분석“에 도움을 줬다는데 의미를 두고 싶다. 하지만 올 한해 동안엔 논문에만 집중하기 위해 되도록 이런 발표는 피할 생각이다. ^^;;; 질문중에 “지금 아파트를 사야되나요?” 질문이 무척 재미있었는데, 사실상 분석 […]
계속 읽기2016년 새해가 밝았다. 참으로 상투적인 표현이다. 새해가 밝았는데, 별로 새로운 느낌은 없기 때문이다. 그렇지만 이런저런 다짐 그리고 과거를 뒤돌아 보는 행위를 하면서 그 느낌을 느껴보려 한다. 작년 한해는 비즈니스 데이터 분석 부분에서 가장 많은 고민을 해왔던 한해였다. 팀에서의 선배로서의 역할 그리고 내가 해야 될 영역의 분석, 다른 조직들간의 커뮤니케이션과 이런 저런 이해되지 않았고 지금도 이해하기 […]
계속 읽기맥에서 ggplot2를 사용할 시 한글표현 문제가 있다는 것은 많은 분들이 공감하고 있을 것이다. 이 부분에 대해서 최근 팀 내 세명의 분석가분에게서 동일한 질문을 받았기 때문에 관련해서 정리를 해보고자 한다. 물론 기본 그래프에서도 그러한 문제가 발생하는데 관련된 문제는 par(family=’Unbatang’)과 같은 형태로 플로팅 이전에 설정해주면 대부분의 경우 해결된다. ggplot2의 경우 테마를 건드려야 되는데, 필자의 경우 개인 커스터마이징 […]
계속 읽기3D 프린터 라즈베리파이 기반 회로질의 가장 어려운점은 케이싱을 하는게 매우 어렵다는 것이다. 그래서 다이소 같은 곳에 가서 여성분들 잡동사니 넣어두는 아크릴 상자를 만든 회로의 케이스로 쓰던지 혹은 초등학생 필통에 구멍을 뚫어서 만들곤 했다. 아크릴 상자의 경우 적당한 구멍을 뚫기 위해 시도를 하다가 상자가 깨지는 경우가 99%였고, 초딩 필통도 종이 필통이 아니면 엄두도 나지 않는 작업이었다. […]
계속 읽기엔터프라이즈 환경에서 R을 기반으로 분석 환경을 구축할때 가장 문제가 되는 점이 CRAN을 폐쇄된 내부 환경에서 어떻게 접근하느냐 이다. 물론 CRAN접속 없이 소스파일만으로도 설치가 가능하지만 대부분의 유명 패키지의 경우 다른 패키지와 의존관계를 보이고 있고 그러한 의존관계를 가지고 있는 패키지들이 타 패키지들과 의존관계를 가지고 있는 경우가 많아 CRAN없이 하나의 패키지를 설치하기 위해서 많은 불편함이 존재하고 있다. 필자의 […]
계속 읽기Tree기반의 Boosting 알고리즘을 일반적으로 GBDT라고 이야기한다. 사실 필자가 Boosting기법을 실무에 직접 활용한건 약 9년전 Yahoo!에서 였는데, 당시 지금 모델링하는 방식과는 다른 무식한 방법으로 모델링하고 적용하기를 반복하면서 깊이있는 활용과 이해는 하지 못했던 아쉬움이 있었다. 하지만 다시 그 진가를 확인하고 있는 순간이 왔고 모델링 뿐만 아니라 속성 추출에도 활용 가능한 팔방미인이라는 것을 최근에 알게 되면서 다소 방법론 […]
계속 읽기얼마 전에 발표했던 외부 세미나 자료 요약을 공유한다. 발표자료에 워낙 내용이 없어서 핵심 내용 중심으로 간단한 코멘트를 해본다. 이날 발표제목은 “인정받는 데이터 분석가 되기”였다. 다소 자극적인 제목이나 실제 실무를 해보면서 느꼈던 부분에 기반해서 정리한 내용이라 이런 부분에 대해서 평소 고민했었던 분들에게는 정말 필요하고 힐링되는 내용이였으리라 생각한다. 필자에 대해 다른 분들은데이터 사이언티스트라 부르곤 하며, 자칭 데이터 분석가로 […]
계속 읽기비교는 비교할 대상과 비교해야 된다. 흔히들 적절한 비교 대상을 정해주지 않고 자신이 보고 싶은 효과만 비교하는 경우를 많이 본다. 이미 다른 성격을 가진 과일 두가지를 비교해 뭔가 유의미한 특징을 발견했다고 해서 대단한 발견이라고 하기 어려운 것과 마찬가지이다. 사과, 오렌지라는 사실 자체에 효과가 포함되어 있을 가능성이 굉장히 높으며 이는 특정 실험효과로 인한 결과라 보기 어렵다. 예를 […]
계속 읽기