당신의 나의 뜨거운 감자!
Netflix의 contest 이후에 이쪽 competition에 대해서 까마득하게 잊고 있다가 최근 kaggle의 don’t overfit 문제를 풀어보게 되면서 다시 데이터 마이닝 혹은 데이터 분석 대회에 관심을 가지기 시작했다. don’t overfit문제는 뭐 거의 순위라고 말할 수 없는 순위에 있었지만 사실 테스트 용도로 한번 올려본 것이 전부인 대회였다. 학습 모델을 발전시킬 metric에 대한 계획도 없이 진행한 거라서 내놓기도 뭐한 […]
계속 읽기R Cookbook 현재 마지막 챕터인 time series 분석을 보고 있는 관계로 짬을 내어 책 리뷰를 하고자 한다. 이 책은 전반적으로 R 코드를 이해하는 분들을 위한 레퍼런스 용도의 책이다. 문법이나 여타 기본적인것들에 대해서는 자세하게 설명하지 않고 실무에서 자주 실수하는 부분들 또는 애매한 문법들에 대해서 가려운 곳을 시원하게 긁어 주는 그런 책이다. 아마도 목차만 읽어 보더라도 자신이 […]
계속 읽기주중에는 통 학교에 신경쓰지 못해서 주말에만 틈틈히 작업하던 레포트를 금요일 새벽에 마무리 해 토요일에 제출하고 왔다. 통계 패키지 과목만 무려 20페이지가 넘고 통계학 개론은 12페이지 남짓… MiniTab으로 하라던 개론 레포트는 교수님에게 건의해서 R로 작성했고 ㅋ~~ , 통계 패키지는 SPSS로 작업했다. SPSS는 앞으로 쓸지는 잘 모르겠지만 R의 경우는 처음 써본 함수들이 좀 있어서 블로그에 올려놓아서 나중에 […]
계속 읽기이런직장 살맛난다. 이번 회사 워크샵에서 회사 발표자료에 있던 책이라서 구매해 읽어 봤다. 지금까지 가장 행복했던 직장생활을 손꼽아 보니 정말 책에서 이야기 하던 3가지 win 항목이 모두 충족되어서 그랬다는 것을 느꼈다. 회사로 인해 의식주를 해결하고 있을때, 회사에 기여하고 있다는 것을 알때, 그리고 자신이 만든 기능으로 인해 고객이 만족하고 있다는 것을 알때 이 과정이 지나면 […]
계속 읽기SPSS로 계산하게 하는 예제가 있어서 R로 다시 돌려보면서 정리했다. 사실 R이 데이터의 이해를 담보로 해야 할 수 있는 부분들이 많아서 SPSS나 SAS 예제더라도 R로 돌려보는게 의미가 좀 크다. 아래와 같은 데이터가 있다고 가정할 경우.. > read.csv(“d:/knou/pkg/5-9.csv”) 교육수준 흡연실태 사원수 1 대졸 과흡연 51 2 고졸 과흡연 22 3 중졸 과흡연 43 4 대졸 흡연 […]
계속 읽기“gogamza”검색어에 대해 백링크를 두 단계 까지만 분석한 링크 그래프를 올려본다. 오늘은 이거 한게 전부…. gogamza검색어에 대해서 왼쪽 중개중심(betweeness central)이 내 블로그다. 어렵지는 않아 보이지만, 용어도 생소하고 정말 공부 해야 겠다.
계속 읽기황사가 날리던 오늘 이태림 교수님의 강의 정말 대단했다. 통계학 개론 설명… 익숙한 내용임에도 이론적인 뼈대에 흥미로운 살을 붙여서 열강을 하시는 모습에 너무 감동했다. 같이 강의를 들었던 예전 직장 동료분도 팬이 되버릴거 같다는 말씀을 하시더라. 게다가 온라인 수업에서 말할 수 없었던 이런 저런 학과 이야기와 본인이 통계학을 공부하며 70년대에 코볼로 코딩하던 이야기 등등 2시간 쉬는 시간 […]
계속 읽기어떤 데이터든 실무에서는 결측치에 대한 전략이 있어야 한다. 그리고 이에대한 적절한 처리 후 데이터 분석에 들어 가야 한다. 물론 다양한 결측치 채우기 전략이 있을 수 있는데, 여기서는 간단하게 중앙값, 평균, 그리고 모드(mode)를 이용하고, 적절하게 숫자형, 범주형데이터를 모두 처리한다. 해당 리스트에서 결측치가 존재할 경우 정규성 테스트를 한 이후 0.05유의 수준에 따라 정규분포를 하고 있다면 평균값을 구해 […]
계속 읽기지난주 위대한 탄생을 재밋게 봐서 그 멘토 점수와 시청자 투표 결과를 찾아보고 싶었는데, 투표 결과는 비밀이라고 한다. 이유는 다음 투표에 영향을 미치지 않을까 하는 제작진의 판단 때문이였다. 여튼 찾을 수 있는 멘토 점수를 가지고 이런 저런 생각을 해봤다. > witan <- read.csv(“d:/witan/witan.csv”) > witan 이름 최종결과 순위 방시혁 이은미 신승훈 김태원 김윤아 멘토 1 데이비드오 […]
계속 읽기요즘 새로운 회사 명함에 들어갈 직함 비슷한 것들을 고민해 볼 기회가 있어서 검색을 해봤는데, 아주 좋은 글이 있어서 정리해 본다. 글의 제목은 How do I become a data scientist? 이라는 질문에 답글인데, Kamil의 답변이 아주 구체적이다. 요약해보면 통계적인 데이터 분석 능력, 기계학습 및 데이터 마이닝에 익숙해야 하며 분산 컴퓨팅과 정보검색에 정통해야 하고 동시에 컴퓨터 쪽 […]
계속 읽기