쿼드코어에서 병렬 프로세싱 실험

사실 요즘 회사서 리서치 용으로 몇가지 간단한 파일 처리 프로그램을 만들었는데, 이 리서치 기간에 Erlang으로 그 프로그램을 만들었다. 뭐 완전한 프로그램으로는 Erlang으로 처음 만드는 것이라서 시행착오도 많이 했지만 그럭저럭 잘 마무리를 지은거 같다. 다 코딩하고 프로파일링 후 이 Erlang 코드의 어느 특정 부분에서 처리 시간이 굉장히 오래 먹는다는걸 알았다. 바로 텍스트 정규식을 처리해 그것의 중복검사까지 […]

계속 읽기

Erlang으로 만든 웹서버 스트레스 테스트

근 1주일동안 Erlang에 푹 빠져 있는데, 여기에 대한 흥미로운 자료들을 올려본다. 아래는 Erlang으로 구현한 webserver인 Yaws와 apache webserver간의 스트레스 테스트다. 아주 유명한 테스트라고 하던데 이제야 봤다.apache 웹서버처럼  어떤 상황에서든지 버텨야 하는 강건한 어플리케이션을 만들 기회가 있을지 없을지 모르겠지만, 아래의 결과를 빌어 Erlang의 파워를 보자면 매력이 장난 아님을 느낄 수 있을 것이다. 스트레스 테스트 요약을 하자면, […]

계속 읽기

Erlang으로 구현해본 멀티 코어 CPU용 MapReduce

사실 대부분 코드의 본체는 Programming Erlang 의 예제코드에서 얻었고 간단하게 멀티 코어용 MapReduce 모듈을 구현한것을 보고 감동을 받아서 조금 고쳐 봤다. 책에서는 Reducer 하나만을 생성해서 결과를 combine 했는데 이 모듈에서는 Reducer 갯수를 조절할 수 있게 해놓았고, Hadoop과 유사하게 Key, Values 쌍으로 소팅해서 결과를 가져오게 했다.Hadoop처럼 대용량 파일을 모두 메모리에 올릴 수 없어 파일로 쓸수 밖에 […]

계속 읽기

책 번역 리뷰를 하고 있습니다.

Programming Erlang 이라는 책의 번역 리뷰를 하고 있다.인사이트 출판사 사장님이 이 책을 내가 전에 읽어본것을 알고 있었기 때문에 부탁한 듯 싶다. 아마도 번역을 하신 분의 입장에서는 상당히 스트레스를 받을 수 있는 그런 과정이지 싶은데, 일단 받았으니 10챕터부터 끝까지 리뷰를 진행하고 있다. 주간에는 일을 해야하니 새벽 시간을 조금 활용해 하루에 1 챕터씩 진행하고 있는데 몇몇 원서의 […]

계속 읽기

Erlang과 Hadoop

Erlang을 보고 있자면 계속 Hadoop이 생각난다. 만일 Hadoop을 Java가 아닌 Erlang으로 구현했으면 상당히 깔끔하게 구현이 되었을 거란 느낌이 든다. Hadoop에서 Job 스케줄링을 하는것과 Job 생성, 파괴 등등 아마도 Java에서 이런 기능들을 직접 구현했을 테지만, Erlang에서는 이런 멀티 프로세스 관리를 언어레벨에서 지원을 해주기 때문이다. 그것도 Hadoop의 특징인 fault tolerance를 충분히 지원하도록 말이다. 게다가 Hadoop 외부 API지원 […]

계속 읽기

Programming Erlang

몇일 전부터 erlang tutorial을 보면서 코드를 치고 놀다가 아침에 출근하자 마자 책을 주문해서 오후 늦게야 받았다.(원서를 주문한지 하루만에 받아보긴 처음이다.) Programming Erlang이라는 책인데 요즘 꽤나 잘 나가는 책인가 보다. 강컴이나 yes24의 원서 코너에서 상당한 판매량을 자랑하고 있으니 말이다. 뭐 말만들어본 함수형 언어를 처음 접해보는거라 좀 어색하긴 하지만 나름 흥미롭게 보고 있다. 목차를 보고 책을 빨리 […]

계속 읽기