Erlang
마소 기고문 쓰다가 발견한 자료다.얼랭언어에 대한 간략한 소개 후에 간단한 Map/Reduce 알고리즘을 구현/설명을 하고 있다. Exploring Erlang with Map/Reduce 블로그에 올린 공짜글 치고는 정말 좋은 글이다.
전에 Erlang으로 hadoop같은 분산처리 어플리케이션을 손쉽게 만들 수 있을거 같다는 포스팅을 쓴적이 있다. 지금 보면 허접한 포스팅이 아닐 수 없었는데 점점 그런 생각들이 실례로 드러나고 있다. 이미 FaceBook의 대용량 처리 어플리케이션에 Erlang이 쓰이고 있다는 글이 올라 왔다. … Erlang is the key tools for building large scale applications, especially for social networks… 새로운 채팅 서버를 [...]
내가 사용하는 서버중에 core가 8개인 서버가 있다. 메모리도 4기가 정도 되고… 오늘 이 서버에 데이터를 옮기로 압축을 풀고 있는데 이 압축 푸는 속도가 너무 느리고 htop을 쳐서 보면 1개 코어만 쓰고 나머지는 핑핑 놀고 있어서 나중에 써먹을 것을 생각해서 코어에 분산시켜서 untar를 하는 Erlang 프로그램을 짜봤다. [CODE js]#!/usr/bin/env escript main(_) -> OptionList = [{cwd, [...]
요즘 개인적으로 ANN을 이용한 어플리케이션을 만들고 있었는데, 이 글을 보고 설계를 고치기로 했다. 이미 80%완성을 했는데.. 쩝.. ㅜㅜ 먼저 글에 나온 그림이 상당히 인상적이였는데 ANN을 이렇게나 쉽게 이야기 하는 그림이 세상이 있을까 하는 생각이 들 정도의 아주 멋진 그림이였다. 아래는 각 Neural이 어떻게 계산되고 output을 어떻게 내고 있는건지 잘 나타내는 그림이고 아래 그림은 모든 레이어의 [...]
pmap을 개선해서 kpmap함수를 만들어 봤다. (함수명은 내가 직접 지어본거다. ^^;) kpmap 함수는 …기존의 pmap함수가 입력되는 리스트 원소 갯수만큼 process를 만들어 버리는 단점을 가지고 있기 때문에 마지막 인수로 k라는 인수를 두어 k개의 process만을 만들어 처리를 하게끔 하는 함수이다. pmap 함수에서 내가 사용했던 작업이 1000여개의 파일을 열어 텍스트 처리를 하는 함수였는데, 1000여개의 함수를 여는 1000여개의 process를 만들기가 [...]