AWS

잡큐 - Gearman and Lambda (1) - Gearman

장송송 2016. 4. 10. 11:53

잡큐 - Gearman  and   Lambda (1) - Gearman



0. 잡큐를 왜 쓸까?

- 분산 처리.

- 빅데이터 처리.

- 본인 서버가 있으면 기어맨!     AWS 유저라면  Lambda

- 예1) 동영상 인코딩

- 파일을 서버에 올리고 그걸 다시 인코딩프로세스로 넘길떄


- 1명이 올리면 총 11초


- 여러사람이라고 가정하면?


- n명이 올린거니까 n개 프로세스 동작...... 서버 사망 위험.


- 예2) 데이터 처리

- 1개 데이터 1개 워커 - 처리하는데 10초


- 1000개 데이터 5개 워커면 10 * 1000 / 5

- 워커만 늘려주면 무한 확장가능



1. 기어맨 설치.

       - sudo yum install uuid-devel libuuid libuuid-devel uuid boost-devel libevent libevent-devel

       - tar xvfz gearmand-1.1.7.tar.gz

cd gearmand-1.1.7

./configure

make -j

make test

make install

      - http://gearman.org/getting-started/

- apt-get install gearman-job-server


2. 기어맨 사용. (NODEJS 이용)

- 워커

var hostname = "localhost";

var port = 4730;

var gearmanode = require('gearmanode');

var worker = gearmanode.worker({

    servers: [{

        host: hostname,

        port: port

    }]

});

worker.addFunction("gearman_test", function(job) {

    try {

        var payload = job.payload.toString();

        var ret = JSON.parse(payload);

        console.log(ret);

        setTimeout(function() {

            job.workComplete("success_" + ret.id);

        }, 3000);

    } catch (e) {

        job.workComplete("Error");

    }

});

- 클라이언트

var hostname = "localhost";

var port = 4730;

var gearmanode = require('gearmanode');

var client = gearmanode.client({

    servers: [{

        host: hostname,

        port: port

    }]

});

var job = client.submitJob("gearman_test", JSON.stringify({

    id: "529ca0dc847c397d5e000655"

}));

job.on("complete", function() {

    console.log(job.response);

});

job.on("error", function() {

    console.log(job.Error);

}); 


3. 후기

- 현재 프로젝트에 사용하고있는데 매우 잘됨.

- 클라이언트가 많아지면 상황에 따라 워커만 늘려주면 된다.

- 상황에 따라 급하면 클라우드서버 100대 늘려놓고 워커 실행하면 만사 OK

- 나는 Nodejs를 이용했지만 다른언어(Java Python PHP C..)등도 이용가능 하다.

- 물론 서로간의 통신으로도 이용해도 된다.