웹 크롤링 이용하기 0. 웹크롤링 이란? - 웹 긁어오는 것. - 웹 스크래치, 웹 파싱 이라고도 불림. 1. 스크레치 어떻게 하는가? - NodeJS - 긁어오기 : request모듈, restler 모듈 등등 - 가공하기 : cheerio 모듈 - Python - 긁어오기 : requests 모듈 - 가공하기 : BeautifulSoup - NodeJS 샘플rest.post("https://XXXXXXXXXX", { data: { Name: "Jang" }}).on('complete', function(body) { console.log(body); $ = cheerio.load(body);}); 2. 스크레치 어떻게 하는가? (고급기능) - 위와 같은(1번) 방법으로 잘안될 때 보면 대부분은 헤더값..
pm2 이용하기 0. PM2 란?- Process Manager 2- 이름과 같이 프로세스들을 관리해주는 역할. 1. 설치하기- npm install -g pm2 2. 명령어 사용.- 프로세스 리스트 pm2 list - 시작하기- 기본pm2 start app.js - 파라미터 추가pm2 start app.js --log-date-format="YYYY-MM-DD HH:mm:ss" -- 3010 - 로그 and 옵션 추가.pm2 start app.js --log-date-format="YYYY-MM-DD HH:mm:ss" --node-args="--expose-gc" - 혹시 이름을 변경해서 실행하고 싶을때.pm2 start app.js --name=hello -f - 파이썬 실행- 일반 python 으로..
NODEJS 설치하기 1. NODEJS 다운로드- wget https://nodejs.org/dist/v4.3.1/node-v4.3.1.tar.gz 2. 압축 풀기- tar xvzf node-v4.3.1.tar.gz- cd node-v4.3.1 3. 설치하기- ./configure- make- make install ※ gcc 없을땐 yum install gcc*※ aws ubuntu일때 설치..apt-get install build-essential 4. Express 테스트- npm install express-generator -g- express myapp- cd myapp- npm install- npm start - 기본 3000포트
- Total
- Today
- Yesterday
- Redis
- real
- 마리아
- bitbucket
- 엘라스틱서치 복구
- auto update
- mqtt
- 2factor
- 네이트온
- 브라우저봇
- AWS
- puppeteer
- 엘라스틱서치 백업
- 2FA
- 봇
- 팀룸
- elasticsearch mapping
- backup
- 브라우저 제어
- maria
- MariaDB Galera
- activemq
- AmazonMQ
- Restore
- electron-updater
- 오픈API
- ElasticSearch
- 자동업데이트
- elasticsearch mapping change
- electron
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |