Scraper

Jin Woo, Min
2002.9.17

Abstract

Scraper(스크래이퍼)는 웹 사이트를 PDA 같은 handheld 장비에서 읽기 쉽도록 컨텐츠를 단순화시키는 Java 기반의 웹 클리핑 엔진(web clipping engine)입니다. 변환하기 쉽게 script를 제공한다. java 언어로 작성되어 있어서 servlet, jsp 등등으로 확장가능하다.

HOWTO (실행방법)

http://scraper.kldp.net/2002-09-08_HOWTO_Scraper_1.42.html

Index

Copying
Download
Release Note
Changelog
Todo
Script Syntax
Authors
References

Copying

이 프로그램에 대한 저작권은 Apache License 형태로 갈까 생각중입니다.(^^;)
클리핑(스크래이핑) 하는 사이트에 대한 저작권은 각 사이트에게 있습니다. 따라서 본 프로그램을 사용하여 변환된 컨텐츠를 공개된 사이트에 업로드하여 공유될 경우 저작권에 위배가 될 수 있습니다. 이런 상황으로 생긴 문제는 전적으로 사용자에게 있습니다.

Download

https://kldp.net/projects/scraper/

Release Note

1.43

Homepage를 http://scraper.kldp.net/ 으로 완전이전!!!
kldp.net으로 이전과 함께 open source!!!
Site 파일과 Script 파일을 이용하여 웹페이지를 PDA용 페이지로 변환
Java로 된 Launcher 제공 (windows용)
정기적으로 실행되기 위한 Scheduler 제공 (unix용)
Script에 사용되는 명령어
- skip
- print
- link
- text
- time
- run
예제 Script
- 디지털 타임즈
- KGDA 뉴스
- JOINS 경제, 게임, 영화 (바람사이님 제공, me 보완)
- 야후 영화
- 야후 영어 (grayfire님 제공)
- 동아일보 부동산 뉴스
- 일간스포츠 연예면
- 마이폴더넷 뉴스

Changelog

1.43: 2002.9.17 (화)

Homepage를 http://scraper.kldp.net/ 으로 완전이전!!!
kldp.net으로 이전과 함께 open source!!!
[Bug] link시에 a태그가 있는 줄에 가 있으면 남아 있는 버그 수정

1.42: 2002.8.15 (목)

[Bug] home url과 link url이 http://test/test.cgi, test.cgi?a=b 인 경우, 연결 url이 잘못 계산되는 경우 해결

1.41: 2002.8.13 (화)

[Bug] 연결 오류: 연결이 되지 않는 경우의 프로그램이 완전히 중지하지 않고 다음으로 넘어가도록 처리
[Enhance] 페이지 오류 처리: 페이지가 없어서 404에러가 나는 경우 중지하지 않고 다음으로 넘어가도록 처리
[Script] 디지털타임즈 스크립트 보강: 정보통신 부분

1.4: 2002.8.11 (일)

명칭을 Scrapper에서 p자를 하나 더 뺐습니다. (영문법상..^^;)
- 아직 내부에는 고쳐지지 않았지만 일단 이름은 이렇게 부르려고 합니다.
- 2.0 부터는 새로운 명칭으로 부를 예정입니다.
[Enhance] 간단한 UI 제공
- Scrapper.exe 파일을 실행시키면 scripts 디렉토리의 site 파일 목록을 보여주며 원하는 site만 바로 실행시켜 볼 수 있다.
[Enhance] run 명령어 추가
- ex) run,dt.site: 외부 스크립트인 dt.site를 실행한다. 그리고 dt.site의 제목으로 링크를 표시한다.
  run,dt.site,디타: 외부 스크립트인 dt.site를 실행한다. "디타"라는 명칭으로 링크를 표시한다.
- 주의하실 점!! 무한루프에 빠지지 않도록 조심하십시오. 방지하는 코드를 넣지 않았습니다.
[Enhance] time 명령어 추가
- ex) time: 현재의 시간을 2002/08/11 10:20:22 형식으로 표시한다.
  time,yy-MM-dd hh:mm: 현재의 시간을 02-08-11 10:20 형식으로 표시한다.
- 기타 표시 형식은 아래의 주소를 참고하십시오.
  http://java.sun.com/j2se/1.3/docs/api/java/text/SimpleDateFormat.html
[Script] main.site 스크립트 추가
- 이 스크립트는 run명령어를 이용해서 Nate my channel과 같이 스크랩한 사이트의 메인 페이지를 구성할 수 있습니다.
[Enhance] scheduler 추가
- scheduler는 정해진 시간에 scraper를 실행하게 합니다.
- 현재는 unix platform을 위주로 했기 때문에 windows용은 별로 추천하지 않습니다.
[Bug] print, 이후에 ","가 들어가는 경우 그 이하를 출력하지 못하는 문제 (버그 발견: grayfire님)

1.3 RC1 배포중단: 2002.8.1 (목)

Offview의 저작권 변경에 따른 Offview 관련내용으로 인해서 잠시 중단합니다.
Offview와 관련이 없는 형태로 추후에 다시 배포하겠습니다.
Offview 저작권관련 변경에 대한 내용은 http://www.offview.com/ 에서 확인하십시오.

1.3 RC1: 2002.7.31 (수)

[Enhance] 명령어 변경 사항
- 버전이 1.0에서 1.3으로 바뀌었습니다. (1.0 문법도 모두 가능합니다.)
- 추가된 사항
 - text,<end>: 현재 커서부터 <end>문자열이 있는 곳 까지
 - link,test.html,test-sub.scr,3: 마지막의 3은 a태그가 여러개 있는 경우에 3번째 a태그를 link로 한다.
[Bug] link에서 <a href="..." class> 이런식으로 href이후의 다른 속성이 있는 경우 문제 해결 (바람사이님 발견)
[Feature] 디렉토리 구조 변경
- *.bat를 bin으로 옮김
- *.jar를 lib으로 옮김
- run.bat 배치파일 변경
[Script] KGDA 사이트 추가
- 홈페이지: http://www.kgda.or.kr/cgi/technote/main.cgi?board=news
[Script] 야후 매일 영어 추가: grayfire님 제공
- 홈페이지: http://yahoo.baeoom.com/language/left.js
- 게시판: http://dev.nextel.co.kr:7777/jive/thread.jsp?forum=17&thread=343
[Script] 중앙일보 전체기사 추가: 모기향님 제공
- 홈페이지: http://www.kcug.net/cgi-bin/ez2k/ezboard.cgi?db=kcugpdsdata&action=read&dbf=1856&page=2&depth=1
- 게시판: http://dev.nextel.co.kr:7777/jive/thread.jsp?forum=17&thread=333

1.21: 2002.7.16 (화)

[Feature] link 명령어에서 host가 다른 경우도 가능하게 수정
[Script] 일간스포츠 script 일부 수정
[Script] 디지털타임즈 script 보완
[Script] 야후 영화 뉴스 추가 (run-yahoo-movie.bat 실행)

1.2: 2002.7.13 (토)

[Feature] text 명령어에서 , , , 태그는 지우지 않도록 변경

1.1: 2002.7.10 (수)

[Bug] <A 등 대문자 태그 인식 못하는 버그 수정
[Bug] href=''에서 ''가 남는 버그 수정
[Script] http://news.myfolder.net/ 추가

1.0: 2002.7.7 (일)

[Feature] 기본적인 스크래핑 지원
[Feature] 깊이는 1만 지원 (=메인페이지와 그 하위페이지만 지원)
[Script] 예제 script: 디지털 타임스, 일간스포츠 연예 등등

To Do

loop 지원
Script Editor 지원

Scraper Script

Script 작성순서

site file 작성
메인 화면 script 작성
기사 내용 script 작성

Site File (*.site): 버전 1.4 기준

1번째줄: 버전 (버전이 맞지 않으면 제대로 동작하지 않음)
2번째줄: 사이트 이름 (적당히 써 넣는다)
3번째줄: 메인 페이지 URL (정확하게 입력한다)
4번째줄: 메인 페이지 script (정확하게 입력한다)
5번째줄: 메인 페이지를 저장할 html (정확하게 입력한다)
　

ex) dt.site

1.0
디지털타임스
http://www.dt.co.kr/
dt.scr
dt.html

Script File (*.scr): 버전 1.4 기준

1번째줄: 버전 (버전이 맞지 않으면 제대로 동작하지 않음)
2번째줄: script 명 (적당히 써 넣는다)
이하의 줄은 아래의 명령어로 구성한다.

skip: 특정 줄까지 지나친다.
　

ex)

skip,until,<table>: <table>이란 문자열이 나올때까지 지나친다.
skip,curr,10: 현재 줄부터 10줄을 지나친다.
skip,start,50: 맨 처음줄부터 50번째줄까지 지나친다.
이미 50번째줄을 지나친 경우라면 무시된다.

text: 특정 문자열 사이의 텍스트를 가져온다. 이때 중간의 tag들은 모두 삭제된다.
　

ex)

text,,: 문자열과 문자열 사이의 모든 text를 출력파일에 저장한다.

link: 링크를 찾아서 하위의 링크로 연결하며 그 하위 사이트의 내용도 가져온다.
　

ex)

link,dt-l1.html,dt-sub.scr: a태그를 찾아서 링크를 만들고, 그 링크 사이트의 내용은 dt-sub.scr을 이용하여 변환하고 출력파일은 dt-l1.html로 저장한다.

print: 출력파일에 내용을 추가한다.
　

ex)

print,<title>테스트</title>: 출력파일에 <title>테스트</title>을 추가한다.
comment: 줄에 아무내용도 쓰지 않거나 #으로 시작하면 주석으로
처리되어 아무런 실행도 되지 않는다.
　

ex)

# 이건 주석

Author

Engine: Jin Woo, Min (미오 at 신비로닷컴)

References

참고사이트

유사 상용제품

나모의 핸드스토리( http://www.handstory.co.kr/ )
...

마지막 수정일: 2002.9.17