Web robot(웹로봇)의 문제점

http://searchc.naver.com/help/index.naver?major=3&minor=7
http://www.robotstxt.org/wc/robots.html

웹 정보 수집시 DDOS 공격 막기

웹 전체의 정보(웹 페이지)들을 로봇으로 수집하다보면
request할 url이 sort되어 있다면 host name이 앞에와서 hostname별로도
sort될 것이기 때문에 한 site만 집중적으로 공격될 가능성이 있다.
(로봇 수십대가 동시에 한 site에서 웹 페이지들을 긁어 모을 때.)

이 때 어떤 해결책이 있을 까?

1. url들을 random하게 shuffling한다.
2. 단위 시간당 한 host에 접속해서 가져오는 웹문서의 수를 제한한다.


보안이 허술한 페이지 뚫기.
cookie등의 인증을 전혀 쓰지 않고 심지어 값을 post가 아닌 get으로 넘기는 초보적인
page들은 web robot의 scan이 곧 hacking.
web robot이 scaning하고 값을 가져오기 위해 url request를 날리는 것만으로도
그들의 관리자 페이지는 previleged operation들을 수행하고 그들의 data들은
망가져 버린다.(modify)
그래서 자신들의 입장에서는 해킹이기 때문에 웹로봇을 돌리는 사람을 해커로 몰고
경찰에 신고하고 사법 조취를 취할 가능성이 있다.
이것은 마치 문이 잠기지 않은 집에 노크 했는 데 문이 저절로 열리면서
집안에 있는 살림살이들이 전부 길 밖으로 쏟아져 나와버린 거라고 해야 하려나..