효율적인 웹 로봇의 설계 및 구현에 관한 연구

정보의 홍수 속에서 사용자가 원하는 정보를 쉽게 찾을 수 있도록 도와주는 검색 도구의 위치는 하루가 더하게 높아 가고 있다. 이러한 검색 도구들이 정보를 수집하기 위해 사용하는 웹 로봇(Web robot) 또한 로봇 에이젼트(Robot agent)라는 분야로 분류되어질만큼 중요한 위치에 서게 되었다. 그러나 이러한 웹 로봇은 쉽게 작성할 수 있다는 이유로 아주 작은 부분으로 취급되어 지기도 한다. 본 연구에서는 기존 웹 로봇들의 문제점을 알아보고, 그러한 문제점들을 보안한 웹 로봇의 구조와 IP class를 이용한 URL의 관리와 수행, 통계적 자료를 이용한 웹 서버로의 접근 방안 등을 제안한다. 제안된 방법을 사용한 경우 검색 도구와 같은 application의 질적 향상을 가져오게 되었으며, 기존 웹 로봇에 비해 넷트웍(Network)과 웹 호스트(Web host)에 가해지는 부하량은 줄어드는 효과를 낳았다.