Virtural Index System to Reduce Amount of Data Transmission in WWW Environment

WWW환경에서 데이터 전송량 절감을 위한 가상인덱스 시스템

최근에 사용중인 검색엔진은 증가하는 지역사이트의 정보를 로봇사이트에 인덱스하는데 많은 문제점이 있다. 첫째, 지역사이트의 문서 전체를 로봇사이트로 전송하므로 네트워크의 트래픽을 증가시킨다. 왜냐하면 인덱스 하는데 불필요한 불용어와 특수문자, 중복된 키워드 전체를 전송하기 때문이다. 둘째 지역사이트의증가로 인해 로봇의 방문주기가 길어지므로 최근의 정보를 유지하는데 어려움이 있다. 마지막으로 문서를 로봇사이트에서 파싱하므로 파싱 시간이 길다. 이러한 문제점을 해결하기 위해 본 논문에서는 VITAR 방식을 제안하고 중앙집중식 인덱스방식과 성능을 비교분석한다. 이 방식은 지역사이트에서 문서를 생성,갱신, 삭제하고 지역 인덱스에이전트에 의해 파싱한후 푸싱기법을 이용하여 가상인덱스에 키워드 메시지만을 전송한다. VITAR방식의 장점은 키워드메시지만을 전송하므로 네트워크 트래픽을 줄일 수 있고 지역사이트에서 미리 파싱하므로 파싱 시간을 줄일 수 있으며 , 각 지역사이트의 문서가 변경되는 즉시 가상인덱스가 변경되므로 인해 최근의 자료를 유지할 수있다. 특히 중앙집중식 인덱스방식과 성능을 비교분석한 결과 생성타입인 경우 80.3%의 전송절감효과를 얻을 수있었다.