Proceedings of the Korean Institute of Intelligent Systems Conference (한국지능시스템학회:학술대회논문집)

Korean Institute of Intelligent Systems (한국지능시스템학회)
권호 표지

A Method of Link Extraction on Non-standard Links in Web Crawling

웹크롤러의 비표준 링크에 관한 링크 추출 방안

  • 정준영 (서경대학교 소프트웨어학과) ;
  • 장문수 (서경대학교 소프트웨어학과) ;
  • 강선미 (서경대학교 컴퓨터과학과)
  • Published : 2008.04.25
Download PDF
⟨ Previous Next ⟩

Abstract

웹크롤러는 웹페이지 내의 URL링크를 추적하여 다른 문서를 수집한다. 국내의 상당수 웹사이트는 웹 표준에 맞지 않는 링크방식으로 웹문서를 연결하고 있다. 일반적인 웹크롤러는 링크의 비표준적인 사용을 가정하지 않기 때문에 이러한 문서는 수집할 수 없다. 비표준적인 링크가 가능한 것은 사용자의 실수에 강인한 마크업 언어인 HTML에 자바스크립트 기능이 추가되면서 자바스크립트의 변칙적인 사용이 허용되었기 때문이다. 본 논문에서는 230여개의 웹사이트를 조사하여 기존 웹크롤러에서 해결하지 못한 링크 추출 문제를 찾아내고, 이를 수집하기 위한 알고리즘을 제안한다. 또한 자바스크립트 문제 해결을 위한 무거운 자바스크립트 엔진을 대신하여 필요한 기능만으로 구성된 모듈을 사용함으로써 효율적인 문서 수집기 모델을 제안한다.

Keywords