Detection of Soft 404 Errors based on Visual Characteristics of Web Page

웹 문서의 형태적 특징 인식에 기반한 SOFT 404 오류 판별

Dead Link의 노출 최소화는 웹 검색 서비스의 품질 유지에 있어 매우 중요하다. 따라서 색인 내 Soft 404 오류의 정확한 판별은 필수적이지만, 리다이렉션 정보에 의존하거나 텍스트 혹은 HTML 자질 만을 고려하는 기존 방법의 활용만으로는 판별 가능한 Soft 404 오류의 유형이 한정될 수 있다는 문제가 있다. 이에 본 연구에서는 보다 범용성이 높은 Soft 404 오류 판별 기술의 개발을 위해, 404 오류 안내 페이지 고유의 형태적 특성을 오류 판별에 사용할 것을 제안한다. 제안 방법은 오류 안내 문서의 형태적 특성을 이미지 인식 모형에 기반해 학습한 후 이를 Soft 404 오류 판별에 사용하며, 리다이렉션 등 특정 정보에 의존하는 기존 방법에 비해 보다 폭넓게 적용 가능하다는 장점이 있다. 실험에서 제안 방법은 87.6%의 정확률과 92.7%의 재현율을 기록하는 등 높은 인식 성능을 보였다.