• 인터넷정보학회논문지
• /
• 제7권3호
• /
• pp.155-167
• /
• 2006

인터넷을 사용하는 사람들에게 그들의 관심사와 부합하는 웹 페이지를 제공하는 것은 매우 중요하다. 이러한 관점에서 본 논문은 각 웹 페이지의 주제와 연관된 정도를 계산하여 웹 페이지 군(cluster)을 형성하며, 단어빈도/문서빈도 엔트로피(entropy) 및 컴파일된 규칙을 이용하여 수집된 웹 페이지를 정제하는 주제 기반 웹 수집기를 제안한다. 실험을 통하여 주제 기반 웹 수집기에 대한 분류의 정확성, 수집의 효율성 및 수집의 일관성을 평가하였다. 첫째, C4.5, 역전패(back propagation) 및 CN2 기계학습 알고리즘으로 컴파일한 규칙을 이용하여 실험한 웹 수집기의 분류 성능은 CN2를 사용한 분류 성능이 가장 우수 하였으며, 둘째, 수집의 효율성을 측정하여 각 범주별로 최적의 주제 연관 정도에 대한 임계값을 도출할 수 있었다. 마지막으로, 제안한 수집기의 수집정도에 대한 일관성을 평가하기 위하여 서로 다른 시작 URL을 사용하여 수집된 웹 페이지들의 중첩정도를 측정하였다. 실험 결과에서 제안한 주제 기반 웹 수집기가 시작 URL에 큰 영향을 받지 않고 상당히 일관적인 수집을 수행함을 알 수 있었다.

• 정보처리학회논문지B
• /
• 제12B권6호
• /
• pp.697-702
• /
• 2005

주제 중심 웹 문서 수집기는 검색엔진에서 최신의 웹 문서 색인을 유지하는 대안방안으로 부상하고 있다. 그러나 주제 중심 웹 문서 수집기는 비 관심문서에서 연결된 관심문서들을 수집할 수 없는 문제점을 가지고 있다. 이러한 문제점은 문서의 구조적 특징을 고려하지 않아서 발생한다. 특히 문서분석 방법인 문서의 발생 횟수 및 역문헌 발생빈도는 이러한 문제를 야기하는 주요 원인이 된다 주제 중심 웹 문서 수집기의 성능을 향상하기 위해서 본 논문에서는 국소 정보기반의 문서 분할법을 제안한다. 본 논문에서는 문서를 하이퍼링크 주변의 문맥을 고려한 특징 정보들을 사용하여 여러 소각의 문서로 나눈다. 본 논문에서 제안하는 주제 중심 웹 문서 수집기는 나누어진 문서들을 이용하여 하이퍼링크가 관심문서를 가리키는 것인지를 판단하여 문서를 수집할 것인지를 판단한다.

• 한국지능시스템학회논문지
• /
• 제18권1호
• /
• pp.86-93
• /
• 2008

복잡한 의미관계를 정의하는 온톨로지를 구축하는 일은 매우 정밀하고 전문적인 작업이다. 잘 구축된 온톨로지를 응용 시스템에 활용하기 위해서는 온톨로지 클래스에 대한 많은 인스턴스 정보를 구축해야 한다. 본 논문은 온톨로지 인스턴스 정보 추출을 위하여 방대한 양의 웹 문서로부터 주어진 주제에 적합한 문서만을 추출하는 주제 중심 웹 문서 수집 알고리즘을 제안하고, 이 알고리즘을 바탕으로 문서 수집 시스템을 개발한다. 제안하는 문서 수집 알고리즘은 URL의 패턴을 이용하여 주제에 적합한 링크만을 추출함으로써 빠른 속도의 문서 수집을 가능하게 한다. 또한 링크 블록 텍스트에 대한 퍼지집합으로 표현된 주제 적합도는 문서의 주제 관련성을 지능적으로 판단하여 주제 중심 문서 수집의 정확도를 향상시킨다.