• The KIPS Transactions:PartA
• /
• v.10A no.2
• /
• pp.93-100
• /
• 2003

With the advent of distributed computing and Web service technologies, lots of users have been requiring services that can conveniently obtain and/or support well-assembled information based on Web. For this reason, we are to construct Automatic Linking Support Systems for generating Web-based integrated information and supporting retrieval information according to user's various requirements. Our system organization is based on client/server system. A server environment consisted of automatic linking engine that can provide lexical analyzing, query processing and integrated document generating functions, and databases that are made of dictionaries, image and URL contents. Also, client environments consisted of Web editor that can generate integrated documents and Web helper that can retrieve them via automatic linking engine and databases. For client's user-friendly interfaces, web editor and helper programs can directly execute by down leading from a server without setup them before inside clients. For reducing server's overheads, Parts of server's executing modules are distributed to clients on which they can be executing. As an implementation of our system, we use the JDK 1.3, SWING for user interfaces like Web editor and helper, RMI mechanism for interaction between clients and a server, and SQL server 7.0 for database development, respectively. Finally, we showed the access procedures of automatic document linking engine and databases from Web editor or Web helper, and results appearing on their screens.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04b
• /
• pp.316-318
• /
• 2001

링크 기반 검색엔진은 사용자의 질의어와 관련된 웹문서들에 대해 링크 정보를 이용하여 순위를 생성한다. 링크 정보는 문서들간의 추천을 나타내므로 중요한 문서를 찾는데 이용할 수 있다. 링크 정보를 이용한 검색은 일반적인 텍스트 기반 검색엔진에 비해 좋은 결과를 낸다고 알려져 있다. 링크 정보를 이용한 검색엔진의 대표적인 예로는 Google과 Clever Search가 있다. 본 논문에서는 링크 정보를 이용한 검색엔진을 개발하고 퍼지 개념 네트워크를 이용하여 개인화를 수행한다. 퍼지 개념 네트워크는 퍼지 문서 추 2654; 시스템을 위한 지식베이스로 이용된다. 사용자 프로파일을 이용하여 사용자별로 퍼지 개념 네트워크를 생성하고 링크 기반 검색 결과를 개인화한다. 3명의 사용자에 대해 실험을 수행하여, 개인화가 주는 효과에 대해 평가한다. 검색결과는 중요한 웹 문서를 찾아 주었으며, 개인화 과정을 통해 사용자가 원하는 순서대로 정렬해 주는 것을 알 수 있었다.다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2003.11b
• /
• pp.1027-1030
• /
• 2003

네트워크기술의 발달로 인하여 인터넷 이용자의 급증과 함께 그에 따른 정보를 제공하기 위한 인터넷 홈페이지도 기하급수적으로 증가하게 되었다. 인터넷 홈페이지의 운영 기간이 증가함에 따라 홈페이지를 구성하는 웹 문서와 웹 컨텐츠의 수도 증가하게 된다. 따라서, 이러한 웹 문서와 웹 컨텐츠에 대한 관리를 위하여 WCMS(Web Contents Management System)이 도입되고 있지만, WCMS에서는 웹 컨텐츠의 생성, 출판, 관리가 주요 기능으로, 웹 컨텐츠의 사용 횟수, 웹 문서의 다운로드 속도, 웹 문서 다운로드 용량, 데드 링크 여부 등을 분석하고 관리해 주는 소프트웨어가 필요하게 되었다. 본 논문에서는 웹 문서를 시각적으로 분석하여 웹 컨텐츠를 추출하고 웹 문서 내에서의 웹 컨텐츠 위치 및 크기를 분석한 후, 웹 컨텐츠의 연결 가능 여부를 분석하여 데드링크일 경우, 시각화하고, 웹 컨텐츠가 얼마나 사용되는지 등 홈페이지를 효율적으로 관리할 수 있는 구조 분석 시스템을 설계 및 구현하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.11b
• /
• pp.16-18
• /
• 2005

웹은 사용자가 원하는 정보를 쉽고 정확하게 검색할 수 있도록 웹 문서를 자료구조화하여 보다 신뢰성 있는 패턴을 추출하고 사용자의 특성과 행동 패턴을 적용하여 개인화 하여야한다. 본 논문에서는 개인화하기 위한 전처리 과정으로서 웹 문서를 구조화 하는 방법을 제안한다. 제안 방법은 기본적으로 웹 문서 태그의 하이퍼링크를 깊이 우선 탐색 알고리즘을 사용하여 방향그래프를 만드는 것이다. 이때 웹 문서 태그 탐색 시 플래시, 스크립트 등의 찾기 힘든 하이퍼링크를 찾는 문제와 '뒤로' 버튼 사용 시 웹 접근로그에 기록되지 않는 문제점을 보완한다. 이를 위해 클릭 스트림을 스택에 저장하여 이미 만들어진 방향그래프와 비교하여 새롭게 찾은 정점과 간선을 추가함으로써 보다 신뢰성높은 방향그래프를 만든다.

• Annual Conference on Human and Language Technology
• /
• 2003.10d
• /
• pp.101-107
• /
• 2003

최근의 웹 문서는 텍스트 위주의 구성이 아닌 이미지, 사운드, 동영상 등의 다양한 타입으로 구성되는 추세이다. 이에 따라 단순히 웹 문서 내의 단어 정보추출 만으로는 좋은 성능의 클러스터링을 기대하기 어렵다. 본 논문은 전통적인 문서 클러스터링 기법인 단어기반 클러스터링 기법의 취약점을 제시하고, 웹 문서간의 링크구조정보 중 동시인용 정보를 이용하여 웹 문서 클러스터링 성능향상의 가능성을 보이고자 한다. 실험에서는 네이버디렉토리 중 '자연과학' 범주에 포함된 문서를 대상으로 위의 두 가지 방식과 이 두 가지를 혼합한 단어-링크 혼합 클러스터링을 통해 기존의 방식보다 더 낳은 성능을 얻을 수 있었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.04b
• /
• pp.292-294
• /
• 2000

대부분의 검색엔진들이 사용하는 내용 기반 검색 방법은 웹 페이지에 있는 단어의 빈도만을 이용하여 순위를 결정함으로써 비슷한 단어 빈도를 가지고 있는 방대한 양의 검색 결과로부터 참조할만한 가치가 있는 중요한 페이지를 찾아내기가 매우 어렵다. 중요한 페이지를 구분해 내는 한가지 방법은 얼마나 많은 웹 페이지들이 참조하고 있는가 또한 얼마나 많은 사용자들이 그 웹 페이지에 접속하는가를 보는 것이다. 본 논문에서는 링크 빈도와 클릭 빈도를 이용하여 웹 페이지의 중요도를 계산하는 메타 검색엔진의 프로토타입을 구현하였다. 링크 빈도는 검색엔진에 해당 웹 페이지의 URL을 질의로 던져 구하고 클릭 빈도는 servlet을 이용하여 사용자의 클릭 행위를 감시하여 얻어내도록 하였다. 메타 검색엔진은 이 두 값의 가중치 합으로 각 페이지의 중요도를 계산하고 중요도 순으로 검색 결과를 재배열하여 사용자에게 보여 준다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.10a
• /
• pp.100-102
• /
• 2004

월드 와이드 웹의 보편화로 인하여 급속하게 증가하고 변화하는 웹 문서는 검색엔진으로 하여금 색인된 웹 문서와 현재의 웹 문서의 일관성을 유지할 수 없을 정도이다. 이러한 문제를 해결하기 위한 방법으로 연구되고 있는 것이 특정한 주제를 정하고 정해진 주제에 관련된 문서를 수집할 수 있는 focused crawler가 제시되고 있다. 지금까지 다양한 접근방법의 focused crawler가 개발되었지만, 모두 웹 링크를 이용하여 연결되어 있는 문서를 평가하는 처리과정을 거치고 있다. 그러나 이러한 과정은 다양한 내용을 포함하고 있는 문서일 경우 관련내용이 존재함에도 문서가 버려지거나 사용되더라도 문서상의 모든 링크를 사용하여 처리하는 비효율적인 문제점이 발생한다. 이 논문에서는 웰 문서 내부에 포함되어 있는 정보를 온톨로지를 이용하여 평가함으로써 다양한 내용을 가진 문서에서 사용자가 원하는 정보를 찾을 수 있을 뿐만 아니라 정보와 관련된 링크만을 사용하여 보다 효율적이고 정확한 문서를 수집하고자 한다.

• Convergence Security Journal
• /
• v.7 no.4
• /
• pp.73-81
• /
• 2007

Users of World Wide Web (Web) experience difficulties in the retrieval of pertinent information due to the increased information provided by Web sites and the complex structure of Web documents that are continuously created, deleted, restructured, and updated. Web providers' efforts to maintain their sites are tend to be less than that of site creation due to the expenses required for maintenance. If information of relationship among Web documents and their validity is provided to Web managers as well as Web developers, they can better serve users. In order to grasp the whole structure of a Web site and to verify the validity of hyperlinks, traversal and analysis of hyperlinks in a Web document are required to provide information for effective and efficient creation and maintenance of the Web. In this paper, we introduce a Web Editor specialized for Web maintenance. We emphasized on two aspects: first, the analysis of HTML Tags to extract hyperlink information and second, establishment of the relationship among hyperlinked documents, and verification of the validity of them.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2008.05a
• /
• pp.289-292
• /
• 2008

기존의 웹 수집 로봇에서 처리하지 못하는 자바스크립트 함수 링크를 처리하기 위하여 인터넷 익스플로러의 "Active Script Engine"을 사용하였다. 또한 자바스크립트 함수 링크를 처리 하였을 경우 웹 수집 로봇의 수집량을 측정하기 위하여 웹 수집 로봇을 개발하였다. 웹 수집 로봇을 개발하기 위해서 구글봇과 네이봇 등 웹 수집 로봇의 구조를 파악하여, 수집 로봇에 활용되는 구성요소를 구현하고 분산처리형태의 웹 수집 로봇을 설계하여 개발했다. 또한 개발된 웹 로봇에 제안된 자바스크립트 처리 모델을 추가하여 성능 평가를 하였다. 성능평가 방법은 자바스크립트를 사용하는 웹사이트의 게시판을 대상으로 하여 웹 수집량을 비교 분석하는 것이다. 웹사이트 게시물 1000개인 경우, 일반 웹 로봇의 경우에는 1페이지밖에 수집하지 못하였고, 제안된 웹 로봇의 경우 1000개 이상의 웹 페이지를 수집하는 결과를 얻었다.

• Journal of KIISE:Databases
• /
• v.33 no.7
• /
• pp.708-714
• /
• 2006

The World Wide Web has become an entrenched global medium for storing and searching information. Most people begin at a Web search engine to find information, but the user's pertinent search results are often greatly diluted by irrelevant data or sometimes appear on target but still mislead the user in an unwanted direction. One of the intentional, sometimes vicious manipulations of Web databases is Web spamming as Google bombing that is based on the PageRank algorithm, one of the most famous Web structuring techniques. In this paper, we regard the Web as a directed labeled graph that Web pages represent nodes and the corresponding hyperlinks edges. In the present work, we define the label of an edge as having a link context and a similarity measure between link context and the target page. With this similarity, we can modify the transition matrix of the PageRank algorithm. A motivating example is investigated in terms of the Singular Value Decomposition with which our algorithm can outperform to filter the Web spamming pages effectively.