• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.38B no.4
• /
• pp.291-297
• /
• 2013

Recently, the amount of web pages, which include various information, has been drastically increased according to the explosive increase of WWW usage. Therefore, the need for web page classification arose in order to make it easier to access web pages and to make it possible to search the web pages through the grouping. Web page classification means the classification of various web pages that are scattered on the web according to the similarity of documents or the keywords contained in the documents. Web page classification method can be applied to various areas such as web page searching, group searching and e-mail filtering. However, it is impossible to handle the tremendous amount of web pages on the web by using the manual classification. Also, the automatic web page classification has the accuracy problem in that it fails to distinguish the different web pages written in different forms without classification errors. In this paper, we propose the automatic web page classification system using meta-tag that can be obtained from the web pages in order to solve the inaccurate web page retrieval problem.

• The KIPS Transactions:PartB
• /
• v.11B no.6
• /
• pp.723-734
• /
• 2004

In this paper, we present an automated Web page classification system based upon ontology. As a first step, to identify the representative terms given a set of classes, we compute the product of term frequency and document frequency. Secondly, the information gain of each term prioritizes it based on the possibility of classification. We compile a pair of the terms selected and a web page classification into rules using machine learning algorithms. The compiled rules classify any Web page into categories defined on a domain ontology. In the experiments, 78 terms out of 240 terms were identified as representative features given a set of Web pages. The resulting accuracy of the classification was, on the average, 83.52%.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.10a
• /
• pp.796-798
• /
• 2004

본 논문에서는 웹 문서의 분류 성능을 향상시키기 위해 웹 페이지에서의 자질선택과 그에 따른 웹 문서 분류 방법을 제안한다. 문서 분류에는 문서에 포함된 단어를 분류 자질로 사용하게 되며 이때 한 문서의 모든 단어를 분류 자질로 이용한다고 좋은 성능을 보인다고 보장할 수는 없다. 그러므로 문서에 필요한 단어만을 자동으로 추출하여 문서데이터의 자질을 축소하는 작업이 필요하다. 따라서 본 논문에서는 모집군 내의 자질벡터의 범위가 큰 것을 적은 수의 주요성분으로 감소시키기 위해 통계적 분석 기법중의 하나인 주성분분석 방법을 이용하여 자질감소와 그에 따른 문서분류의 성능 향상을 실험을 통하여 보인다. 야후 스포츠 뉴스 웹 페이지가 분류를 위해 사용되었으며, 분류기로는 Naive Bayesian 분류 방법을 사용하였다. 실험 결과를 통해 본 논문에서 제안한 뉴스 웹페이지 분류 방법이 스포츠 뉴스 데이터 군에서 만족할 만한 분류 정확도를 제공한다는 것을 알 수 있다.

• Journal of the Korea Society of Computer and Information
• /
• v.17 no.3
• /
• pp.77-83
• /
• 2012

As web pages provide various services, the distribution of malware via the web pages is being also increased. Malware can make personal information leak, system mal-function and system be zombie. To protect this damages, we should block the malicious web pages. Because the malicious codes embedded in web pages are obfuscated or transformed, it is difficult to detect them using signature-based approaches which are used by current anti-virus software. To overcome this problem, we extracted features to classify malicious web pages and benign ones by analyzing web pages. And we propose a classification method using SVM which is widely used in machine learning. Experimental results show that the proposed method is better than other methods. The proposed method could classify malicious web pages correctly and be helpful to block the distribution of malicious codes.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.10b
• /
• pp.358-360
• /
• 2004

웹 어플리케이션은 생명 주기가 짧고, 마르고 정확한 개발이 요구되므로 모델링 단계에서의 요소 분류 및 요소간의 제약조건을 정의할 필요가 있다. 이에 본 연구에서는 각 프레임과 페이지를 그 성격에 따라 집합 프레임과 구조 프레임, 내용 페이지와 구조 정보 페이지로 분류, 이를 바탕으로 요소간의 관계를 정의하였다. 웹 응용 모델링의 요소 분류를 통해 그에 따른 제약 조건을 서술할 수 있는데, 이를 통해 사소한 예측할 수 있는 오류를 피할 수 있고, 웹 응용의 기본적인 테스트 케이스로도 사용할 수 있다.

• Annual Conference on Human and Language Technology
• /
• 1998.10c
• /
• pp.91-96
• /
• 1998

본 논문에서는 주제범주 체계를 이용한 웹 검색이 가지는 장점을 이용 할 수 있도록 인터넷 웹 페이지들을 주제범주 체계에 따라 자동으로 분류하는 모델을 제시한다. 특히 웹 페이지 작성자들의 의도를 범주화에 반영할 수 있는 방법으로 HTML 태그를 이용한다. 즉 웹 페이지의 표현에 있어서 벡터 스페이스 모델에서의 색인어 빈도 가중치에 태그 가중치를 추가 하여 보다 좋은 성능을 얻도록 하였다. 그리고 주제범주를 표현하는데 사용되는 자질의 선정에는 기대상호정보, 상호정보 척도를, 문서간 유사도 비교에는 최근린법을 사용하였다. 전북대에서 정보탐정용으로 분류한 웹 페이지를 대상으로 실험하였으며, 기본 모델 대비 약 7%의 정확도 향상을 얻을 수 있었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2009.11a
• /
• pp.719-720
• /
• 2009

문맥 광고에서 웹 페이지의 내용과 의미적으로 연관된 광고를 매칭하기 위해, 최근 웹 페이지와 광고를 동일한 분류 트리에 분류하여 의미적으로 매칭하는 방법이 제안되었다. 그러나 이 방법에서 사용된 분류 트리 및 분류기를 작성하기 위해선 많은 시간과 노력이 필요하다. 따라서 이를 용이하게 하기 위하여, 본 논문에서는 오픈 디렉토리 프로젝트의 공개 데이터를 활용하여 웹 페이지와 광고의 주제 분류를 위한 분류 트리 및 분류기를 작성하는 기법을 제안한다. 또한 실험 결과를 통하여 제안한 기법이 문맥 광고에서 웹 페이지와 광고의 의미적 매칭의 높은 정확성을 보장하는 것을 입증한다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.23 no.2
• /
• pp.126-132
• /
• 2013

This study proposed a method to classify internet websites based on occurrence frequency of medical terms in the webpages and website structure composed with webpages and hyperlinks. The classification was done by using the suitability measure defined by three factors: (1)occurrence frequency of medical terms in the whole terms involved in a webpage, (2)occurrence frequency of medical terms in de-duplicated terms involved in the webpage, and (3)the number of hyperlinks to reach to a specific webpage from homepage. We conducted an experiment to verify the proposed method with the 80 websites registered in directories related to medical field and 127 websites in nonmedical field directories, and the experiment result showed 82.5 % of accuracy of the classification.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10a
• /
• pp.201-203
• /
• 2000

변화하는 경쟁적 인터넷 환경에서 E-Business의 성공적인 운영은 웹 사이트를 이용하는 고객들의 행위를 얼마나 잘 이해하느냐에 달려있다. 폭발적으로 늘어나는 웹 사이트 중에서 많은 사용자들을 유치하고 유지하기 위해서는 고객 개개인의 특성을 분석해서 특성화된 특성화된 서비스를 제공하는 것이 중요하다. 이 논문에서는 웹 서버에 의해 수집되는 로그파일로부터 사용자들이 빈번하게 함께 접근하는 페이지들을 기반으로 웹 페이지에 대한 클러스터링을 수행하고 이러한 웹 페이지의 클러스터를 이용해서 유사한 행동패턴을 가진 사용자들을 분류함으로써 특성화된 서비스를 제공하기 위한 일련의 기법들을 제안한다. 특히 클러스터링을 수행하는 웹 로그에 시간적인 요소를 고려한 제약조건을 둠으로써 좀더 유용한 지식을 찾아낼 수 있는 방안을 제시한다.

• Journal of Internet Computing and Services
• /
• v.7 no.3
• /
• pp.155-167
• /
• 2006

It is desirable if users surfing on the Internet could find Web pages related to their interests as closely as possible. Toward this ends, this paper presents a topic specific Web crawler computing the degree of relevance. collecting a cluster of pages given a specific topic, and refining the preliminary set of related web pages using term frequency/document frequency, entropy, and compiled rules. In the experiments, we tested our topic specific crawler in terms of the accuracy of its classification, crawling efficiency, and crawling consistency. First, the classification accuracy using the set of rules compiled by CN2 was the best, among those of C4.5 and back propagation learning algorithms. Second, we measured the classification efficiency to determine the best threshold value affecting the degree of relevance. In the third experiment, the consistency of our topic specific crawler was measured in terms of the number of the resulting URLs overlapped with different starting URLs. The experimental results imply that our topic specific crawler was fairly consistent, regardless of the starting URLs randomly chosen.