• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.10a
• /
• pp.415-417
• /
• 2015

사용자는 자신의 주변상황에 대한 정보를 수집 및 공유하기 위하여 SNS, 포탈사이트 및 커뮤니티를 사용한다. 본 논문에서는 사용자의 특성을 고려한 지역정보 수집 아이디어와 방법론을 제시한다. 또한 각각의 웹 시스템의 데이터를 수집하여, 광범위한 지역정보를 마이닝을 수행하고 가공해내는 시스템을 제안한다. 이를 위해 해결해야하는 이슈는 다음과 같다. 각 웹시스템의 문서들은 운영 체제에 따라 인코딩이 달리 사용되는데, 흔히 발생되는 오류 중 하나인 문자깨짐 현상이 그 예이다. 해결방법으로써 문서가 작성된 운영체제의 인코딩정보를 획득해야하며, 이 정보는 서버에서 제공하는 헤더정보에 명시되었거나 문서내에 내장되어 있다. 하지만 일부 웹사이트는 인코딩 정보를 제공하지 않으며, 국가별 인코딩이 다르기 때문에 이를 알기 쉽지않다. 그리하여 본 논문에서 제안하는 방법론은 텍스트 마이닝에 앞서 웹서버에서 제공하는 웹페이지를 읽어들여 인코딩정보를 획득하고, 문자의 깨짐없이 표시할 수 있도록 시스템을 구축하기 위해 Response Header, HTML의 meta tag 및 읽어드린 문서의 BOM(Byte Order Mark) 정보 및 인코딩 패턴을 통해 인식하도록 하여 글자 깨짐을 완하하도록 시스템을 설계하였다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.97-102
• /
• 2019

KorQuAD 2.0은 총 100,000+ 쌍으로 구성된 한국어 질의응답 데이터셋이다. 기존 질의응답 표준 데이터인 KorQuAD 1.0과의 차이점은 크게 세가지가 있는데 첫 번째는 주어지는 지문이 한두 문단이 아닌 위키백과 한 페이지 전체라는 점이다. 두 번째로 지문에 표와 리스트도 포함되어 있기 때문에 HTML tag로 구조화된 문서에 대한 이해가 필요하다. 마지막으로 답변이 단어 혹은 구의 단위뿐 아니라 문단, 표, 리스트 전체를 포괄하는 긴 영역이 될 수 있다. Baseline 모델로 구글이 오픈소스로 공개한 BERT Multilingual을 활용하여 실험한 결과 F1 스코어 46.0%의 성능을 확인하였다. 이는 사람의 F1 점수 85.7%에 비해 매우 낮은 점수로, 본 데이터가 도전적인 과제임을 알 수 있다. 본 데이터의 공개를 통해 평문에 국한되어 있던 질의응답의 대상을 다양한 길이와 형식을 가진 real world task로 확장하고자 한다.

• Journal of KIISE:Computing Practices and Letters
• /
• v.8 no.1
• /
• pp.71-81
• /
• 2002

The lack of specialties of the existing commercial web search systems stems from the fact that they have no capabilities to extract and gather the meaningful information from each information domain they cover. We are sure, however, that the necessity for the information integration system, not just search system, will be likely to become larger in the future. In this paper, we propose a design and implementation of an information integration system called TIC(target information collector). TIC is able to extract meaningful information from a specific information area in the internet and integrate them for the commercial service. We also show the evaluation results of our implementation. For the experiments we applied our TIC to the international procurement information area. The international procurement information is publicly and freely announced by each government to the world. To automatically extract common properties from the related source sites, we adopt information pointing technique using inter-HTML tag pattern parsing. And through the information integration framework design, we can easily implement a site-specific information integration engine. By running our TIC for about 8 months, we find out it can remove considerable amount of the duplicated information, and as a result, we can obtain high quality international procurement information. The main contribution of this paper is to present a framework design and it's implementation for extracting the information of a specific area and then integrating them into a meaningful one.

• The KIPS Transactions:PartD
• /
• v.9D no.6
• /
• pp.1145-1156
• /
• 2002

We propose a web document transcoding technique that translates existing web pages designed for desktop computers into an appropriate form for hand-held devices connected to the wireless internet. By defining a content block based on a visual separation and using it as a minimum unit for analyzing and converting processes, we can get web pages converted more exactly. We also apply the reallocation of the content block and the generation of new index in order to provide convenient interface without left-right scrolling in small screen devices. These methods, compared with existing ways such as text level summary or partial extraction method, can provide efficient navigation and a full recognition of web documents. To gain those transcoding benefits, we propose the Layout-Forming Tag Analysis Algorithm that analyzes structural tags, which motivate visual separation and the Component Grouping Algorithm that extracts the content block. We also classify and rearrange the content block and generate the new index to produce an appropriate form of web pages for small display devices. We have designed and implemented our transcoding system in a proxy server and evaluated the methods and the algorithms through an analysis of transcoded results. Our transcoding system showed a good result on most of popular web pages that have complicated structures.

• Journal of KIISE:Software and Applications
• /
• v.31 no.8
• /
• pp.1092-1100
• /
• 2004

An E-mails have regarded as one of the most popular methods for exchanging information because of easy usage and low cost. Meanwhile, exponentially growing unwanted mails in user's mailbox have been raised as main problem. Recognizing this issue, Korean government established a law in order to prevent e-mail abuse. In this paper we suggest hybrid spam mail filtering system using weighted Bayesian classifier which is extended from naive Bayesian classifier by adding the concept of preprocessing and intelligent agents. This system can classify spam mails automatically by using training data without manual definition of message rules. Particularly, we improved filtering efficiency by imposing weight on some character by feature extraction from spam mails. Finally, we show efficiency comparison among four cases - naive Bayesian, weighting on e-mail header, weighting on HTML tags, weighting on hyperlinks and combining all of four cases. As compared with naive Bayesian classifier, the proposed system obtained 5.7% decreased precision, while the recall and F-measure of this system increased by 33.3% and 31.2%, respectively.