• The Journal of the Korea Contents Association
• /
• v.5 no.3
• /
• pp.227-235
• /
• 2005

Document filtering is a task of deciding whether a document has relevance to a specified topic. As Internet and Web becomes wide-spread and the number of documents delivered by e-mail explosively grows the importance of text filtering increases as well. In this paper, we treat document filtering problem as binary document classification problem and we proposed the News Filtering system based on the Bayesian Classifier. For we perform filtering, we make an experiment to find out how many training documents, and how accurate relevance checks are needed.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.10c
• /
• pp.253-255
• /
• 2003

XML 문서를 비롯하여 인터넷을 통해 교환되는 문서의 비약적인 증가로 인하여, 불필요한 문서에 대한 필터링 및 문서 내의 데이터를 필터링하여 정보를 선택적으로 사용하고자 하는 사용자의 요구가 증대되었다. 기존 XML 필터링 방식은 질의 구조에 의존적이기 때문에, 질의 증가에 따른 필터링 인덱스 구성 및 유지의 문제점을 야기할 수 있다. 본 논문에서는 정보 추출 분야에서 널리 사용되는 단어 벡터의 개념을 사용하여 선택적으로 질의에 가중치를 주어 데이터를 효율적으로 추출할 수 있는 XML WFilter (Weighted Filtering) 기법을 제안한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.04b
• /
• pp.490-492
• /
• 2002

본 논문에서는 필터링 문제를 이진 문서 분류 문제로 보고 신문기사 필터링에 베이지안 분류자를 사용한다. 신문 기사 필터링 문제에서 베이지안 분류자를 사용할 경우 학습 문서가 고정되어 있지 않기 때문에 여러 가지 파라미터를 사용하여 실험을 하였다. 실험 결과 베이지안 이진 분류기는 제한된 학습 문서에서 더 나은 성능을 보였고 해당 문서 집합에서 10%이상 비율의 문서를 사용자가 선택해야 함을 알 수 있었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2008.06c
• /
• pp.248-251
• /
• 2008

문서 표절이 사회적으로 이슈가 됨에 따라 표절 문서를 판별할 수 있는 시스템의 필요성이 대두되었다. 문서 표절 검사 시스템에서 가장 중요한 이슈는 성능과 속도인데 이 두 가지를 모두 만족시키기 위해서는 표절을 상세하게 검사하기 전에 표절 의심 문서에 대한 비교 문서군이 크기를 최적화하여 표절 검사 범위를 최대한 작게 만들어야 한다. 비교 문서군의 크기를 최적화하기 위해서는 표절 의심 문서와 상관이 없는 문서를 필터링 하는 작업이 필요하다. 이 논문에서는 문서를 빠르게 필터링 하기 위해서 웹 문서 검색에 사용되는 Inverted Index을 이용하여 적당한 시간 안에 비교 문서군의 크기를 최적화 하는 방법들을 알아보고 각각의 방법들의 성능을 비교 분석하는 방법을 제시하며 그 방법들을 바탕으로 성능을 분석하여 최적화된 문서 필터링 방법을 알아본다.

• The KIPS Transactions:PartB
• /
• v.13B no.4 s.107
• /
• pp.489-498
• /
• 2006

Clustering results differ according to the datasets and the performance worsens even while using web documents which are manually processed by an indexer, because although representative clusters for a feature can be obtained by statistical feature selection methods, irrelevant features(i.e., non-obvious features and those appearing in general documents) are not eliminated. Those irrelevant features should be eliminated for improving clustering performance. Therefore, this paper proposes three feature-filtering algorithms which consider feature values per document set, together with distribution, frequency, and weights of features per document set: (l) features filtering algorithm in a document (FFID), (2) features filtering algorithm in a document matrix (FFIM), and (3) a hybrid method combining both FFID and FFIM (HFF). We have tested the clustering performance by feature selection using term frequency and expand co link information, and by feature filtering using the above methods FFID, FFIM, HFF methods. According to the results of our experiments, HFF had the best performance, whereas FFIM performed better than FFID.

• Journal of KIISE:Computing Practices and Letters
• /
• v.9 no.5
• /
• pp.487-497
• /
• 2003

There have been many filtering systems covering mail or news. Documents filtered by them consist of general text or HTML. XML is emerging as a new standard for information exchange. So, filtering systems need new approaches in dealing with XML documents. Our system suggests a method to describe user profiles with XML's ability to represent schema and structure. An user profile is made from DTD information and it is supposed to point the specific part of a document conforming to the DTD. More, it is different from the existing systems in extracting part of a document. An user profile is reflected in XML query to get part of an XML document.

• Journal of the Korean Society for information Management
• /
• v.20 no.3
• /
• pp.111-127
• /
• 2003

The purpose of this study is to ascertain whether event tracking is more effective in event retrieval than information filtering. This study examined the two techniques for event retrieval to suggest the more effective one. The event-retrieval performances of the event tracking technique based on a kNN classifier and the query-based information filtering technique were compared. Two event tracking experiments, one with the static training set and the other with the dynamic training set , were carried out. Two information filtering experiments, one with initial queries and the other with refined queries, were also carried out to evaluate the event-retrieval effectiveness. We found that the event tracking technique with the static training set performed better than on with the dynamic training set. It was also found that the information fitering technique using intial queries performed better than one using the refined queries. In conclusion, the comparison of the best cases of event tracking and information filtering revealed that the information filtering technique outperformed the event tracking technique in event retrieval.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10b
• /
• pp.57-59
• /
• 2000

인터넷에 돌아다니는 정보의 양은 무한정에 가까워지고 있고 이용자는 필요한 정보들을 얻을 수 있게 되었으나 검색 가능한 정보의 양이 폭발적으로 증가함에 따라 이용자는 정보검색을 하는데 있어 어려움이 따랐고, 이는 원하는 정보만을 필터링하여 보여주는 정보검색방법이 필요하게 되었다. 본 연구에서는 웹 사용자들이 정보검색을 하는데 원하는 정보를 정확하게 찾아주기 위해 웹 문서에 대한 TAG 가중치와 관련용어 영역지식의 구축 및 웹 문서 평가작업을 통한 Term의 웹 문서 DF테이블의 구축을 이용한 필터링 방법을 제안하고 그 유효성을 확인하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2005.11a
• /
• pp.529-532
• /
• 2005

사용자가 원하는 논문 등의 문서를 웹에서 검색하여 조건에 맞지 않는 문서를 필터링하고, 문서의 제목, 저자, 출처 등의 요약 정보를 제공하며 사용자의 하드디스크로 문서를 다운로드하는 개인용 에이전트를 설계하고 구현하였다. 현재 구현된 개인용 에이전트는 사용자의 연구 분야에 대한 논문 문서를 수집하여 간략한 요약 정보를 제공하는 것을 목표로 하였으며, 따라서 PDF 형식의 논문 파일의 수집과 필터링에 한정하였다. 원하는 분야의 문서 수집을 예약할 수 있으며, 수집된 문서에 대해 사용자의 주석을 첨가할 수 있고, 또한 파일의 이름이 상이한 동일 문서를 식별하는 기능도 제공한다.

• The KIPS Transactions:PartB
• /
• v.10B no.7
• /
• pp.743-750
• /
• 2003

In this paper, we propose a query expansion and weighting method for document filtering to increase precision of the result of Web search engines. Query expansion for document filtering uses ConceptNet, encyclopedia and documents of 10% high similarity. Term weighting method is used for calculation of query-documents similarity. In the first step, we expand an initial query into the first expanded query using ConceptNet and encyclopedia. And then we weight the first expanded query and calculate the first expanded query-documents similarity. Next, we create the second expanded query using documents of top 10% high similarity and calculate the second expanded query- documents similarity. We combine two similarities from the first and the second step. And then we re-rank the documents according to the combined similarities and filter off non-relevant documents with the lower similarity than the threshold. Our experiments showed that our document filtering method results in a notable improvement in the retrieval effectiveness when measured using both precision-recall and F-Measure.