• Journal of the Korean Society for information Management
• /
• v.12 no.2
• /
• pp.225-232
• /
• 1995

It has been known that test collections play an important role for researches in information retrieval. A variety of test collections have been created in foreign countries, and have been heavily used by researchers. Although research interests in Hangul information retrieval have been rapidly grown up in Korea these days, lack of Hangul test collec tions makes it difficult to develop retrieval techniques for Hangul texts. This study describes the development of the KRIST test collection. The KRIST test collection consists of 13.515 bibliographic records. 30 queries and a list of relevant documents to the queries.

• Proceedings of the Korean Information Science Society Conference
• /
• 2010.06b
• /
• pp.39-42
• /
• 2010

본 논문에서는 주제별 분류기반의 개인화 검색시스템의 평가를 위해서 기존의 한글 정보 검색시스템 평가를 위해서 사용하는 한글 테스트 컬렉션(HANTEC v2.0)을 사용하였다. 주제별 분류기반의 개인화 검색 시스템의 평가를 위해서 첫째, 한글 테스트 컬렉션을 한국일보-40075 문서분류 테스트 컬렉션을 이용하여 주제별 분류를 수행 하였다. 둘째, 한국일보-40075 문서분류 테스트 컬렉션의 분류 체계에 다라 한글 테스트 컬렉션의 문서들을 kNN 분류기를 이용하여 분류를 수행하였다. 마지막으로 구축된 컬렉션을 이용하여 주제별 분류기반의 개인화 검색시스템의 성능 평가를 수행하였다.

• Proceedings of the Korean Society for Cognitive Science Conference
• /
• 2000.06a
• /
• pp.190-197
• /
• 2000

본 연구에서는 사용자의 질의에 대해 대답을 제시하는 질의응답시스템의 평가를 위한 테스트컬렉션을 구축하였다. 질의응답시스템 평가를 위한 테스트컬렉션은 207,067개의 문서, 90개의 질의, 각 질의에 대한 적합성 판정 집합으로 구성되어 있다. 문서집합은 신문기사로 SGML형식으로 가공되었고, 질의는 다양한 유형의 질의와 변형질의를 포함한다. 적합성 판정 집합은 각 질의에 대해서 문서에 대답을 포함하는지의 여부에 따라 적합/부적합으로 판정하였고, 적합한 문서에 대해서는 대답을 표시하였다. 본 연구를 통해 구축된 질의응답시스템 평가를 위한 테스트컬렉션은 질의응답시스템의 객관적인 신뢰성 평가를 위한 기반을 마련하였다.

• Proceedings of the Korean Society for Cognitive Science Conference
• /
• 2000.06a
• /
• pp.210-215
• /
• 2000

HANTEC1.0은 12만 건의 문서집합과 30개의 질의집합, 그리고 각 질의에 대한 적합문서로 구성된 정보검색용 한글 테스트 컬렉션이다. 본 연구에서는 HANTEC1.0의 확장 및 보완하기 위해 과학기술분야 20개의 질의를 추가하였는데, 질의 추가를 위해서 일본 NACSIS 테스트 컬렉션의 질의를 번역하여 사용함으로써 한일 교차언어 검색환경을 조성하고자 하였다. 추가된 각 질의에 대해서는 여러 검색기에서 총 41가지 검색방법으로 검색한 후, 각 검색조합의 상위 50개 문서로 구성된 중간 결과집합을 만들었으며, 이를 대상으로 적합성판정에 대한 평가기준 및 절차 교육이 이루어진 평가자가 각 질의에 대한 적합성평가를 실시하였다. 이렇게 구축된 HANTEC 테스트 컬렉션의 적합문서 집합의 객관적 품질 평가와 시스템 성능평가를 위하여 통계적인 방법을 적용하므로써 공신력있고 일반화된 테스트 컬렉션을 구축하고자 하였다. 현재 HANTEC2.0은 검색분야 연구자 및 개발자에게 자유롭게 배포 중이며 정복머색 시스템의 신뢰도 측정을 목적으로 하는 학술대회의 연구결과 발표 및 제품 비교 등에 활용되어질 것이다.

• Annual Conference on Human and Language Technology
• /
• 2000.10d
• /
• pp.210-215
• /
• 2000

HANTEC1.0은 12만 건의 문서집합과 30개의 질의집합, 그리고 각 질의에 대한 적합문서로 구성된 정보검색용 한글 테스트 컬렉션이다. 본 연구에서는 HANTEC1.0의 확장 및 보완하기 위해 과학기술분야 20개의 질의를 추가하였는데, 질의 추가를 위해서 일본 NACSIS 테스트 컬렉션의 질의를 번역하여 사용함으로써 한일 교차언어 검색환경을 조성하고자 하였다. 추가된 각 질의에 대해서는 여러 검색기에서 총 41가지 검색방법으로 검색한 후, 각 검색조합의 상위 50개 문서로 구성된 중간 결과집합을 만들었으며, 이를 대상으로 적합성판정에 대한 평가기준 및 절차 교육이 이루어진 평가자가 각 질의에 대한 적합성평가를 실시하였다 이렇게 구축된 HANTEC 테스트 컬렉션의 적합문서 집합의 객관적 품질 평가와 시스템 성능평가를 위하여 통계적인 방법을 적용하므로써 공신력있고 일반화된 테스트 컬렉션을 구축하고자 하였다. 현재 HANTEC2.0은 검색분야 연구자 및 개발자에게 자유롭게 배포 중이며 정보검색 시스템의 신뢰도 측정을 목적으로 하는 학술대회의 연구결과 발표 및 제품 비교 등에 활용되어질 것이다.

• Annual Conference on Human and Language Technology
• /
• 2000.10d
• /
• pp.190-197
• /
• 2000

본 연구에서는 사용자의 질의에 대해 대답을 제시하는 질의응답시스템의 평가를 위한 테스트컬렉션을 구축하였다. 질의응답시스템 평가를 위한 테스트컬렉션은 207,067개의 문서, 90개의 질의, 각 질의에 대한 적합성 판정 집합으로 구성되어 있다. 문서집합은 신문기사로 SGML 형식으로 가공되었고, 질의는 다양한 유형의 질의와 변형질의를 포함한다. 적합성 판정 집합은 각 질의에 대해서 문서에 대답을 포함하는지의 여부에 따라 적합/부적합으로 판정하였고, 적합한 문서에 대해서는 대답을 표시하였다. 본 연구를 통해 구축된 질의응답시스템 평가를 위한 테스트컬렉션은 질의응답시스템의 객관적인 신뢰성 평가를 위한 기반을 마련하였다.

• The Journal of the Korea Contents Association
• /
• v.10 no.2
• /
• pp.481-489
• /
• 2010

Due to the increase of the attention on relation extraction systems, the construction of test collections for assessing their performance has emerged as an important task. In this paper, we propose semi-automatic framework capable of constructing test collections for relation extraction on a large scale. Based on this framework, we develop a test collection which can assess the performance of various approaches to extracting relations between technical terminologies in scientific literatures. This framework can minimize the cost of constructing this kind of collections and reduce the intrinsic fluctuations which may come from the diversity in characteristics of collection developers. Furthermore, we can construct balanced and objective collections by means of controlling the selection process of seed documents and terminologies using the proposed framework.

• The Journal of the Korea Contents Association
• /
• v.12 no.7
• /
• pp.463-472
• /
• 2012

For last decade, the amount of information has been increased rapidly because of the internet and computing technology development, mobile devices and sensors, and social networks like facebook or twitter. People who want to gain important knowledge from database have been frustrated with large database. Many studies for automatic knowledge extracting meaningful knowledge from large database have been fulfilled. In that sense, automatic knowledge extracting with computing technology has been highly significant in information technology field, but still has many challenges to go further. In order to improve the effectives and efficiency of knowledge extracting system, test collection is strongly necessary. In this research, we introduce a test collection for automatic knwoledge extracting. We name the test collection KEEC/KREC(KISTI Entity Extraction Collection/KISTI Relation Extraction Collection) and present the process and guideline for building as well as the features of. The main feature is to tag by experts to guarantee the quality of collection. The experts read documents and tag entities and relation between entities with a tool for tagging. KEEC/KREC is being used for a research to evaluate system performance and will continue to contribute to next researches.

• Journal of the Korean Society for information Management
• /
• v.16 no.2
• /
• pp.135-148
• /
• 1999

There has been some research in Korea on test collections for evaluation of information retrieval (IR) systems. The test collections constructed as an outcome from the research have provided a starting point and opportunities to test Korean IR systems in an objective manner. However, they are well short of the standard practice in the broader IR community in that they are small in their size and usually unbalanced in terms of the characteristics of the documents and the queries (such as the subject domains). In this article, we describe our research effort to alleviate this problem and the resulting test collection, called HANTEC (Hangul TEst Collection). HANTEC is balanced in terms of the subject domains, document lengths, and user types, and currently consists of 120,000 documents divided into three groups: general area, social science area and scienceltechnology area. The 30 queries in the collection are grouped into the same three areas in one dimension and into three distinct user groups in the other dimension.

• Proceedings of the Korea Contents Association Conference
• /
• 2010.05a
• /
• pp.425-427
• /
• 2010

Large-scaled information extraction consists of named-entity recognition, terminology extraction and relation extraction. Since all the elementary technologies have been studied independently so far, test collections for related machine learning models also have been constructed independently. As a result, it is difficult to handle scientific documents to extract both named-entities and technical terms at once. In this study, we integrate named-entities and terminologies with PLOT(Person, Location, Organization, Terminology) in a biomedical domain and construct a test collection of PLOT and relations between PLOTs.