• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.321-325
• /
• 2019

오픈 도메인 질의응답이란, 질문을 줬을 때 그 질문과 연관성이 높은 문서를 검색하고 검색된 문서에서 정답을 추출하는 태스크이다. 본 논문은 기계 독해 데이터인 KorQuAD를 활용한 오픈도메인 질의응답 시스템을 제안한다. 문서 검색기를 이용하여 질문과 관련 있는 위키피디아 문서들을 검색하고 검색된 문서에 단락 선택 모델을 통해서 문서 질문과 연관성이 높은 단락들을 선별하여 기계 독해 모델에서 처리해야 할 입력의 수를 줄였다. 문서 선별모델에서 선별된 여러 단락에서 추출된 정답 후보에서 여러 가지 정답 모형을 적용하여 성능을 비교하는 실험을 하였다. 본 논문에서 제안한 오픈도메인 질의응답 시스템을 KorQuAD에 적용했을 때, 개발 데이터에서 EM 40.42%, F1 55.34%의 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.115-121
• /
• 2022

질문에 답하기 위해 관련 구절을 검색하는 기술은 오픈 도메인 질의응답의 검색 단계를 위해 필요하다. 전통적인 방법은 정보 검색 기법인 빈도-역문서 빈도(TF-IDF) 기반으로 희소한 벡터 표현을 활용하여 구절을 검색한다. 하지만 희소 벡터 표현은 벡터 길이가 길 뿐만 아니라, 질문에 나오지 않는 단어나 토큰을 검색하지 못한다는 취약점을 가진다. 밀집 벡터 표현 연구는 이러한 취약점을 개선하고 있으며 대부분의 연구가 영어 데이터셋을 학습한 것이다. 따라서, 본 연구는 한국어 데이터셋을 학습한 밀집 벡터 표현을 연구하고 여러 가지 부정 샘플(negative sample) 추출 방법을 도입하여 전이 학습한 모델 성능을 비교 분석한다. 또한, 대화 응답 선택 태스크에서 밀집 검색에 활용한 순위 재지정 상호작용 레이어를 추가한 실험을 진행하고 비교 분석한다. 밀집 벡터 표현 모델을 학습하는 것이 도전적인 과제인만큼 향후에도 다양한 시도가 필요할 것으로 보인다.

• Journal of Digital Contents Society
• /
• v.19 no.5
• /
• pp.927-933
• /
• 2018

One of the factors that have the greatest influence on the error of the question answering system that finds and provides answers to natural language questions is the step of searching for documents or passages that contain correct answers. In order to improve the retrieval performance, it is necessary to understand the characteristics of documents and passages containing correct answers. This paper experimentally analyzes how many question words appear in the correct answer documents, how the location of the question word is distributed, and how the topic of the question and the correct answer document are similar using the corpus composed of the question, the documents with correct answer, and the documents without correct answer. This study explains the causes of previous search research results for question answer system and discusses the necessary elements of effective search step.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.141-145
• /
• 2022

다중 문서 기반 대화 시스템에서 응답 시스템은 올바른 답변을 생성하기 위해서 여러 개의 문서 중 질문과 가장 관련 있는 문서를 검색하는 것부터 시작해야 한다. DialDoc 2022 Shared Task[1]를 비롯한 최근의 연구들은 대화 시스템의 문서 검색 과정을 위해 Dense Passage Retrieval(DPR)[2] 모델을 사용하고 있으며 검색기의 성능 개선을 위해 Re-ranking과 Hard negative sampling 같은 방법들이 연구되고 있다. 본 논문에서는 문서에 기반하는 대화 데이터의 양이 적거나 제한될 경우, 주어진 데이터를 효율적으로 활용해 보고자 검색기를 생성 모델을 이용하여 문서의 엔티티를 기반으로 질문을 생성하고 기존 데이터에 증강하는 방법을 제시했으며 실험의 결과로 MRR metric의 경우 0.96 ~ 1.56의 성능 향상을, R@1 metric의 경우 1.2 ~ 1.57의 성능 향상을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.554-558
• /
• 2020

최근 사전학습 모델의 발달로 기계독해 시스템 성능이 크게 향상되었다. 하지만 기계독해 시스템은 주어진 단락에서 질문에 대한 정답을 찾기 때문에 단락을 직접 검색해야하는 실제 환경에서의 성능 하락은 불가피하다. 즉, 기계독해 시스템이 오픈 도메인 환경에서 높은 성능을 보이기 위해서는 높은 성능의 검색 모델이 필수적이다. 따라서 본 논문에서는 검색 모델의 성능을 보완해 줄 수 있는 오픈 도메인 기계독해를 위한 단락 재순위화 모델을 제안한다. 제안 모델은 합성곱 신경망을 이용하여 질문과 단락을 구절 단위로 표현했으며, N-gram 구절 사이의 상호 주의 집중을 통해 질문과 단락 사이의 관계를 효과적으로 표현했다. KorQuAD를 기반으로한 실험에서 제안모델은 MRR@10 기준 93.0%, Top@1 Precision 기준 89.4%의 높은 성능을 보였다.

• Journal of Information Management
• /
• v.37 no.2
• /
• pp.137-156
• /
• 2006

To evaluate the performance of the question and answer services provided through the internet portals in Korea, question and answer transcript of four major services were sampled systematically. Using the digital reference evaluation framework, number and types of questions, response rate, timeliness, accuracy for information questions and user satisfaction were measured and analyzed. The level of the service performance is identified and compared. The conclusion includes suggestions for service improvement.

• Annual Conference on Human and Language Technology
• /
• 2012.10a
• /
• pp.201-205
• /
• 2012

지식검색은 방대한 지식정보 데이터를 바탕으로 사용자의 질문에 대한 답변을 검색하는 시스템이다. 이러한 사용자 참여로 구축된 지식정보는 잘못된 답변으로 인한 신뢰성 부족과 중복 답변 등의 문제점이 있어, 원하는 답변을 찾기 위해서는 지식검색에서 다수의 답변을 읽고 그 답변의 진위여부를 판단해야만 한다. 만일 정답에 포함되는 단어나 어구가 답변들에서 나타내는 통계적 특성을 활용하여 사용자가 원하는 답변을 제시할 수 있다면, 지식검색의 효용성과 신뢰성이 크게 향상될 수 있다. 본 논문에서는 지식정보 데이터 분석을 통해 사용자의 질문의 유형을 단어, 목록, 도표, 글의 4가지 유형으로 분류하고, 각 분류에 대한 사용자 질의어의 답변을 요약하는 방식을 제안한다. 단어, 목록, 글 유형은 TF와 IDF, 어휘 간의 거리 정보를 통해서 중요 단어를 추출하여 각 유형에 적합한 형식의 답변을 사용자에게 제시한다. 도표형은 답변들에서 사용자의 의견 정보를 추출하여 의견 통계를 도표로서 제시한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2012.06b
• /
• pp.315-317
• /
• 2012

지식iN 등의 지식검색 서비스는 잘못된 답변으로 인한 낮은 신뢰성과 다수의 중복 답변 등의 문제점을 가진다. 질의문 '세상에서 가장 큰 나라'에 대해서 관련된 모든 질문과 답변을 제시하지 않고 질의문과 관련된 다수의 답변을 분석하여 답변 '러시아'를 추천하여 제시할 수 있다면 지식검색의 효용성과 신뢰성이 크게 향상될 수 있다. 본 논문에서는 질문-답변의 유형을 단어, 글, 도표, 목록의 네가지로 분류하고, 그 중 단어 유형에 대한 답변 추천 방법을 제시한다. 질의문에 대해 검색된 질문을 군집화하고, 질문에 대한 답변들에 대해서 TF, IDF, 어휘간 거리 정보를 다양하게 결합하여 어휘의 점수를 계산한다. 각 군집에서 가장 높은 점수를 가지는 어휘를 해당 군집에서 가장 중요한 어휘로 보고 추천 정답으로 제시한다. 단어 유형인 질문 100개에 대한 네이버 지식iN에 대한 시스템 평가에서 추천된 상위 1위에 대해서는 68%의 정답률을, 상위 5위까지에 대해서는 89%의 정답률을 보였다.

• Journal of the Korean Society for information Management
• /
• v.33 no.3
• /
• pp.177-193
• /
• 2016

This study aims to analyze physicians' online information search process to solve the clinical questions at the point of care. To achieve this purpose, ten university hospital-based physicians participated in-depth interviews and observation studies. Based on Wilson's problem solving process, this study analyzed the characteristics of each information search stage and efficiency of online searching. The results showed that participants tend to relatively immediately formulate their clinical questions. However, basic searching strategies were only used and a few preferred information sources were chosen. However, average satisfaction degree of online searching appeared high with 5.7 (7 Likert-scale) and problem-solving index increased after searching. As physicians are likely to use well organized and evidenced-based credible information easily, it implies the needs for an integrated search system within the electronic medical record (EMR). In addition, as other online resources' awareness is lower comparing Google and PubMed, active promotions and training of other resources are needed.

• Journal of the Korean Society for information Management
• /
• v.4 no.1
• /
• pp.3-23
• /
• 1987

This paper describes a question-answering system that can automatically analyze input texts and questions in Korean natural language. The particular texts used for the research were newspaper articles in the specific domain of sports news. The system consists of a set of Cobol programs and an associated set of data files containing lexicon, case grammar, linguistic rules. and data base. This system employs two retrieval functions of fact retrieval and passage retrieval. Therefore input questions can be answered in forms of either sentence or factual data.