• Annual Conference on Human and Language Technology
• /
• 1992.10a
• /
• pp.449-458
• /
• 1992

본 논문은 관광정보검색용 한국어 자연언어 질의 해석 시스템의 모델 정립 및 구현에 대한 것이다. 본 자연언어 질의 해석 시스템은 질의로 부터 정보 검색 시스템의 검색어들을 추출한다. 이를 위하여 1만 단어 수준의 중형사전을 구축하였으며, 불용어 사전, 전거어 사전, 유사어 사전, 복합명사 사전을 구축하였다. 사전의 어휘를 추출하기 위해서 한국어 대화체 문장에 대한 자료수집과 분석을 하였으며, 관광 정보 검색 시스템의 텍스트를 분석하였다. 200여 자연언어 질의 문장으로 실험한 결과는 비교적 좋았다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.88-91
• /
• 2022

디지털 휴먼, 민원 상담, ARS 등 칫챗의 활용과 수요가 증가함에 따라 칫챗의 성능 향상을 위한 다양한 연구가 진행되고 있다. 특히, 오토 인코더(Auto-encoder) 기반의 생성 모델(Generative Model)은 높은 성능을 보이며 지속적인 연구가 이루어지고 있으나, 이전 대화들에 대한 충분한 문맥 정보의 반영이 어렵고 문법적으로 부적절한 답변을 생성하는 문제가 있다. 이를 개선하기 위해 검색 기반의 생성 모델과 관련된 연구가 진행되고 있으나, 현재 시점의 문장이 유사해도 이전 문장들에 따라 의도와 답변이 달라지는 멀티턴 대화 특징을 반영하여 대화를 검색하는 연구가 부족하다. 본 논문에서는 이와 같은 멀티턴 대화의 특징이 고려된 검색 방법을 제안하고 검색된 레퍼런스(준정답 문장)를 멀티턴 대화와 함께 생성 모델의 입력으로 활용하여 학습시키는 방안을 제안한다. 제안 방안으로 학습된 발화 생성 모델은 기존 모델과 비교 평가를 수행하며 Rouge-1 스코어에서 13.11점, Rouge-2 스코어에서 10.09점 Rouge-L 스코어에서 13.2점 향상된 성능을 보였고 이를 통해 제안 방안의 우수성을 입증하였다.

• The Journal of Korean Association of Computer Education
• /
• v.6 no.4
• /
• pp.23-30
• /
• 2003

This paper proposes a passage retrieval system based on Okapi's BM25 for developing an efficient QA system and evaluates performances of the passage retrieval system. The test collection of TREC Q&A track which is composed of about one million documents was indexed and a hundred queries of TREC Q&A track are used as testing queries. The experimental results shows that the proposed passage retrieval system can reach to 100% recall rate by searching in only 1700 sentences while the conventional document retrieval system have to search about 120 thousands sentences which are about 70 times more than the proposed passage retrieval system.

• Annual Conference on Human and Language Technology
• /
• 2001.10d
• /
• pp.63-69
• /
• 2001

정보 검색 결과의 정확성을 높이기 위해서는 상위수준의 색인 정보를 이용한 검색 기법이 요구된다. 상위수준의 색인을 하기 위해서는 구문 분석을 이용할 필요가 있지만 웹 페이지를 이용하는 웹 검색에서는 웹 폐이지 자체의 오류 때문에 구문 분석을 할 때 실패할 확률이 높으므로 견고한 구문 분석이 요구된다. 본 논문은 구, 문장에 기반한 색인 기법 및 기존 색인 방법을 병행해서 사용하는 시스템에 대하여 소개한다. 본 논문에서 소개하는 시스템은 5가지 방법의 색인 기법을 사용한다. 각 색인 기법은 적용될 분야 또는 범위에 따라 선택적으로 사용될 수 있다. 색인 기법은 1)명사 색인 2)명사+용언 색인 3)명사+용언+문장정보 색인 4)명사구 색인 5)중심어-종속어(Head-Modifier) 색인으로 나누어진다. 색인 기법 중 4와 5의 경우, 구문 분석된 결과를 사용하여 특정 명사구 및 중심어-종속어 관계를 고려함으로써 문서의 특성을 잘 나타내는 색인어를 추출할 수 있고 그러므로 정보검색의 성능을 향상시키는 기반 기술로 사용될 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2000.10a
• /
• pp.375-378
• /
• 2000

인터넷의 급속한 발달로 사용자는 자신의 질의에 적합한 검색결과를 빠르고 정확하게 보장하는 검색도구를 요구하게 되었다. 이러한 사용자의 요구는 검색도구의 성능향상에 필수적인 문서의 내용을 대표하는 색인어를 추출하는 색인 시스템에 대한 관심을 가지게 되었다. 기존의 한국어에서의 자동 색인 방법에는 어절 중심 색인법, 형태소 중심 색인법과 최근에 n-gram 중심 색인법 등이 주류를 이루어 왔다. 그러나 한국어에서 색인어를 추출하는 기존의 방법은 복합명사의 색인과 복잡한 문법적 지식이 필요하고 잘못된 색인어를 추출하는 등의 검색효율에 문제점을 가지고 있다. 본 논문에서는 PDA를 이용한 정형화된 한국어와 영어문장의 자동 색인 방법을 제안한다. 제안하는 방법은 별도의 사전지식이 필요하지 않고 단일 명사와 복합명사의 색인이 가능하며 인터넷으로의 확장과 다양한 언어로 확장성이 좋은 장점 등을 갖는다. 성능 평가로써 한국통신의 KTSET으로 MS사의 IIS를 웹 서버로 ASP를 이용하여 인터넷 환경에서 테스트를 통하여 한국어 뿐 아니라 영어문장의 정형화되고 이용이 간편한 자동색인 결과를 보여준다.

• Annual Conference on Human and Language Technology
• /
• 2009.10a
• /
• pp.197-201
• /
• 2009

이 논문은 영어 문장에서 대명사의 참조해소 시스템을 구현한다. 대명사는 문장에서 반복되는 말 대신에 사용하는 단어이다. 반복되는 말을 선행어라고 하며 대명사는 선행어보다 간결한 형식으로 사용된다. 정보검색이나 정보추출에서 대명사를 그대로 색인하여 검색하면 정확한 정보를 추출할 수 없다. 따라서 대용어가 가리키는 개체를 정확히 파악해서 이 정보를 색인하고 검색하면 정보검색, 정보추출, 질의응답의 성능을 크게 개선할 수 있다. 이 논문에서는 CRF모델을 이용해서 이용하여 영어 문서에서 대명사 참조해결 방법을 제안하고 이를 구현한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.10a
• /
• pp.31-33
• /
• 2003

웹은 사람만이 읽을 수 있는 자연언어 문장들로 구성되어있다. 웹을 기계가 이해할 수 있게 하기 위해 의미적 표기로 구성되어야 한다. 광대한 웹의 성격상 수작업으로 이를 해결할 수는 없다. 따라서 본 연구에서는 링크 파서 및 개념그래프를 사용하여 자연어 문장을 지식표현으로 변환하고 이에 대한 검색을 다룬다. 기존의 연구에서는 3쌍으로 이루어진 지식표현과 검색으로 접근하고 있다. 그러나 이 경우 각 구(Phrase) 사이에 관계를 표현할 수가 없다. 또한 동의어 및 다의어에 대한 문제가 발생한다. 본 연구에서는 이 문제를 해결하기 위해 개념그래프를 사용하여 단어 사이의 의미를 표현하며 동의어 및 다의어 문제를 해결하기 위해 다중 단어로 된 동의어 즉 동일구(Paraphrase)를 사용한다. 이 경우 의미검색에서 다의어 및 동의어 문제가 개선됨을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2017.10a
• /
• pp.116-121
• /
• 2017

cQA(Community-based Question Answering) 시스템은 온라인 커뮤니티를 통해 사용자들이 질문을 남기고 답변을 작성할 수 있도록 만들어진 시스템이다. 신규 질문이 인입되면, 기존에 축적된 cQA 저장소에서 해당 질문과 가장 유사한 질문을 검색하고, 그 질문에 대한 답변을 신규 질문에 대한 답변으로 대체할 수 있다. 하지만, 키워드 매칭을 사용하는 전통적인 검색 방식으로는 문장에 내재된 의미들을 이용할 수 없다는 한계가 있다. 이를 극복하기 위해서는 의미적으로 동일한 문장들로 학습이 되어야 하지만, 이러한 데이터를 대량으로 확보하기에는 어려움이 있다. 본 논문에서는 질문이 제목과 내용으로 분리되어 있는 대량의 cQA 셋에서, 질문 제목과 내용을 의미 벡터 공간으로 사상하고 두 벡터의 상대적 거리가 가깝게 되도록 학습함으로써 의사(pseudo) 유사 의미의 성질을 내재화 하였다. 또한, 질문 제목과 내용의 의미 벡터 표현(representation)을 위하여, semi-training word embedding과 CNN(Convolutional Neural Network)을 이용한 딥러닝 기법을 제안하였다. 유사 질문 검색 실험 결과, 제안 모델을 이용한 검색이 키워드 매칭 기반 검색보다 좋은 성능을 보였다.

• Journal of the Korea Society of Computer and Information
• /
• v.11 no.4 s.42
• /
• pp.181-188
• /
• 2006

In this paper, we propose a search algorithm for similar example-sentences in the computer-aided translation. The search for similar examples, which is a main part in the computer-aided translation, is to retrieve the most similar examples in the aspect of structural and semantical analogy for a given query from examples. The proposed algorithm is based on the Needleman-Wunsch algorithm, which is used to measure similarity between protein or nucleotide sequences in bioinformatics. If the original Needleman-Wunsch algorithm is applied to the search for similar sentences, it is likely to fail to find them since similarity is sensitive to word's inflectional components. Therefore, we use the lemma in addition to (typographical) surface information. In addition, we use the part-of-speech to capture the structural analogy. In other word, this paper proposes the similarity metric combining the surface, lemma, and part-of-speech information of a word. Finally, we present a search algorithm with the proposed metric and present pairs contributed to similarity between a query and a found example. Our algorithm shows good performance in the area of electricity and communication.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.32-36
• /
• 2020

문장의 의미를 잘 임베딩하는 문장 인코더를 만들기 위해 비지도 학습과 지도 학습 기반의 여러 방법이 연구되고 있다. 지도 학습 방식은 충분한 양의 정답을 구축하는데 어려움이 있다는 한계가 있다. 반면 지금까지의 비지도 학습은 단일 형식의 말뭉치에 한정해서 입력된 현재 문장의 다음 문장을 생성 또는 예측하는 형식으로 문제를 정의하였다. 본 논문에서는 위키피디아, 뉴스, 지식 백과 등 문서 형태의 말뭉치에 더해 지식인이나 검색 클릭 로그와 같은 구성이 다양한 이종의 대량 말뭉치를 활용하는 자기 지도 학습 방법을 제안한다. 각 형태의 말뭉치에 적합한 자기 지도 학습 문제를 설계하고 학습한 경우 KorSTS 데이셋의 비지도 모델 성능 평가에서 기준 모델 대비 7점 가량의 성능 향상이 있었다.