• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.41-46
• /
• 2021

기계 독해는 문단과 질문이 주어질 때에 정답을 맞추는 자연어처리의 연구분야다. 최근 기계 독해 모델이 사람보다 높은 성능을 보여주고 있지만, 문단과 질의가 크게 변하지 않더라도 예상과 다른 결과를 만들어 성능에 영향을 주기도 한다. 본 논문에서는 문단과 질문 두 가지 관점에서 적대적 예시 데이터를 사용하여 보다 강건한 질의응답 모델을 훈련하는 방식을 제안한다. 트랜스포머 인코더 모델을 활용하였으며, 데이터를 생성하기 위해서 KorQuAD 1.0 데이터셋에 적대적 예시를 추가하여 실험을 진행하였다. 적대적 예시를 이용한 데이터로 실험한 결과, 기존 모델보다 1% 가량 높은 성능을 보였다. 또한 질의의 적대적 예시 데이터를 활용하였을 때, 기존 KorQuAD 1.0 데이터에 대한 성능 향상을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.151-154
• /
• 2020

대명사 참조해결은 문서 내에 등장하는 대명사와 이에 대응되는 선행사를 찾는 자연어처리 태스크이다. 기계 독해는 문단과 질문을 입력 받아 질문에 해당하는 알맞은 정답을 문단 내에서 찾아내는 태스크이며, 최근에는 주로 BERT 기반의 모델이 가장 좋은 성능을 보이고 있다. 이러한 BERT 기반 모델의 성공에 따라, 최근 여러 연구에서 자연어처리 태스크를 기계 독해 문제로 변환하여 해결하는 연구들이 진행되고 있다. 본 논문에서는 최근 여러 자연어처리에서 뛰어난 성능을 보이고 있는 BERT 기반 기계 독해 모델을 이용하여 한국어 대명사 참조해결 연구를 진행하였다. 사전 학습 된 기계 독해 모델을 사용하여 한국어 대명사 참조해결 데이터로 fine-tuning하여 실험한 결과, 개발셋에서 EM 78.51%, F1 84.79%의 성능을 보였고, 평가셋에서 EM 70.78%, F1 80.19%의 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.87-92
• /
• 2019

본 논문에서는 기계 독해를 이용한 웹 기반 오픈 도메인 한국어 질의응답 시스템에 대하여 서술한다. 하나의 사용자 질의에 대하여, 본 논문에서 제안된 시스템은 기 존재하는 검색 엔진을 이용하여 실시간으로 최대 1,500 개의 문서를 기계 독해 방식으로 분석하고, 각 문서별로 얻어진 답을 종합함으로써 최종 답변을 도출한다. 실험 결과, 제안된 시스템은 평균적으로 2초 이내의 실행 시간을 보였으며, 사람과 비교하여 86%의 성능을 나타내었다. 본 논문에서 제안된 시스템의 데모는 http://nlp-api.kakao.com에서 확인 가능하다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.568-570
• /
• 2021

기계독해 시스템은 주어진 질문에 대한 답변을 문서에서 찾아 사용자에게 제공해주는 질의응답 작업 중 하나이다. 하지만 대부분의 기계독해 데이터는 간결한 답변 추출을 다루며, 이는 실제 애플리케이션에서 유용하지 않을 수 있다. 실제 적용 단계에서는 짧고 간결한 답변 뿐 아니라 사용자에게 자세한 정보를 제공해줄 수 있는 긴 길이의 답변 제공도 필요하다. 따라서 본 논문에서는 짧은 답변과 긴 답변 모두 추출할 수 있는 모델을 제안한다. 실험을 통해 Baseline과 비교하여 짧은 답변 추출에서는 F1 score 기준 0.7%, 긴 답변 추출에는 1.4%p의 성능 향상을 보이는 결과를 얻었다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.501-504
• /
• 2021

최근 언어 모델은 분류, 기계 독해, 생성 등의 태스크에서 성공적인 결과를 보여주고 있다. 본 논문에서는 최근 많은 관심을 받고 있는 인코더-디코더 구조의 언어 모델인 BART, T5 그리고 PALM을 위키피디아 한국어 데이터 집합으로 사전 학습한 후 기계 독해와 문서 생성 요약 태스크에 대하여 미세 조정을 하고 성능 비교를 한다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.270-273
• /
• 2021

한국어 의존 파싱은 전이 기반 방식과 그래프 기반 방식의 두 갈래로 연구되어 왔고 그 중 그래프 기반 의존 파싱 방법은 문장 내의 모든 단어에 대해 인코딩한 후 지배소, 의존소에 대한 MLP를 적용하여 각각 표상을 얻고 Biaffine 어텐션을 통해 모든 단어 쌍에 대한 그래프 점수를 얻고 트리를 생성하는 방법이 대표적이다. Biaffine 어텐션 모델에서 문장 내의 각 단어들은 구문 트리 내의 서브트리의 역할을 하지만 두 단어간의 의존성만을 판단하기 때문에 서브 트리의 정보를 이용할 수 없다는 단점이 존재한다. 본 연구에서는 이러한 단점을 해결하기 위해 제안된 Span-Span(서브트리-서브트리)로의 서브트리 정보를 이용할 수 있도록 하는 기계 독해 기반 의존 파싱 모델을 한국어 구문 분석 데이터 셋에 적용하여 소폭의 성능향상을 얻었다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.326-329
• /
• 2019

기계독해를 실용화하기 위해 단락을 검색하는 검색 모델은 최근 기계독해 모델이 우수한 성능을 보임에 따라 그 필요성이 더 부각되고 있다. 그러나 기존 검색 모델은 질의와 단락의 어휘 일치도나 유사도만을 계산하므로, 기계독해에 필요한 질의 어휘의 문맥에 해당하는 단락 검색을 하지 못하는 문제가 있다. 본 논문에서는 이러한 문제를 해결하기 위해 Word2vec의 입력 단어열의 벡터에 해당하는 IN Weight Matrix와 출력 단어열의 벡터에 해당하는 OUT Weight Matrix를 사용한 단락 검색 모델을 제안한다. 제안 방법은 기존 검색 모델에 비해 정확도를 측정하는 Precision@k에서 좋은 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.203-206
• /
• 2019

상용화 서비스를 위한 기계독해 시스템은 출력되는 응답의 정확도가 낮으면 사용자 만족도가 급격히 감소하는 문제가 있다. 응답의 정확도를 높이기 위해서는 모델의 성능을 향상시키거나 신뢰도를 파악하여 확실한 정답만 출력하고 판단하기 모호한 정답은 출력하지 않는 것이 좋다. 또한 현재 주어진 문맥에서 해결할 수 없는 질의의 경우 정답이 없음을 알려줘야 한다. 하지만 모델의 성능을 향상시키기 위해서는 모델이 매우 복잡해져 높은 성능의 하드웨어가 필요하며 추가 데이터가 필요하다. 본 논문에서는 이러한 문제를 해결하기 위해 정답을 찾을 수 있는 질의로만 구성된 말뭉치에서 부정 데이터를 생성하고 신뢰 점수를 계산 할 수 있는 신뢰 노드를 추가하여 정확도를 향상시키는 모델을 제안한다. 실험 결과 응답 재현율은 떨어지지만 신뢰 점수 임계값에 비례하여 정확률이 향상되는 것을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.540-542
• /
• 2020

코로나 19와 관련한 다양한 정보 확인 욕구를 충족하기 위해 한국어 뉴스 데이터 기반의 질의응답 챗봇을 설계하고 구현하였다. BM25 기반의 문서 검색기, 사전 언어 모형인 KoBERT 기반의 문서 독해기, 정답 생성기의 세 가지 모듈을 중심으로 시스템을 설계하였다. 뉴스, 위키, 통계 정보를 수집하여 웹 기반의 챗봇 인터페이스로 질의응답이 가능하도록 구현하였다. 구현 결과는 http://demo.tmkor.com:36200/mrcv2 페이지에서 접근 및 사용을 할 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.05a
• /
• pp.43-44
• /
• 2023

대화형 독해 튜터링 시스템을 위한 학생주도 대화 데이터셋 생성 및 확장에 ChatGPT 의 활용 가능성을 평가하였다. 단순히 수동으로만 구축한 기존의 데이터셋과 ChatGPT 에 의해 반자동으로 확장된 데이터셋을 비교한 결과, 구축량, 소요 시간, 비용 및 반복 작업 측면에서 ChatGPT 가 가진 유용성을 알 수 있었다. 그러나, 유형별 배분의 편중과, 부적절한 데이터 생성 등의 한계도 나타났다. Chat GPT 의 빠른 발전이 예상됨에 따라 대화형 튜터링 분야에 ChatGPT 에 의한 반자동 데이터 확장 방법이 널리 활용될 것으로 기대된다.