• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.457-460
• /
• 2021

대화 시스템은 인공지능과 사람이 자연어로 의사 소통을 하는 시스템으로 크게 목적 지향 대화와 일상대화 시스템으로 연구되고 있다. 목적 지향 대화 시스템의 경우 날씨 확인, 호텔 및 항공권 예약, 일정 관리 등의 사용자가 생활에 필요한 도메인들로 이루어져 있으며 각 도메인 별로 목적에 따른 시나리오들이 존재한다. 이러한 대화는 사용자에게 명확한 발화을 제공할 수 있으나 자연스러움은 떨어진다. 일상 대화의 경우 다양한 도메인이 존재하며, 시나리오가 존재하지 않기 때문에 사용자에게 자연스러운 발화를 제공할 수 있다. 또한 일상 대화의 경우 검색 기반이나 생성 기반으로 시스템이 개발되고 있다. 검색 기반의 경우 발화 쌍에 대한 데이터베이스가 필요하지만, 생성 기반의 경우 이러한 데이터베이스가 없이 모델의 Language Modeling (LM)으로 부터 생성된 발화에 의존한다. 따라서 모델의 성능에 따라 발화의 품질이 달라진다. 최근에는 사전학습 모델이 자연어처리 작업에서 높은 성능을 보이고 있으며, 일상 대화 도메인에서도 역시 높은 성능을 보이고 있다. 일상 대화에서 가장 높은 성능을 보이고 있는 사전학습 모델은 Auto Regressive 기반 생성모델이고, 한국어에서는 대표적으로 KoGPT2가 존재한다. 그러나, KoGPT2의 경우 문어체 데이터만 학습되어 있기 때문에 대화체에서는 낮은 성능을 보이고 있다. 본 논문에서는 대화체에서 높은 성능을 보이는 한국어 기반 KoDialoGPT2를 개발하였고, 기존의 KoGPT2보다 높은 성능을 보였다.

• Proceedings of the Korea Contents Association Conference
• /
• 2018.05a
• /
• pp.3-4
• /
• 2018

단어 의미 유사도 측정은 정보 검색이나 문서 분류와 같이 자연어 처리 분야 문제를 해결하는 데 큰 도움을 준다. 이러한 의미 유사도 측정 문제를 해결하기 위하여 단어의 계층 구조를 사용한 기존 연구들이 있지만 이는 단어의 의미를 고려하고 있지 않아 만족스럽지 못한 결과를 보여주고 있다. 본 논문에서는 국립국어원에서 간행한 표준국어대사전에 50만 어휘가 추가된 우리말샘 사전을 기반으로 하여 한국어 단어에 대한 계층 구조를 파악했다. 그리고 단어의 용례를 word2vec 모델에 학습하여 단어의 문맥적 의미를 파악하고, 단어의 정의문을 sent2vec 모델에 학습하여 단어의 사전적 의미를 파악했다. 또한, 구축된 계층 구조와 학습된 word2vec, sent2vec 모델을 이용하여 한국어 단어 의미 유사도를 측정하는 모델을 제안했다. 마지막으로 성능 평가를 통해 제안하는 모델이 기존 모델보다 향상된 성능을 보임을 입증했다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.205-209
• /
• 2022

페르소나 대화 시스템이 상대방의 개인화된 정보에 일관된 응답을 생성하는 것은 상당히 중요하며, 이를 해결하기 위해 최근에 많은 연구들이 활발히 이루어지고 있다. 그 중, PersonaChat 데이터셋에 대해 수반/중립/모순 관계를 라벨링한 DialoguNLI 데이터셋이 제안되었으며, 일관성 측정, 페르소나 속성 추론 태스크 등 여러 분야에 활용되고 있다. 그러나, 공개적으로 이용가능한 한국어로 된 대화 추론 데이터셋은 없다. 본 연구에서는 한국어로 번역된 페르소나 대화 데이터셋과 한국어 자연어 추론 데이터셋에 학습된 모델을 이용하여 한국어 대화 추론 데이터셋(KorDialogueNLI)를 구축한다. 또한, 사전학습된 언어모델을 학습하여 한국어 대화 추론 모델 베이스라인도 구축한다. 실험을 통해 정확도 및 F1 점수 평가 지표에서 KLUE-RoBERTa 모델을 미세조정(fine-tuning)시킨 모델이 가장 높은 성능을 달성하였다. 코드 및 데이터셋은 https://github.com/passing2961/KorDialogueNLI에 공개한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.239-244
• /
• 2023

신경망 기반의 다국어 및 교차 언어 정보 검색 모델은 타겟 언어로 된 학습 데이터가 필요하지만, 이는 고자원 언어에 치중되어있다. 본 논문에서는 이를 해결하기 위해 영어 학습 데이터와 한국어-영어 병렬 말뭉치만을 이용한 효과적인 다국어 정보 검색 모델 학습 방법을 제안한다. 언어 예측 태스크와 경사 반전 계층을 활용하여 인코더가 언어에 구애 받지 않는 벡터 표현을 생성하도록 학습 방법을 고안하였고, 이를 한국어가 포함된 다국어 정보 검색 벤치마크에 대해 실험하였다. 본 실험 결과 제안 방법이 다국어 사전학습 모델과 영어 데이터만을 이용한 베이스라인보다 높은 성능을 보임을 실험적으로 확인하였다. 또한 교차 언어 정보 검색 실험을 통해 현재 검색 모델이 언어 편향성을 가지고 있으며, 성능에 직접적인 영향을 미치는 것을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.34-36
• /
• 2019

기존 딥 러닝을 이용한 형태소 분석 및 품사 태깅(Part-Of-Speech tagging)은 feed-forward neural network에 CRF를 결합하는 방법이나 sequence-to-sequence 모델을 이용한 방법 등의 다양한 모델들이 연구되었다. 본 논문에서는 한국어 형태소 분석 및 품사 태깅을 수행하기 위하여 최근 자연어처리 태스크에서 많은 성능 향상을 보이고 있는 BERT를 기반으로 한 음절 단위 LSTM-CRF 모델을 제안한다. BERT는 양방향성을 가진 트랜스포머(transformer) 인코더를 기반으로 언어 모델을 사전 학습한 것이며, 본 논문에서는 한국어 대용량 코퍼스를 어절 단위로 사전 학습한 KorBERT를 사용한다. 실험 결과, 본 논문에서 제안한 모델이 기존 한국어 형태소 분석 및 품사 태깅 연구들 보다 좋은 (세종 코퍼스) F1 98.74%의 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.67-70
• /
• 2022

최근 자연어 생성 연구는 딥러닝 기반의 사전 학습 모델을 중심으로 활발하게 연구되고 있다. 하위 분야 중 하나인 텍스트 확장은 입력 텍스트를 출력에 잘 반영하는 것이 무엇보다도 중요하다. 기존 한국어 기반 텍스트 확장 연구의 경우 몇 개의 개념 집합에 기반해 문장을 생성하도록 한다. 그러나 이는 사람의 실제 발화 길이에 비해 짧고 단순한 문장만을 생성한다는 문제점이 존재한다. 본 논문은 이러한 문제점을 개선하면서 문학 스타일의 문장들을 생성하는 모델을 제안하였다. 또한 동일 모델에 대해 학습 데이터의 양에 따른 성능도 비교하였다. 그 결과, 짧은 요약문을 통해 문학 스타일의 여러 문장들을 생성하는 것을 확인하였고, 학습 데이터를 추가한 모델이 성능이 더 높게 나타나는 것을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.468-473
• /
• 2023

본 논문은 사전 학습 언어 모델의 특성인 이방성과 문맥화에 주목하여 이에 대한 분석 실험과 한국어 언어 모델만의 새로운 관점을 제안한다. 최근 진행된 영어 언어 모델 분석 연구에서 영감을 받아, 한국어 언어 모델에서도 대조학습을 통한 이방성과 문맥화의 변화를 보고하였으며, 다양한 모델에 대하여 토큰들을 문맥화 정도에 따라 분류하였다. 또한, 한국어의 언어학적 특성을 고려하여, 허위 문맥화를 완화할 수 있는 토큰을 문맥 중심어로, 문맥 중심어의 임베딩을 모방하는 토큰을 문맥 기능어로 분류하는 기준을 제안하였다. 간단한 적대적 데이터 증강 실험을 통하여 제안하는 분류 기준의 가능성을 확인하였으며, 본 논문이 향후 평가 벤치마크 및 데이터셋 제작, 나아가 한국어를 위한 강건한 학습 방법론에 기여하길 바란다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.237-240
• /
• 2020

사전학습 언어모델은 다양한 자연어처리 작업에서 높은 성능을 보였다. 하지만, 사전학습 언어모델은 문장 내 문맥 정보만을 학습하기 때문에 단어간 의미관계 정보를 추론하는데는 한계가 있다. 최근에는, 사전학습 언어모델이 어느수준으로 단어간 의미관계를 이해하고 있는지 다양한 Probing Test를 진행하고 있다. 이러한 Test는 언어모델의 강점과 약점을 분석하는데 효율적이며, 한층 더 인간의 언어를 정확하게 이해하기 위한 모델을 구축하는데 새로운 방향을 제시한다. 본 논문에서는 대표적인 사전 학습기반 언어모델인 BERT(Bidirectional Encoder Representations from Transformers)의 단어간 의미관계 이해도를 평가하는 3가지 작업을 진행한다. 첫 번째로 단어 간의 상위어, 하위어 관계를 나타내는 IsA 관계를 분석한다. 두번째는 '자동차'와 '변속'과 같은 관계를 나타내는 PartOf 관계를 분석한다. 마지막으로 '새'와 '날개'와 같은 관계를 나타내는 HasA 관계를 분석한다. 결과적으로, BERT_base 모델에 대해서는 추론 결과 대부분에서 낮은 성능을 보이지만, BERT_large 모델에서는 BERT_base보다 높은 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.447-451
• /
• 2022

본 논문에서는 사용자가 대화 텍스트 방식의 입력을 주었을 때 이를 키워드 중심으로 변환하여 이미지를 생성해내는 방식을 제안한다. 대화 텍스트란 채팅 등에서 주로 사용하는 형식의 구어체를 말하며 이러한 텍스트 형식은 텍스트 기반 이미지 생성 모델이 적절한 아웃풋 이미지를 생성하기 어렵게 만든다. 이를 해결하기 위해 대화 텍스트를 키워드 중심 텍스트로 바꾸어 텍스트 기반 이미지 생성 모델의 입력으로 변환하는 과정이 이미지 생성의 질을 높이는 좋은 방안이 될 수 있는데 이러한 태스크에 적합한 학습 데이터는 충분하지 않다. 본 논문에서는 이러한 문제를 다루기 위한 하나의 방안으로 사전학습된 초대형 언어모델인 KoGPT 모델을 활용하며, 퓨샷 러닝을 통해 적은 양의 직접 제작한 데이터만을 학습시켜 대화 텍스트 기반의 이미지 생성을 구현하는 방법을 제안한다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.98-102
• /
• 2020

의존 구문 분석은 입력된 문장 내의 어절 간의 의존 관계를 예측하기 위한 자연어처리 태스크이다. 최근에는 BERT와 같은 사전학습 모델기반의 의존 구문 분석 모델이 높은 성능을 보이고 있다. 본 논문에서는 추가적인 성능 개선을 위해 ALBERT, ELECTRA 언어 모델을 형태소 분석과 BPE를 적용해 학습한 후, 인코딩 과정에 사용하였다. 또한 의존소 어절과 지배소 어절의 특징을 specific하게 추상화 하기 위해 두 개의 트랜스포머 인코더 스택을 추가한 의존 구문 분석 모델을 제안한다. 실험결과 제안한 모델이 세종 코퍼스에 대해 UAS 94.77 LAS 94.06의 성능을 보였다.