• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.447-451
• /
• 2022

본 논문에서는 사용자가 대화 텍스트 방식의 입력을 주었을 때 이를 키워드 중심으로 변환하여 이미지를 생성해내는 방식을 제안한다. 대화 텍스트란 채팅 등에서 주로 사용하는 형식의 구어체를 말하며 이러한 텍스트 형식은 텍스트 기반 이미지 생성 모델이 적절한 아웃풋 이미지를 생성하기 어렵게 만든다. 이를 해결하기 위해 대화 텍스트를 키워드 중심 텍스트로 바꾸어 텍스트 기반 이미지 생성 모델의 입력으로 변환하는 과정이 이미지 생성의 질을 높이는 좋은 방안이 될 수 있는데 이러한 태스크에 적합한 학습 데이터는 충분하지 않다. 본 논문에서는 이러한 문제를 다루기 위한 하나의 방안으로 사전학습된 초대형 언어모델인 KoGPT 모델을 활용하며, 퓨샷 러닝을 통해 적은 양의 직접 제작한 데이터만을 학습시켜 대화 텍스트 기반의 이미지 생성을 구현하는 방법을 제안한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.263-268
• /
• 2023

백채널은 화자의 말에 언어 및 비언어적으로 반응하는 것으로 상대의 대화 참여를 유도하는 역할을 한다. 백채널은 보편형 대화 참여와 반응형 대화 참여로 나뉠 수 있다. 보편형 대화 참여는 화자에게 대화를 장려하도록 하는 단순한 반응이다. 반면에 반응형 대화 참여는 화자의 발화 의도를 파악하고 그에 맞게 반응하는 것이다. 이때 발화의 의미를 파악하기 위해서는 표면적인 의미뿐만 아니라 대화의 맥락을 이해해야 한다. 본 논문에서는 대화 맥락을 반영한 백채널 예측 모델을 제안하고 예측 성능을 개선하고자 한다. 대화 맥락을 요약하기 위한 방법으로 전체 요약과 선택 요약을 제안한다. 한국어 상담 데이터를 대상으로 실험한 결과는 현재 발화만 사용했을 때보다 제안한 방식으로 대화 맥락을 반영했을 때 성능이 향상되었다.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.35-39
• /
• 2018

챗봇은 사람과 기계가 자연어로 된 대화를 주고받는 시스템이다. 최근 대화형 인공지능 비서 시스템이 상용화되면서 일반적인 대화와 질의응답을 함께 처리해야할 필요성이 늘어나고 있다. 본 논문에서는 기계독해 기반 질의응답과 Transformer 기반 자연어 생성 모델을 함께 사용하여 하나의 모델에서 일반적인 대화와 질의응답을 함께 하는 기계독해 기반 질의응답 챗봇을 제안한다. 제안 모델은 기계독해 모델에 일반대화를 판단하는 옵션을 추가하여 기계독해를 하면서 자체적으로 문장을 분류하고, 기계독해 결과를 통해 자연어로 된 문장을 생성한다. 실험 결과 일반적인 대화 문장과 질의를 높은 성능으로 구별하면서 기계독해의 성능은 유지하였고 자연어 생성에서도 분류에 맞는 응답을 생성하였다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.88-91
• /
• 2022

디지털 휴먼, 민원 상담, ARS 등 칫챗의 활용과 수요가 증가함에 따라 칫챗의 성능 향상을 위한 다양한 연구가 진행되고 있다. 특히, 오토 인코더(Auto-encoder) 기반의 생성 모델(Generative Model)은 높은 성능을 보이며 지속적인 연구가 이루어지고 있으나, 이전 대화들에 대한 충분한 문맥 정보의 반영이 어렵고 문법적으로 부적절한 답변을 생성하는 문제가 있다. 이를 개선하기 위해 검색 기반의 생성 모델과 관련된 연구가 진행되고 있으나, 현재 시점의 문장이 유사해도 이전 문장들에 따라 의도와 답변이 달라지는 멀티턴 대화 특징을 반영하여 대화를 검색하는 연구가 부족하다. 본 논문에서는 이와 같은 멀티턴 대화의 특징이 고려된 검색 방법을 제안하고 검색된 레퍼런스(준정답 문장)를 멀티턴 대화와 함께 생성 모델의 입력으로 활용하여 학습시키는 방안을 제안한다. 제안 방안으로 학습된 발화 생성 모델은 기존 모델과 비교 평가를 수행하며 Rouge-1 스코어에서 13.11점, Rouge-2 스코어에서 10.09점 Rouge-L 스코어에서 13.2점 향상된 성능을 보였고 이를 통해 제안 방안의 우수성을 입증하였다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.512-516
• /
• 2022

페르소나 기반의 대화 시스템은 일관적인 대화를 수행할 수 있어 많은 관심을 받고 있다. 영어권에서 구축된 페르소나 대화 데이터셋은 서로의 페르소나를 알아가기 보다는 자신의 페르소나에 대해서만 말하는 경향을 보이며 이는 상대방의 말을 이해하여 관련 대화를 진행하는 대화의 특성을 반영하지 못한다. 본 연구에서는 회사 방문객이 안내 시스템과 대화하는 상황을 가정하여 안내 시스템이 주도적으로 방문객의 페르소나를 묻고 관련 대화를 수행하는 데이터셋을 구축함과 동시에 목적지향 대화 시스템의 대화 관리 프레임워크를 기반으로 시스템 주도적인 대화를 모델링하는 페르소나 대화 관리 모델을 제안한다. 실험을 통해 제안한 대화 관리 모델의 대화 이해 및 정책 성능을 검증하고 방문객의 페르소나를 예측할 때 대화 정책의 성능이 향상됨을 보임으로써 구축한 데이터셋이 이해와 정책이 포함된 대화의 특성을 반영하는 것을 확인한다.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.40-43
• /
• 2018

대화 발화 예측(Next Utterance Classification)은 Multi-turn 대화에서 마지막에 올 발화를 정답 후보들 중에서 예측을 하는 연구이다. 기존에 제안된 LSTM 기반의 Dual Encoder를 이용한 모델에서는 대화와 정답 발화에 대한 관계를 고려하지 않는 문제와 대화의 길이가 너무 길어 중간 정보의 손실되는 문제가 존재한다. 본 연구에서는 이러한 두 문제를 해결하기 위하여 ESIM구조를 통한 단어 단위의 attention, 대화의 turn별 문장 단위의 attention을 제안한다. 실험 결과 총 5000개의 검증 대화 데이터에 대하여 1 in 100 Recall@1의 성능이 37.64%로 기존 모델 대비 약 2배 높은 성능 향상을 나타내었다.

• Smart Media Journal
• /
• v.12 no.6
• /
• pp.35-40
• /
• 2023

In this study paper, we examine pre-trained language models used in Multi-Goal Conversational Recommender Systems (MG-CRS), comparing and analyzing their performances of various pre-trained language models. Specifically, we investigates the impact of the sizes of language models on the performance of MG-CRS. The study targets three types of language models - of BERT, GPT2, and BART, and measures and compares their accuracy in two tasks of 'type prediction' and 'topic prediction' on the MG-CRS dataset, DuRecDial 2.0. Experimental results show that all models demonstrated excellent performance in the type prediction task, but there were notable provide significant performance differences in performance depending on among the models or based on their sizes in the topic prediction task. Based on these findings, the study provides directions for improving the performance of MG-CRS.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.374-378
• /
• 2022

대화형 관계 추출의 목표는 주어진 대화에서 두 개체 간의 관계를 식별하는 것이다. 대화 중에 화자는 개체 및 관계와 관련이 있는 단서인 트리거를 통해 특정 개체 간 관계를 식별하는 것에 힌트를 얻을 수 있다. 그러나 데이터에 대해 항상 트리거 정보가 존재하는 것이 아니므로 트리거를 활용해 성능을 향상시키는 것은 어렵다. 본 논문은 이 문제점을 해소하기 위해 대화, 개체, 관계 중심으로 트리거 생성 모델을 학습하고, 이를 통해 생성된 트리거를 대화형 관계 추출에 학습하여 관계 식별에 효과적인 성능 향상을 보이는 접근법을 제안한다. 제안하는 접근법은 대화형 관계 추출 태스크에서 기존 성능과 비교한 결과 Dev, Test에서 각각 F1 19.74%p, F1 15.53%p 의 성능 향상을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.638-643
• /
• 2023

문서 기반 대화 시스템은 크게 질문으로부터 문서를 검색하는 과정과 응답 텍스트를 생성하는 과정으로 나뉜다. 이러한 대화 시스템의 응답 생성 과정에 디코더 기반 LLM을 사용하기 위해서 사전 학습된 LLM을 미세 조정한다면 많은 메모리, 연산 자원이 소모된다. 본 연구에서는 SVD에 기반한 LLM의 경량화를 시도한다. 사전 학습된 polyglot-ko 모델의 행렬을 SVD로 분해한 뒤, full-fine-tuning 해보고, LoRA를 붙여서 미세 조정 해본 뒤, 원본 모델을 미세 조정한 것과 점수를 비교하고, 정성평가를 수행하여 경량화된 모델의 응답 생성 성능을 평가한다. 문서 기반 대화를 위한 한국어 대화 데이터셋인 KoDoc2Dial에 대하여 평가한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.312-318
• /
• 2023

본 연구는 다양한 대규모 언어 모델들의 한국어/영어 공감 대화 생성에서 성능을 실험적으로 비교 분석하는 것과 개인의 성향과 공감 사이에서의 상관 관계를 실험적으로 분석하는 것을 목표로 한다. 이를 위해, 한국어 공감 대화 데이터셋인 KorEmpatheticDialogues 를 구축하였고, personality-aware prompting 방법을 제안한다. 실험을 통해, 총 18개의 언어 모델들 간의 공감 대화 생성 성능을 비교 분석하였고, 개인의 성향에 맞춤형 제공하는 공감이 더 상호작용을 이끌어낼 수 있다는 점을 보여준다. 코드와 데이터셋은 게재가 허용되면 공개할 예정이다.