• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.125-130
• /
• 2022

최근 자연어처리 연구로 지식 기반 대화에서 대화 내용에 자유로운 주제와 다양한 지식을 포함하는 연구가 활발히 이루어지고 있다. 지식 기반 대화는 대화 내용이 주어질 때 특정 지식 정보를 포함하여 이어질 응답을 생성한다. 이때 대화에 필요한 지식이 검색 가능하여 선택에 제약이 없는 오픈 도메인(Open-domain) 지식 기반 대화가 가능하도록 한다. 오픈 도메인 지식 기반 대화의 성능 향상을 위해서는 대화에 이어지는 자연스러운 답변을 연속적으로 생성하는 응답 생성 모델의 성능 뿐만 아니라, 내용에 어울리는 응답이 생성될 수 있도록 적합한 지식을 선택하는 지식 검색 모델의 성능 향상도 매우 중요하다. 본 논문에서는 오픈 도메인 지식 기반 한국어 대화에서 지식 검색 성능을 높이기 위해 밀집 벡터 기반 검색 방식과 주제어(Keyword) 기반의 검색 방식을 함께 사용하는 것을 제안하였다. 먼저 밀집 벡터 기반의 검색 모델을 학습하고 학습된 모델로부터 고난도 부정(Hard negative) 지식 후보를 생성하고 주제어 기반 검색 방식으로 고난도 부정 지식 후보를 생성하여 각각 밀집 벡터 기반의 검색 모델을 학습하였다. 성능을 측정하기 위해 전체 지식 중에서 하나의 지식을 검색했을 때 정답 지식인 경우를 계산하였고 고난도 부정 지식 후보로 학습한 주제어 기반 검색 모델의 성능이 6.175%로 가장 높은 것을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.619-623
• /
• 2022

대화생성은 대규모 학습 데이터로부터 사전 학습된 언어모델을 활용한 도전적인 다운스트림 태스크 중 하나이다. 대화에서 특정한 지식에 대한 맥락이 보존된 응답 문장을 생성하기 위한 기술의 일환으로써 지식 기반 대화생성이 연구되고 있으며, 현업에서는 사업목표에 따른 대화 서비스를 제공하는 목적으로 이러한 기술을 적용할 수 있다. 본 논문에서는, 각각의 서비스 도메인에 특화된 모델을 적절히 활용 가능하도록 전체 데이터를 도메인별로 구분하여 학습한 다수의 대화생성 모델을 구축한다. 또한, 특정 도메인의 데이터로 학습된 모델이 나머지 도메인에서 어떤 수준의 대화생성이 가능한지 비교 분석함으로써 개별 학습된 모델들이 도메인의 특성에 따라 서로 다른 영향력이나 연관성을 나타낼 가능성을 확인한다. 이러한 실험적인 분석 결과를 바탕으로 현업의 서비스에서 개별 도메인에 특화된 모델이 적절히 활용하는 것이 유용함을 확인하고자 한다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.371-375
• /
• 2021

문서 기반 대화 시스템은 주어진 배경 지식 문서와 이전 대화를 바탕으로 대화에 이어지는 적절한 응답을 생성하는 시스템이다. 문서 기반 대화 시스템은 지식 추출 작업과 응답 생성 작업으로 나뉘며, 두 하위 작업은 서로 긴밀한 관계를 가지고 있다. 즉, 주어진 배경 지식 문서와 관련된 올바른 응답을 생성하기 위해서는 정확한 지식 추출이 필수적이며, 응답 생성에 필요한 지식을 정확히 추출하지 못하는 경우 생성 응답에 배경 지식이 반영되기 힘들다. 따라서, 본 논문에서는 추출된 지식을 확장하는 방법을 통해 생성에 필요한 지식의 재현율을 높이고 이를 활용할 수 있는 임베딩 확장 방법을 제안함으로써 SacreBLEU 기준 3.51의 성능 향상을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.361-364
• /
• 2021

지식 기반 다중 대화 시스템은 지식 정보를 포함한 응답을 생성하는 대화 시스템이다. 이 시스템은 응답 생성에 필요한 지식 정보를 찾아내는 지식 선택 작업과 찾아낸 지식 정보를 바탕으로 문맥을 고려한 응답을 생성하는 응답 생성 작업으로 구성된다. 본 논문에서는 지식 선택 작업을 기계독해 프레임워크에 적용하여 해결하는 방법을 제안한다. 지식 선택 작업은 여러 개의 발화로 이루어진 대화 기록을 바탕으로 지식 문서 내에 존재하는 지식을 찾아내는 작업이다. 본 논문에서는 대화 기록 모델링 계층을 활용해 마지막 발화와 관련 있는 대화 기록을 찾아내고, 주의 집중 풀링 계층을 활용해 긴 길이의 지식을 효과적으로 추출하는 방법을 제안한다. 실험 결과, 목적지향 지식 문서 기반 대화 데이터 셋인 Doc2dial 데이터의 지식 선택 작업에서 F1 점수 기준 76.52%, EM 점수 기준 66.21%의 성능을 기록해 비교 모델 보다 높은 성능을 기록하는 것을 확인할 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.409-414
• /
• 2023

최근 지식 기반 대화 생성에 많은 연구자가 초점을 맞추고 있다. 특히, 특정 도메인에서의 작업 지향형 대화 시스템을 구축하는 것은 다양한 도전 과제가 있으며, 이 중 하나는 거대 언어 모델이 입력과 관련된 지식을 활용하여 응답을 생성하는 데 있다. 하지만 현재 거대 언어 모델은 작업 지향형 대화에서 단순히 정보를 열거하는 방식으로 응답을 생성하는 경향이 있다. 이 논문에서는 전문 지식과 대화 정책 예측 모델을 결합한 프롬프트를 제시하고 작업 지향형 대화에서 사용자의 최근 입력에 대한 정보 제공 및 일상 대화를 지원하는 가능성을 탐구한다. 이러한 새로운 접근법은 모델 파인튜닝에 비해 비용 측면에서 효율적이며, 향후 대화 생성 분야에서 발전 가능성을 제시한다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.491-496
• /
• 2022

최근 멀티-세션 데이터로 장기간 페르소나와 대화 일관성을 유지하며 인터넷에서 대화와 관련된 지식을 활용하는 대화모델 연구가 활발히 진행되고 있다. 하지만 이를 위한 한국어 멀티-세션 오픈 도메인 지식 기반 대화 데이터는 공개되지 않아 한국어 대화모델 연구에 어려움이 있다. 따라서 본 논문에서는 한국어 멀티-세션 오픈 도메인 지식 기반 데이터의 필요성을 시사하고, 데이터 수집을 위한 툴을 제안한다. 제안하는 수집 툴은 양질의 데이터 수집을 위해 작업자들이 사용하기 편하도록 UI/UX를 구성하였으며, 대화 생성 시 텍스트뿐만 아니라 정보가 밀집된 테이블도 대화에 활용할 지식으로 참조할 수 있도록 구현하였다. 제안하는 수집 툴은 웹 랜덤채팅 시스템에 기반을 두어 작업자가 여러 다른 작업자와 같은 확률로 매칭되게 구현되었으며, 일정 확률로 기존 대화로부터 대화를 시작하도록 함으로써 멀티-세션 대화 수집이 가능하도록 하였다.

• Annual Conference on Human and Language Technology
• /
• 2012.10a
• /
• pp.209-211
• /
• 2012

본 논문의 대화시스템 구축도구는 태스크 기반 대화 시스템을 구축하는데 필요한 대화 시나리오 지식과 이를 처리하는 태스크 그래프, 슬롯 체계, 대화 라이브러리 등을 생성하고 관리할 수 있는 웹기반 대화 시스템 구축 도구이다. 이 도구는 태스크 그래프를 시각적으로 대화 모델 설계자에게 표시하고, 대화 모델 설계자는 시각적으로 표시된 태스크 그래프를 보며 태스크의 흐름을 한눈에 파악하고 대화 시스템의 시나리오 흐름을 생성하고 편집할 수 있도록 한 것이 특징이다. 또한 대화 모델 설계자와 시나리오 태깅 작업자들 모두는 자신이 구축한 지식이나 대화 태스크를 시스템에 직접 반영하고 실시간으로 대화 시스템에 적용해 봄으로써 대화 시스템의 이해를 높이고 고품질의 대화 시스템을 구축할 수 있다.

• Journal of the Korea Society of Computer and Information
• /
• v.28 no.1
• /
• pp.27-38
• /
• 2023

In this paper, we propose a conversational AI agent based on continual learning that can continuously learn and grow with new data over time. A continual learning-based conversational AI agent consists of three main components: Task manager, User attribute extraction, and Auto-growing knowledge graph. When a task manager finds new data during a conversation with a user, it creates a new task with previously learned knowledge. The user attribute extraction model extracts the user's characteristics from the new task, and the auto-growing knowledge graph continuously learns the new external knowledge. Unlike the existing conversational AI agents that learned based on a limited dataset, our proposed method enables conversations based on continuous user attribute learning and knowledge learning. A conversational AI agent with continual learning technology can respond personally as conversations with users accumulate. And it can respond to new knowledge continuously. This paper validate the possibility of our proposed method through experiments on performance changes in dialogue generation models over time.

• Korean Journal of Cognitive Science
• /
• v.16 no.4
• /
• pp.351-368
• /
• 2005

The manual construction of the knowledge-base takes much time and effort, and it is hard to adjust intelligence systems to dynamic and flexible environment. Thus mental development in those systems has been investigated in recent years. Autonomous mental development is a new paradigm for developing autonomous machines, which are adaptive and flexible to the environment. Learning conversation, a kind of mental development, is an important aspect of conversational agents. In this paper, we propose a learning conversation method for conversational agents which uses several promising techniques; speech-act templates and genetic programming. Knowledge acquisition of conversational agents is implemented by finite state machines and templates, and dynamic sentence generation is implemented by genetic programming Several illustrations and usability tests how the usefulness of the proposed method.

• Proceedings of the Acoustical Society of Korea Conference
• /
• 1994.06c
• /
• pp.65-70
• /
• 1994

대화체는 문어체와는 달리 생략과 대용현상이 빈번히 발생하고, 문장의 표면적 의미외에 화자가 전달하고자 하는 의도를 내포하고 있다. 그러므로 대화체 번역은 언어적 분석에 의한 단순한 번역이 아닌, 이해에 기반한 번역이어야 한다. 본 논문에서는 대화의 상황을 모델링한 대화모델을 이용하여 이해에 기반한 대화체 기계번역을 시도하였다. 또한 대화체 기계번역이 자동통역 등에 응용된다고 할 때, 실시간 번역과 불완전한 입력과 같은 예외 상황에 대한 적절한 대응이 보장되어야 한다. 이러한 점을 반영하기 위하여 지식기반 모델과 확률 기반 모델을 결합한 해석, 생성 시스템을 구현하여 효율성과 견고성을 갖춘 이해에 기반한 대화체 기계번역 시스템을 연구하고자 한다. 이 연구는 한국통신으로부터 지원을 받아서 수행하고 있는 과제로써 현재 3000단어 수준의 실제 대화를 대상으로 한->영 대화 번역에 대해 실험을 하고 있으며, 시스템의 확장성을 고려한 지식 베이스-사전, 문법 등-를 구축하였다.