• Title/Summary/Keyword: 대화 말뭉치

Search Result 42, Processing Time 0.023 seconds

A study on the Automatic Generation of Conversational QA Corpora (대화형 질의응답 말뭉치 자동 생성에 대한 연구)

  • Hwang, Seonjeong;Lee, Gary Geunbae
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.133-138
    • /
    • 2021
  • 최근 다양한 분야에서 자동 고객 응대 시스템을 도입하고 있으며 이에 따른 대화형 질의응답 시스템 연구의 필요성이 증가하고 있다. 본 논문에서는 새로운 도메인의 대화형 질의응답 시스템 구축에 필요한 말뭉치를 자동으로 생성하는 대화형 질의-응답 생성 시스템을 소개한다. 또한 이전 대화 내용을 고려하여 문서로부터 사용자의 다음 질문 대상이 될만한 응답 후보를 추출하는 맥락 관련 응답 추출 과제와 이에 대한 성능 평가 지표인 Sequential F1 점수를 함께 제안한다. 대화형 질의응답 말뭉치인 CoQA에 대해 응답 후보 추출 실험을 진행한 결과 기존의 응답 추출 모델보다 우리의 맥락 관련 응답 추출 모델이 Sequential F1 점수에서 31.1 높은 성능을 보였다. 또한 맥락 관련 응답 추출 모듈과 기존에 연구된 대화형 질의 생성 모듈을 결합하여 개발한 대화형 질의-응답 생성 시스템을 통해 374,260 쌍의 질의-응답으로 구성된 대화형 질의응답 말뭉치를 구축하였다.

  • PDF

The Corpus-based Dialogue System Using a Dialogue Transition Network and a Similarity Measure Method (유사도 계산과 대화 전이 네트워크를 이용한 말뭉치 기반 대화 시스템)

  • Kang, Sangwoo;Park, Hongmin;Ko, Youngjoong;Seo, Jungyun
    • Annual Conference on Human and Language Technology
    • /
    • 2008.10a
    • /
    • pp.162-166
    • /
    • 2008
  • 본 연구는 말뭉치로부터 추출된 정보를 사용하여 대화 시스템에 필요한 과정들을 통합 처리하는 시스템을 제안한다. 기존 연구는 영역 확장 시 대화 시스템의 각 과정들을 위해 많은 노력이 필요하였지만, 제안하는 방법은 말뭉치를 사용하여 각 과정들을 통합적으로 업데이트함으로서 이 문제를 해결하고자 한다. 사용자 입력문장과 말뭉치의 각 문장들 간의 유사도 계산을 통하여 의미적으로 가장 유사한 말뭉치 문장의 정보를 이용하고, 시스템 응답에 필요한 정보를 선택한다. 또한, 문맥에 관련된 정보를 자동으로 추출하여 대화 관리를 위한 대화 전이 네트워크(network)를 생성한다. 따라서, 제안 시스템은 말뭉치의 추가 및 수정만으로 새로운 영역 확장과 관리에 용이한 구조를 갖는다. 실험으로 관찰한 제안된 시스템의 성능은 유사도 계산 만족도 약 77%, 시스템 응답의 적절성 약 84%로 충분히 작업 수행이 가능한 점수를 보여주었다.

  • PDF

Construction of Dialog Engagement Model using MovieDic Corpus (MovieDic 말뭉치를 이용한 대화 참여 모델의 구성)

  • Koo, Sangjun;Yu, Hwanjo;Lee, Gary Geunbae
    • 한국어정보학회:학술대회논문집
    • /
    • 2016.10a
    • /
    • pp.249-251
    • /
    • 2016
  • 다중 화자 대화 시스템에서, 시스템의 입장에서 어느 시점에 참여해야하는지를 아는 것은 중요하다. 이러한 참여 모델을 구축함에 있어서 본 연구에서는 다수의 화자가 대화에 참여하는 영화 대본으로 구축된 MovieDic 말뭉치를 사용하였다. 구축에 필요한 자질로써 의문사, 호칭, 명사, 어휘 등을 사용하였고, 훈련 알고리즘으로는 Maximum Entropy Classifier를 사용하였다. 실험 결과 53.34%의 정확도를 기록하였으며, 맥락 자질의 추가로 정확도 개선을 기대할 수 있다.

  • PDF

Building a Corpus for Korean Tutoring Chatbot (한국어 튜터링 챗봇을 위한 말뭉치 구축)

  • Kim, Hansaem;Choi, Kyung-Ho;Han, Ji-Yoon;Jung, Hae-Young;Kwak, Yong-Jin
    • 한국어정보학회:학술대회논문집
    • /
    • 2017.10a
    • /
    • pp.288-293
    • /
    • 2017
  • 교수-학습 발화는 발화 턴 간에 규칙화된 인과관계가 강하고 자연 발화에서의 출현율이 낮다. 일반적으로 어휘부, 표현 제시부, 대화부로 구성되며 커리큘럼과 화제에 따라 구축된 언어자원이 필요하다. 기존의 말뭉치는 이러한 교수-학습 발화의 특징을 반영하지 않았기 때문에 한국어 교육용 튜터링 챗봇을 개발하는 데에 활용도가 떨어진다. 이에 따라 이 논문에서는 자연스러운 언어 사용 수집, 도구 기반의 수집, 주제별 수집 및 분류, 점진적 구축 절차의 원칙에 따라 교수-학습의 실제 상황을 반영하는 준구어 말뭉치를 구축한다. 교실에서 발생하는 언어학습 상황을 시나리오로 구성하여 대화 흐름을 제어하고 채팅용 메신저와 유사한 형태의 도구를 통해 말뭉치를 구축한다. 이 연구는 한국어 튜터링 챗봇을 개발하기 위해 말뭉치 구축용 챗봇과 한국어 학습자, 한국어 교수자가 시나리오를 기반으로 발화문을 생성한 준구어 말뭉치를 최초로 구축한다는 데에 의의가 있다.

  • PDF

Dialogue Act Classification for Non-Task-Oriented Korean Dialogues (도메인에 비종속적인 대화에서의 화행 분류)

  • Kim, Min-Jeong;Han, Kyoung-Soo;Park, Jae-Hyun;Song, Young-In;Rim, Hae-Chang
    • Annual Conference on Human and Language Technology
    • /
    • 2006.10e
    • /
    • pp.246-253
    • /
    • 2006
  • 대화 에이전트와 관련된 지금까지의 연구는 대개 대상 도메인을 한정하고, 특정 목적을 달성하기 위해 사용자와 대화할 수 있는 에이전트에 관한 연구가 많았다. 본 연구에서는 도메인이 한정되지 않은 일반 도메인 대화에서 화행(speech act)정보를 수동으로 부착시켜 구축한 말뭉치에 대해 소개하고 이 말뭉치를 토대로 자동으로 화행을 분류할 수 있는 유용한 자질들을 선보인다. 그리고 도메인이 한정된 말뭉치와 도메인이 한정되지 않은 말뭉치를 자동으로 화행분류해 본 실험한 결과를 비교하였다.

  • PDF

Construction of Dialog Engagement Model using MovieDic Corpus (MovieDic 말뭉치를 이용한 대화 참여 모델의 구성)

  • Koo, Sangjun;Yu, Hwanjo;Lee, Gary Geunbae
    • Annual Conference on Human and Language Technology
    • /
    • 2016.10a
    • /
    • pp.249-251
    • /
    • 2016
  • 다중 화자 대화 시스템에서, 시스템의 입장에서 어느 시점에 참여해야하는지를 아는 것은 중요하다. 이러한 참여 모델을 구축함에 있어서 본 연구에서는 다수의 화자가 대화에 참여하는 영화 대본으로 구축된 MovieDic 말뭉치를 사용하였다. 구축에 필요한 자질로써 의문사, 호칭, 명사, 어휘 등을 사용하였고, 훈련 알고리즘으로는 Maximum Entropy Classifier를 사용하였다. 실험 결과 53.34%의 정확도를 기록하였으며, 맥락 자질의 추가로 정확도 개선을 기대할 수 있다.

  • PDF

Semi-Automatic Object-Action Extractor to Build the Utterance Corpus for the Dialogue System (대화 시스템의 말뭉치 구축을 위한 Object-Action 반자동 추출기)

  • Yoon, JungMin;Hwang, Jaewon;Ko, Youngjoong
    • Annual Conference on Human and Language Technology
    • /
    • 2015.10a
    • /
    • pp.220-223
    • /
    • 2015
  • 본 논문은 대화 시스템에서 사용되는 말뭉치의 구축을 위해 Object와 Action을 반자동으로 추출하는 도구에 대해 기술한다. 제안하는 추출 도구는 형태소 분석과 의존 구문 분석의 결과를 기반으로 적절한 Object와 Action을 추출하는 것에 목표를 두고 있다. 그러나 형태소 분석과 의존 구문 분석의 결과는 여러 가지 오류가 포함될 수 있다. 이러한 오류는 잘못된 Object와 Action의 추출로 이어질 수 있다. 그리고 Object의 추출에 있어 해당 명사의 격이 중요한 정보를 가진다. 하지만 한국어의 특성한 조사의 생략 등으로 인해 격 태깅의 모호성이 발생하게 된다. 따라서 본 논문에서 제안하는 반자동 추출기는 형태소 분석과 의존 구문 분석의 잘못된 결과를 사용자가 손쉽게 수정할 수 있도록 하고 모호성이 발생할 수 있는 Object를 사용자에게 알려주어 올바른 Object와 Action의 추출을 가능하게 한다. 추출기를 이용한 말뭉치의 구축은 1) 형태소 분석 2) 의존 구문 분석 3) Object-Action 추출의 단계로 진행된다. 실험에서 사용된 발화는 관광 회화용 대화 시스템의 숙박, 공항 영역의 500개의 발화이며, 이 중 259개의 발화가 태깅 시 모호성이 발생하는 발화이다. 반자동 추출기를 통해 모호성이 발생한 발화를 태깅한 결과 전체 발화 중 51.8%의 발화를 빠르고 정확하게 태깅할 수 있었다.

  • PDF

Building a Corpus for Korean Tutoring Chatbot (한국어 튜터링 챗봇을 위한 말뭉치 구축)

  • Kim, Hansaem;Choi, Kyung-Ho;Han, Ji-Yoon;Jung, Hae-Young;Kwak, Yong-Jin
    • Annual Conference on Human and Language Technology
    • /
    • 2017.10a
    • /
    • pp.288-293
    • /
    • 2017
  • 교수-학습 발화는 발화 턴 간에 규칙화된 인과관계가 강하고 자연 발화에서의 출현율이 낮다. 일반적으로 어휘부, 표현 제시부, 대화부로 구성되며 커리큘럼과 화제에 따라 구축된 언어자원이 필요하다. 기존의 말뭉치는 이러한 교수-학습 발화의 특징을 반영하지 않았기 때문에 한국어 교육용 튜터링 챗봇을 개발하는데에 활용도가 떨어진다. 이에 따라 이 논문에서는 자연스러운 언어 사용 수집, 도구 기반의 수집, 주제별 수집 및 분류, 점진적 구축 절차의 원칙에 따라 교수-학습의 실제 상황을 반영하는 준구어 말뭉치를 구축한다. 교실에서 발생하는 언어학습 상황을 시나리오로 구성하여 대화 흐름을 제어하고 채팅용 메신저와 유사한 형태의 도구를 통해 말뭉치를 구축한다. 이 연구는 한국어 튜터링 챗봇을 개발하기 위해 말뭉치 구축용 챗봇과 한국어 학습자, 한국어 교수자가 시나리오를 기반으로 발화문을 생성한 준구어 말뭉치를 최초로 구축한다는 데에 의의가 있다.

  • PDF

A Semi-Automatic Semantic Mark Tagging System for Building Dialogue Corpus (대화 말뭉치 구축을 위한 반자동 의미표지 태깅 시스템)

  • Park, Junhyeok;Lee, Songwook;Lim, Yoonseob;Choi, Jongsuk
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.8 no.5
    • /
    • pp.213-222
    • /
    • 2019
  • Determining the meaning of a keyword in a speech dialogue system is an important technology for the future implementation of an intelligent speech dialogue interface. After extracting keywords to grasp intention from user's utterance, the intention of utterance is determined by using the semantic mark of keyword. One keyword can have several semantic marks, and we regard the task of attaching the correct semantic mark to the user's intentions on these keyword as a problem of word sense disambiguation. In this study, about 23% of all keywords in the corpus is manually tagged to build a semantic mark dictionary, a synonym dictionary, and a context vector dictionary, and then the remaining 77% of all keywords is automatically tagged. The semantic mark of a keyword is determined by calculating the context vector similarity from the context vector dictionary. For an unregistered keyword, the semantic mark of the most similar keyword is attached using a synonym dictionary. We compare the performance of the system with manually constructed training set and semi-automatically expanded training set by selecting 3 high-frequency keywords and 3 low-frequency keywords in the corpus. In experiments, we obtained accuracy of 54.4% with manually constructed training set and 50.0% with semi-automatically expanded training set.

Cross-Texting Prevention System using Korean Chat Corpus (한글 채팅 말뭉치를 이용한 크로스-텍스팅 방지 시스템)

  • Lee, Da-Young;Who, Hwan-Gue
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.377-382
    • /
    • 2020
  • cross-texting은 실수로 의도하지 않은 상대방에게 메세지를 잘못 전송하는 것을 말한다. 휴대폰 메신저 사용이 활발해짐에 따라 이 같은 실수가 빈번하게 발생하는데 메신저에서 제공하는 기능은 대체로 사후 해결책에 해당하고 사용자가 사전에 실수를 발견하기는 어렵다. 본 논문에서는 사용자가 작성한 문장의 형식적 자질를 분석하여 현재 참여중인 대화에서 작성한 문장이 cross-texting인지를 판별하는 모델을 제안했다. 문장에서 높임법, 표층적 완성도 자질을 추출하고 이를 통해 특정 사용자의 대화를 모델링하여 주어진 문장이 대화에 부합하는지 여부를 판단한다. 이같은 방식은 채팅방의 이전 기록만으로도 사용자가 작성한 문장이 cross-texting인지 여부를 쉽게 판단할 수 있는 힌트를 제공할 수 있다. 실제 메신저 대화 말뭉치를 이용해 제작한 데이터에서 94% 정확도로 cross-texting을 탐지했다.

  • PDF