• Title/Summary/Keyword: 대화 말뭉치

Search Result 42, Processing Time 0.024 seconds

A Similarity-based Dialogue Modeling with Case Frame and Word Embedding (격틀과 워드 임베딩을 활용한 유사도 기반 대화 모델링)

  • Lee, Hokyung;Bae, Kyoungman;Ko, Youngjoong
    • 한국어정보학회:학술대회논문집
    • /
    • 2016.10a
    • /
    • pp.220-225
    • /
    • 2016
  • 본 논문에서는 격틀과 워드 임베딩을 활용한 유사도 기반 대화 모델링을 제안한다. 기존의 유사도 기반 대화 모델링 방법은 형태소, 형태소 표지, 개체명, 토픽 자질, 핵심단어 등을 대화 말뭉치에서 추출하여 BOW(Bag Of Words) 자질로 사용하였기 때문에 입력된 사용자 발화에 포함된 단어들의 주어, 목적어와 같은 문장성분들의 위치적 역할을 반영할 수 가 없다. 또한, 의미적으로 유사하지만 다른 형태소를 가지는 문장 성분들의 경우 유사도 계산에 반영되지 않는 형태소 불일치 문제가 존재한다. 이러한 문제점을 해결하기 위해서, 위치적 정보를 반영하기 위한 문장성분 기반의 격틀과 형태소 불일치 문제를 해결하기 위한 워드 임베딩을 활용하여 개선된 유사도 기반 대화 모델링을 제안한다. 개선된 유사도 기반 대화 모델링은 MRR 성능 약 92%의 성능을 나타낸다.

  • PDF

A Similarity-based Dialogue Modeling with Case Frame and Word Embedding (격틀과 워드 임베딩을 활용한 유사도 기반 대화 모델링)

  • Lee, Hokyung;Bae, Kyoungman;Ko, Youngjoong
    • Annual Conference on Human and Language Technology
    • /
    • 2016.10a
    • /
    • pp.220-225
    • /
    • 2016
  • 본 논문에서는 격틀과 워드 임베딩을 활용한 유사도 기반 대화 모델링을 제안한다. 기존의 유사도 기반 대화 모델링 방법은 형태소, 형태소 표지, 개체명, 토픽 자질, 핵심단어 등을 대화 말뭉치에서 추출하여 BOW(Bag Of Words) 자질로 사용하였기 때문에 입력된 사용자 발화에 포함된 단어들의 주어, 목적어와 같은 문장성분들의 위치적 역할을 반영할 수 가 없다. 또한, 의미적으로 유사하지만 다른 형태소를 가지는 문장 성분들의 경우 유사도 계산에 반영되지 않는 형태소 불일치 문제가 존재한다. 이러한 문제점을 해결하기 위해서, 위치적 정보를 반영하기 위한 문장성분 기반의 격틀과 형태소 불일치 문제를 해결하기 위한 워드임베딩을 활용하여 개선된 유사도 기반 대화 모델링을 제안한다. 개선된 유사도 기반 대화 모델링은 MRR 성능 약 92%의 성능을 나타낸다.

  • PDF

Transition of vowel harmony in Korean verbal conjugation: Patterns of variation in a spoken corpus (구어 말뭉치를 통한 한국어 용언활용에서의 모음조화 변이 및 변화 추이 연구)

  • Hijo Kang
    • Phonetics and Speech Sciences
    • /
    • v.15 no.2
    • /
    • pp.21-29
    • /
    • 2023
  • This study investigates the transitional aspect of vowel harmony in Korean verbal conjugation. By observing the patterns of harmonic and disharmonic tokens of 42 verbal stems searched for in the National Institute of Korean Language (NIKL) Korean Dialogue Corpus 2020/2021, I found that disharmonic tokens appeared less than 0.1% of time, most of which consisted of an /a/-stem with a monosyllabic sentence-final suffix. It was noted that disharmonic pattern started to spread to other suffixes and possibly to /o/-stems. A simple perception test showed that the disharmonic forms might have originated from vowel reduction or undershoot. These results suggest that the ongoing change is accounted for from both the articulatory and perceptual perspectives.

A Joint Learning Model for Speech-act Analysis and Slot Filling Using Bidirectional GRU-CRF Based on Attention Mechanism (주의집중 메커니즘 기반의 양방향 GRU-CRF를 이용한 화행 분석과 슬롯 필링 공동 학습 모델)

  • Yoon, Jeongmin;Ko, Youngjoong
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.252-255
    • /
    • 2018
  • 화행 분석이란 자연어 발화를 통해 나타나는 화자의 의도를 파악하는 것을 말하며, 슬롯 필링이란 자연어 발화에서 도메인에 맞는 정보를 추출하기 위해 미리 정의되어진 슬롯에 대한 값을 찾는 것을 말한다. 최근 화행 분석과 슬롯 필링 연구는 딥 러닝 기반의 공동 학습을 이용하는 연구가 많이 이루어지고 있고 본 논문에서는 한국어 특허상담 도메인 대화 말뭉치를 이용하여 공동 학습 모델을 구축하고 개별적인 모델과 성능을 비교한다. 또한 추가적으로 공동 학습 모델에 주의집중 메커니즘을 적용하여 성능이 향상됨을 보인다. 최종적으로 주의집중 메커니즘 기반의 공동 학습 모델이 기준 모델과 비교하여 화행 분류와 슬롯 필링 성능이 각각 3.35%p, 0.54%p 향상되어 85.41%, 80.94%의 성능을 얻었다.

  • PDF

Hate Speech Detection in Chatbot Data Using KoELECTRA (KoELECTRA를 활용한 챗봇 데이터의 혐오 표현 탐지)

  • Shin, Mingi;Chin, Hyojin;Song, Hyeonho;Choi, Jeonghoi;Lim, Hyeonseung;Cha, Meeyoung
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.518-523
    • /
    • 2021
  • 챗봇과 같은 대화형 에이전트 사용이 증가하면서 채팅에서의 혐오 표현 사용도 더불어 증가하고 있다. 혐오 표현을 자동으로 탐지하려는 노력은 다양하게 시도되어 왔으나, 챗봇 데이터를 대상으로 한 혐오 표현 탐지 연구는 여전히 부족한 실정이다. 이 연구는 혐오 표현을 포함한 챗봇-사용자 대화 데이터 35만 개에 한국어 말뭉치로 학습된 KoELETRA 기반 혐오 탐지 모델을 적용하여, 챗봇-사람 데이터셋에서의 혐오 표현 탐지의 성능과 한계점을 검토하였다. KoELECTRA 혐오 표현 분류 모델은 챗봇 데이터셋에 대해 가중 평균 F1-score 0.66의 성능을 보였으며, 오탈자에 대한 취약성, 맥락 미반영으로 인한 편향 강화, 가용한 데이터의 정확도 문제가 주요한 한계로 포착되었다. 이 연구에서는 실험 결과에 기반해 성능 향상을 위한 방향성을 제시한다.

  • PDF

Korean Speech Act Analysis Using Decision Tree (결정트리를 이용한 한국어 화행 분석)

  • Lee, Song-Wook;Seo, Jung-Yun
    • Annual Conference on Human and Language Technology
    • /
    • 1999.10e
    • /
    • pp.377-381
    • /
    • 1999
  • 담화 분석에서 화자의 의도와 대화의 흐름을 이해하기 위해서 화행 분석이 중요하다. 최근에 대화 말뭉치를 이용하여 화행을 결정하는 방법들이 많이 연구되어 왔다. 발화 특성 정보를 이용한 통계적 화행 분석과 담화 구조를 최대 엔트로피 모델에 적용한 연구가 있었다. 그러나 이러한 연구에서 발화의 어떤 특성 정보가 실제 화행 결정에 중요한 역할을 하는지 알기가 어렵다. 그러나 결정 트리를 이용한 본 연구는 결정트리의 분리자를 통해 어떤 정보들이 화행결정에 영향을 끼치는지 알 수 있다는 장점이 있다. 본 연구는 결정트리를 이용하여 화행을 결정하였으며, 현재 발화의 이전 발화 정보만을 고려한 bigram, 이전 두 발화의 화행을 고려한 trigram, 또한 담화 구조를 고려한 trigram 모델을 비교 분석하였다.

  • PDF

Big data for Speech and Language Processing (빅데이터 기반 음성언어 처리 기술)

  • Na, S.H.;Jung, H.Y.;Yang, S.I.;Kim, C.H.;Kim, Y.K.
    • Electronics and Telecommunications Trends
    • /
    • v.28 no.1
    • /
    • pp.52-61
    • /
    • 2013
  • 음성언어 처리 분야는 인간의 자연어 발화를 컴퓨터가 자동으로 이해하고 처리하는 알고리즘을 연구하는 분야로, 자동 통번역, Siri와 같은 음성 대화 시스템, 차세대 인터페이스, 질의 응답 시스템 등 다양한 응용군을 포함한다. 특히, 음성언어 처리 기술은, 최근 빅데이터(big data) 시대를 맞이하여, 방대한 음성/텍스트 정보를 처리하기 위한 필수 기술로 각광받고 있다. 한편, 빅데이터는 그 자체가 거대한 말뭉치 데이터로서 음성언어 처리 기술의 성능을 향상시키는 주된 리소스가 된다. 이에 따라, 최근 빅데이터를 이용하여 음성언어 처리 기술의 성능을 개선시키고자 하는 연구가 활발히 진행되고 있는데, 본고에서는 이들 연구의 배경 및 연구 동향들을 소개하기로 한다.

  • PDF

A Study on the Comparison of the Commercial API for Recognizing Speech with Emotion (상용 API 의 감정에 따른 음성 인식 성능 비교 연구)

  • Janghoon Yang
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.52-54
    • /
    • 2023
  • 최근 인공지능 기술의 발전에 따라서 다양한 서비스에서 음성 인식을 활용한 서비스를 제공하면서 음성 인식에 대한 중요성이 증가하고 있다. 이 논문에서는 국내에서 많이 사용되고 있는 대표적인 인공지능 서비스 API 를 제공하는 구글, ETRI, 네이버에 대해서 감정 음성 관점에서 그 차이를 평가하였다. AI Hub 에서 제공하는 감성 대화 말뭉치 데이터 셋의 일부인 음성 테스트 데이터를 사용하여 평가한 결과 ETRI API 가 문자 오류율 (1.29%)과 단어 오류율(10.1%)의 성능 지표에 대해서 가장 우수한 음성 인식 성능을 보임을 확인하였다.

Spoken language Translation System Based on PDMT (PDMT 번역 방법론에 기반한 대화체 음성 언어 번역 시스템)

  • Yun, Seung;Yu, Cho-Rong;Choi, Mi-Ran;Oh, Seung-Shin;Park, Jun;Lee, Young-Jik
    • Annual Conference on Human and Language Technology
    • /
    • 2003.10d
    • /
    • pp.279-283
    • /
    • 2003
  • ETRI가 참여하고 있는 자동 통역 관련 국제 컨소시엄인 C-STAR에서는 여행자 영역의 대규모 다국어 병렬 말뭉치를 공동으로 구축하였고, 현재 각 기관에서는 이를 이용한 대화체 음성 언어 번역 시스템을 개발 중이다. ETRI에서는 핵심어 처리, 통계정보를 이용하는 구 단위 자동 설정, 설정된 구의 자동대응 및 재배치 등을 특징으로 하는 구 기반 직접 번역 방식(PDMT: Phrase-based Direct Machine Translation)의 번역 방법론을 제안하고 관련 연구를 진행하고 있다. 본 논문에서는 ETRI 대화체 음성 언어 번역 시스템의 구성에 대해 알아보고 PDMT 번역 방법론의 등장 배경과 그 구체적인 번역 방법 및 특징에 대해 자세히 논의하기로 한다.

  • PDF

A Study of Null Instantiated Frame Element Resolution for Construction of Dialog-Level FrameNet (대화 수준 FrameNet 구축을 위한 생략된 프레임 논항 복원 연구)

  • Noh, Youngbin;Heo, Cheolhun;Hahm, Younggyun;Jeong, Yoosung;Choi, Key-Sun
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.227-232
    • /
    • 2020
  • 본 논문은 의미역 주석(Semantic Role Labeling) 자원인 FrameNet을 준구어 말뭉치인 드라마 대본에 주석하는 과정과 주석 결과에 대해 서술한다. 본 논문에서는 프레임 - 프레임 논항 구조의 주석 범위를 한 문장에서 여러 발화로 이루어진 장면 (Scene) 단위의 대본으로 확장하여 문장 내에서 생략된 프레임 논항(Null-Instantiated Frame Elements)을 장면 단위 대본 내의 다른 발화에서 복원하였다. 본 논문은 프레임 자동 분석기를 통해 동일한 드라마의 한국어, 영어 대본에 FrameNet 주석을 한 드라마 대본을 선발된 주석자에 의해 대상 어휘 적합성 평가, 프레임 적합성 평가, 생략된 프레임 논항 복원을 실시하고, 자동 주석된 대본과 주석자 작업 후의 대본 결과를 비교한 결과와 예시를 제시한다. 주석자가 자동 주석된 대본 중 총 2,641개 주석 (한국어 1,200개, 영어 1,461개)에 대하여 대상 어휘 적합성 평가를 실시하여 한국어 190개 (15.83%), 영어 226개 (15.47%)의 부적합 대상 어휘를 삭제하였다. 프레임 적합성 평가에서는 대상 어휘에 자동 주석된 프레임의 적합성을 평가하여 한국어 622개 (61.68%), 영어 473개 (38.22%)의 어휘에 대하여 새로운 프레임을 부여하였다. 생략된 프레임 논항을 복원한 결과 작업된 평균 프레임 논항 개수가 한국어 0.780개에서 2.519개, 영어 1.290개에서 2.253개로 증가하였다.

  • PDF