• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.253-257
• /
• 2023

최근 다양한 대화 시스템이 스마트폰 어시스턴트, 자동 차 내비게이션, 음성 제어 스피커, 인간 중심 로봇 등의 실세계 인간-기계 인터페이스에 적용되고 있다. 하지만 대부분의 대화 시스템은 텍스트 기반으로 작동해 다중 모달리티 입력을 처리할 수 없다. 이 문제를 해결하기 위해서는 비디오와 같은 다중 모달리티 장면 인식을 통합한 대화 시스템이 필요하다. 기존의 비디오 기반 대화 시스템은 주로 시각, 이미지, 오디오 등의 다양한 자질을 합성하거나 사전 학습을 통해 이미지와 텍스트를 잘 정렬하는 데에만 집중하여 중요한 행동 단서와 소리 단서를 놓치고 있다는 한계가 존재한다. 본 논문은 이미지-텍스트 정렬의 사전학습 임베딩과 행동 단서, 소리 단서를 활용해 비디오 기반 대화 시스템을 개선한다. 제안한 모델은 텍스트와 이미지, 그리고 오디오 임베딩을 인코딩하고, 이를 바탕으로 관련 프레임과 행동 단서를 추출하여 발화를 생성하는 과정을 거친다. AVSD 데이터셋에서의 실험 결과, 제안한 모델이 기존의 모델보다 높은 성능을 보였으며, 대표적인 이미지-텍스트 자질들을 비디오 기반 대화시스템에서 비교 분석하였다.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2005.11a
• /
• pp.253-256
• /
• 2005

언어는 단순히 인간의 의사소통의 수단이 될 뿐만 아니라 사고, 추론, 판단 등의 지적활동의 도구로서 활용된다. 컴퓨터에서는 인간의 언어를 사용하여 인간과 유사한 지적활동을 실현하고 자 하는 연구로 일상언어 컴퓨팅(everyday language computing)이 있다. 본 논문에서는 일상언어 컴퓨팅을 실현하는 한 예로 교통정보 서비스를 위한 대화시스템을 제안한다. 제안하는 시스템은 시스테믹 기능문법(Systemic Functional Grammar: SFG)을 기반으로 사용자의 발화를 3개의 메타기능을 통하여 의미를 분석하고, 메타기능으로 표현된 의미로부터 시스템의 발화를 생성한다 기존 교통정보 서비스는 DB의 질의검색과 일률적인 정보제공이 일반적인 것에 비해, 제안하는 대화시스템은 대화의 의미 속에 포함된 사용자의 의도 및 의미를 분석함으로써 보다 적절한 정보를 제공하여 사용자의 서비스만족도를 향상 시키는 교통정보서비스를 가능하게 한다. 또한, 웹과 연동되는 VXML(Voice Extend Makeup Language)을 대화시스템에 적용함으로서 실용적인 인터페이스를 실행하였다.

• Annual Conference on Human and Language Technology
• /
• 2012.10a
• /
• pp.215-218
• /
• 2012

본 논문에서는 한국어 대화 처리를 위한 통계기반 음성언어이해 시스템에 대해 기술한다. 음성언어이해시스템은 대화처리에서 음성 인식된 문장으로부터 사용자의 의도를 인식하여 의미표현으로 표현하는 기능을 담당한다. 한국어의 특성을 반영한 실용적인 음성언어이해 시스템을 위해서 강건성과 적용성, 확장성 등이 요구된다. 이를 위해 본 시스템은 음성언어의 특성상 구조분석을 하지 않고, 마이닝 기법을 이용하여 사용자 의도 표현을 생성하는 방식을 취하고 있다. 또한 한국어에서 나타나는 특징들에 대한 처리를 위해 자질 추가 및 점규화 처리 등을 수행하였다. 정보서비스용 대화처리 시스템을 대상으로 개발되고 있고, 차량 정보서비스용 학습 코퍼스를 대상으로 실험을 하여 문장단위 정확률로 약 89%의 성능을 보이고 있다.

• The KIPS Transactions:PartB
• /
• v.11B no.1
• /
• pp.91-98
• /
• 2004

This paper proposes how to support various media on online conversational activity using XML(extensible Markup Language). The method converts media information into XML based messages and handles alike conventional text based messages. The XML based messages are unified to an XML document, and then a HTML document is generated using the XML and an XSLT documents in a server. A user in each client can play or present media through the hyperlink that is associated media information on the HTML document. The suggested method supports use of various media (text, image, audio, video, documents, etc) and efficient maintenance of font size, color, and style on messages according to extension and modification of XML tags. For application, this paper implemented the system to support media that has client and server architecture on online conversational activity. A user in each client inputs text or media based message using JAVA applet and servlet on the system, and conversational messages on every users' interfaces are automatically updated whenever a user inputs new message. Media on conversational messages are played or presented according to a user's click on hyperlink. Applications for the media presentation are as follows : distance learning, online game, collaboration, etc.

• 한국HCI학회:학술대회논문집
• /
• 2006.02b
• /
• pp.362-369
• /
• 2006

3 차원 그래픽스에 적용하는 한국어 립씽크 합성 체계를 연구하여, 말소리에 대응하는 자연스러운 립씽크를 자동적으로 생성하도록 하는 디자인 시스템을 연구 개발하였다. 페이셜애니메이션은 크게 나누어 감정 표현, 즉 표정의 애니메이션과 대화 시 입술 모양의 변화를 중심으로 하는 대화 애니메이션 부분으로 구분할 수 있다. 표정 애니메이션의 경우 약간의 문화적 차이를 제외한다면 거의 세계 공통의 보편적인 요소들로 이루어지는 반면 대화 애니메이션의 경우는 언어에 따른 차이를 고려해야 한다. 이와 같은 문제로 인해 영어권 및 일본어 권에서 제안되는 음성에 따른 립싱크 합성방법을 한국어에 그대로 적용하면 청각 정보와 시각 정보의 부조화로 인해 지각의 왜곡을 일으킬 수 있다. 본 연구에서는 이와 같은 문제점을 해결하기 위해 표기된 텍스트를 한국어 발음열로 변환, HMM 알고리듬을 이용한 입력 음성의 시분할, 한국어 음소에 따른 얼굴특징점의 3 차원 움직임을 정의하는 과정을 거쳐 텍스트와 음성를 통해 3 차원 대화 애니메이션을 생성하는 한국어 립싱크합성 시스템을 개발 실제 캐릭터 디자인과정에 적용하도록 하였다. 또한 본 연구는 즉시 적용이 가능한 3 차원 캐릭터 애니메이션뿐만 아니라 아바타를 활용한 동적 인터페이스의 요소기술로서 사용될 수 있는 선행연구이기도 하다. 즉 3 차원 그래픽스 기술을 활용하는 영상디자인 분야와 HCI 에 적용할 수 있는 양면적 특성을 지니고 있다. 휴먼 커뮤니케이션은 언어적 대화 커뮤니케이션과 시각적 표정 커뮤니케이션으로 이루어진다. 즉 페이셜애니메이션의 적용은 보다 인간적인 휴먼 커뮤니케이션의 양상을 지니고 있다. 결국 인간적인 상호작용성이 강조되고, 보다 편한 인간적 대화 방식의 휴먼 인터페이스로 그 미래적 양상이 변화할 것으로 예측되는 아바타를 활용한 인터페이스 디자인과 가상현실 분야에 보다 폭넓게 활용될 수 있다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.11 no.12
• /
• pp.2406-2412
• /
• 2007

Recently, there are many researches about natural language processing programs using artificial intelligence methods. But the researches mostly concentrate on Korean morphological analyses and there are few researches about application of the results of Korean morphological analyses. In this paper, we implemented a natural language conversation program that NPC in games can talk with users by natural language sentences using the results of morphological analyses and a rule-based inference method. We proposed representation and implementation methods of rules suitable for the processing of natural language conversation using NEO, a rule-based inference engine. In the experiment using rules and facts about knowledge of conversation for diet counselor NPC, we could verify that natural conversation results were produced.

• Journal of the Korea Computer Graphics Society
• /
• v.28 no.3
• /
• pp.23-29
• /
• 2022

Virtual humans are implemented with dedicated modeling tools like Unity 3D Engine in virtual space (virtual reality, mixed reality, metaverse, etc.). Various human modeling tools have been introduced to implement virtual human-like appearance, voice, expression, and behavior similar to real people, and virtual humans implemented via these tools can communicate with users to some extent. However, most of the virtual humans so far have stayed unimodal using only text or speech. As AI technologies advance, the outdated machine-centered dialogue system is now changing to a human-centered, natural multi-modal system. By using several pre-trained networks, we implemented an emotion-based multi-modal dialogue system, which generates human-like utterances and displays appropriate facial expressions in real-time.

• Journal of the Korean Operations Research and Management Science Society
• /
• v.14 no.2
• /
• pp.27-42
• /
• 1989

REA (Restricted Entity Aspect) model is a knowledge representation model to classify the aspect type, the EA model component, into five aspects (IS-A-aspect, A-PART-OF aspect, attribute aspect, role aspect, and operation aspect). EATPS, the knowledge representation system, consists of user interface module, knowledge creation module, instance management module, schema management module, and integrity checking module. EATPS creates and manages interactively REA model based knowledge base. This paper shows the structure and functions of EATPS, the design and interactive construction of the knowledge definition language EAKDL, the functions and algorithm of class creation module, and the functions and algorithm of instance creation module to include inheritance inference mechanism.

• Annual Conference on Human and Language Technology
• /
• 2017.10a
• /
• pp.125-129
• /
• 2017

채팅 시스템은 사람이 사용하는 자연어를 이용해 컴퓨터와 대화를 하는 시스템이다. 한국어 특성상 대화체에서 동일한 의미를 가졌지만 다른 형태를 가진 경우가 많다. 본 논문에서는 Attention mechanism Encoder-Decoder Model을 사용해 한국어 특성에 맞는 효과적인 생성 모델을 만들 수 있는 입력, 출력 단위를 제안한다. 실험에서 정성 평가와 ROUSE, BLEU 평가를 진행한 결과 형태소 단위의 입력 보다 본 논문에서 제안한 색인어 입력 단위의 성능이 높고, 의사 형태소 단위 출력 보다 음절 단위 출력을 사용한 시스템이 더 문법적 오류가 적고 적합한 응답을 생성하는 것을 보였다.

• 한국어정보학회:학술대회논문집
• /
• 2017.10a
• /
• pp.125-129
• /
• 2017

채팅 시스템은 사람이 사용하는 자연어를 이용해 컴퓨터와 대화를 하는 시스템이다. 한국어 특성상 대화체에서 동일한 의미를 가졌지만 다른 형태를 가진 경우가 많다. 본 논문에서는 Attention mechanism Encoder-Decoder Model을 사용해 한국어 특성에 맞는 효과적인 생성 모델을 만들 수 있는 입력, 출력 단위를 제안한다. 실험에서 정성 평가와 ROUSE, BLEU 평가를 진행한 결과 형태소 단위의 입력 보다 본 논문에서 제안한 색인어 입력 단위의 성능이 높고, 의사 형태소 단위 출력 보다 음절 단위 출력을 사용한 시스템이 더 문법적 오류가 적고 적합한 응답을 생성하는 것을 보였다.