• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.548-553
• /
• 2021

비디오 질의 응답은 입력으로 주어진 비디오와 질문에 적절할 정답을 제공하기 위해 텍스트, 이미지 등 다양한 정보처리가 요구되는 대표적인 multi-modal 문제이다. 질의 응답 시스템은 질의 응답의 성능을 높이기 위해 다수의 서로 다른 응답 모듈을 사용하기도 하며 생성된 정답 후보군 중 가장 적절할 정답을 선택하는 정답 선택 모듈이 필요하다. 정답 선택 모듈은 응답 모듈의 서로 다른 관점을 고려하여 응답 선택을 선택할 필요성이 있다. 하지만 응답 모듈이 black-box 모델인 경우 정답 선택 모듈은 응답 모듈의 parameter와 예측 분포를 통해 지식을 전달 받기 어렵다. 그리고 학습 데이터셋은 응답 모듈이 학습에 사용했기 때문에 과적합 문제로 각 모듈의 관점을 학습하기엔 어려우며 학습 데이터셋 이외 비교적 적은 데이터셋으로 학습해야 하는 문제점이 있다. 본 논문에서는 정답 선택 성능을 높이기 위해 전이 학습 기반의 멀티모달 퓨전 정답 선택 모델을 제안한다. DramaQA 데이터셋을 통해 성능을 측정하여 제안된 모델의 우수성을 실험적으로 증명하였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.501-506
• /
• 2020

질의 난이도 분석 문제는 자연어 질의문을 답변할 때 어려움의 정도를 측정하는 문제이다. 질의 난이도 분석 문제는 문서 독해, 의학 시험, 비디오 질의 등과 같은 다양한 데이터셋에서 연구되어 왔다. 본 논문에서는 질의문과 질의문에 응답하기 위한 정보들 간의 관계를 파악하는 것으로 질의 난이도 분석 문제를 접근하여 이를 BERT와 Dual Multi-head Attention을 사용하여 모델링 하였다. 본 논문에서 제안하는 모델의 우수성을 증명하기 위하여 최근 자연언어이해 부분에서 높은 성능을 보여주는 기 학습 언어 모델과 이전 연구의 질의 난이도 분석 모델과의 성능을 비교하였고, 제안 모델은 대표적인 비디오 질의 응답 데이터셋인 DramaQA의 Memory Complexity에서 99.76%, Logical Complexity에서는 89.47%의 정확도로 가장 높은 질의 난이도 분석 성능을 보여주었다.

• Annual Conference on Human and Language Technology
• /
• 2001.10d
• /
• pp.530-537
• /
• 2001

본 논문은 자연어 인터페이스에 기반한 관계형 데이터베이스 상에서의 질의 응답 시스템에 대해 기술한다. 본 시스템은 다국어, 다중 도메인, 다중 DBMS를 지원하는 시스템으로, 주로 오디오와 비디오 관련 제품들에 대한 정보를 다룬다. Lexico-semantic pattern (LSP) 문법을 관계형 데이터베이스 상에서의 질의 응답 시스템에 최초로 도입하여 기존의 시스템들에 비해 높은 성능을 보이며, linguistic front-end (LFE)와 database back-end (DBE)를 명확히 구분하고 각종 리소스들을 엔진과 분리함으로써 높은 이식성을 가지도록 한다.

• Proceedings of the Korea Institute of Convergence Signal Processing
• /
• 2003.06a
• /
• pp.137-140
• /
• 2003

본 연구는 치매노인환자의 생활의 질을 향상시키기 위한 대화시스템의 개발에 목표를 둔다. 제안된 시스템은 주로 세 가지 모듈, 즉, 음성인식, 시간테이블에 의해 구분된 대화 데이터베이스의 자동검색, 그리고 간호사의 녹음음성에 의한 응답 등으로 구성되어 있다. 우선 치매환자가 요양시설에서 자주 발화하는 대화의 내용을 조사하고, 그들의 발화 음성을 인식하고 적절히 응답하도록 구성하였다. 시스템의 평가를 위해서 시스템이 도입되었을 때와 도입되지 않았을 때를 비교, 조사하였다. 시스템이 도입되지 않았을 때는 간호사가 자유로이 케어서비스를 행할 수 있도록 하였다. 비디오 촬영을 통해서 대상자의 행동 및 반응을 조사한 결과, 치매환자의 요구를 충족시키는데 있어서 대화 시스템이 간호사들보다 더 응답적이었다는 것을 알 수 있었다. 게다가, 제안된 시스템은 상호 대화에 있어서 환자가 더 많이 말하도록 유도함을 알 수 있었다.

• Journal of Biomedical Engineering Research
• /
• v.23 no.6
• /
• pp.459-465
• /
• 2002

The goat of the present research is to improve the quality of life of both the elderly patients with dementia and their caregivers. For this Purpose, we developed a communication aid system that is consisted of three modules such as speech recognition engine, graphical agent. and database classified by a nursing schedule. The system was evaluated in an actual environment of nursing facility by introducing the system to an older mail patient with dementia. The comparison study was then carried out with and without system, respectively. The occupational therapists then evaluated subject"s reaction to the system by photographing his behaviors. The evaluation results revealed that the proposed system was more responsive in catering to needs of subject than professional caregivers. Moreover we could see that the frequency of causing the utterances of subject increased by introducing the system.

• Journal of Digital Convergence
• /
• v.14 no.8
• /
• pp.19-36
• /
• 2016

The purpose of this study was to analyze domestic and overseas cases of flipped learning instructional design model and actual classes in K-12 Education, and find out educational implications in order to design effective flipped learning. Papers, 14 articles in domestic and international journals, were collected. As results of the analysis, first, flipped learning instructional model was presented as flipped learning that applied to ADDIE model and 8C model etc. Second, 'Activities before classroom' consisted of watching lecture videos, lecture notes etc. 'Activities during classroom' was checking prior learning in early stage, individual activities and cooperative activities in middle stage, and solving quizzes, reviewing in later stage. After class, students performed tasks and questions&answers. Third, in case of creating lecture video, they used application such as Screencast-o-matic, Explain Everything; In contrast, some cases utilized online web-sites such as YouTube or Phet. Fourth, positive results were shown in learners' academic achievement, motivation and learning attitude etc. This research has a significance in terms of analyzing the flipped learning instructional model and flipped learning activities, and providing the preliminary data to facilitate the design for the effective flipped learning.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.6 no.6
• /
• pp.923-930
• /
• 2002

This study aims at developing dialog system to improve the quality of life of the elderly with a dementia. The proposed system mainly consists of three modules including speech recognition, automatic search of the time-sorted dialog database, and agreeable responses with the recorded voices of caregivers. For the first step, the dialog that dementia patients often utter at a nursing home is first investigated. Next, the system is organized to recognize the utterances in order to meet their requests or demands. The system is then responded with recorded voices of professional caregivers. For evaluation of the system, the comparison study was carried out when the system was introduced or not, respectively. The occupational therapists then evaluated a male subjects reaction to the system by photographing his behaviors. The evaluation results showed that the dialog system was more responsive in catering to the needs of dementia patient than professional caregivers. Moreover, the proposed system led the patient to talk more than caregivers did in mutual communication.