• Proceedings of the Korean Information Science Society Conference
• /
• 2005.11a
• /
• pp.574-576
• /
• 2005

정보통신 기기의 발전하면서 소형화, 경량화와 함께 이동성을 갖춘 다양한 차세대 PC 기기들이 나타나고 있다. 기존의 마우스나 키보드를 통한 인터페이스뿐만 아니라 음성, 펜, 제스처 등을 이용한 멀티모달 인터페이스에 대한 요구가 증대되면서 이에 대한 연구가 활발히 이루어지고 있다. 또한 최근의 음성 처리 기술이 발전하고 단말기의 성능이 개선되면서 음성을 이용한 인터페이스에 대한 연구가 활발히 이루어지고 있다. 본 논문에서는 브라우저에서 음성 지원을 위해 제안된 SALT를 기반으로 하여 사용자와 음성 인터페이스가 가능한 음성 브라우저를 설계하고 구현한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2006.11a
• /
• pp.265-268
• /
• 2006

유비쿼터스 컴퓨팅 환경이 확대됨에 따라, 기존의 키보드와 마우스만을 사용자 인터페이스로 주로 사용했던 방법에서 벗어나 좀 더 사용자 중심의 멀티모달 유저 인터페이스 적응이 요구되고 있다. 이에 XHTML+Voice는 음성 및 시각을 모두 제공할 수 있는 새로운 서비스 패러다임으로서 기존의 음성정보만을 제공하거나 시각적인 정보만을 제공하는 시스템과는 달리 XHTML내에 VoiceXML을 삽입함으로써 두 언어의 장점을 모두 활용할 수 있다. 본 논문에서는 VoiceXML의 이러한 장점을 살려 스마트 홈을 구성하는 여러 가전기기들의 인터페이스를 미리 템플릿으로 만들어 두어 모바일 디바이스를 통해 이것들을 제어하는 시나리오를 제안하고 구현하는 방법에 대해 실험하였다.

• Proceedings of the Korea Institute of Convergence Signal Processing
• /
• 2006.06a
• /
• pp.57-62
• /
• 2006

휴대용 단말기의 소형화 및 지능화와 더불어 차세대 PC 기반의 유비쿼터스 컴퓨팅에 대한 관심이 높아짐에 따라 최근에는 펜이나 음성 입력 멀티미디어 등 여러 가지 대화 모드를 구비한 멀티 모달 상호작용 (Multi-Modal Interaction MMI)에 대한 연구가 활발히 진행되고 있다. 따라서, 본 논문에서는 잡음 환경에서의 명확한 의사 전달 및 휴대용 단말기에서의 음성-제스처 통합 인식을 위한 인터페이스의 연구를 목적으로 Voice-XML과 Wearable Personal Station(WPS) 기반의 음성 및 내장형 수화 인식기를 통합한 멀티 모달 명령어 인식 시스템 (Multi-Modal Instruction Recognition System : MMIRS)을 제안하고 구현한다. 제안되어진 MMIRS는 한국 표준 수화 (The Korean Standard Sign Language : KSSL)에 상응하는 문장 및 단어 단위의 명령어 인식 모델에 대하여 음성뿐만 아니라 화자의 수화제스처 명령어를 함께 인식하고 사용함에 따라 잡음 환경에서도 규정된 명령어 모델에 대한 인식 성능의 향상을 기대할 수 있다. MMIRS의 인식 성능을 평가하기 위하여, 15인의 피험자가 62개의 문장형 인식 모델과 104개의 단어인식 모델에 대하여 음성과 수화 제스처를 연속적으로 표현하고, 이를 인식함에 있어 개별 명령어 인식기 및 MMIRS의 평균 인식율을 비교하고 분석하였으며 MMIRS는 문장형 명령어 인식모델에 대하여 잡음환경에서는 93.45%, 비잡음환경에서는 95.26%의 평균 인식율을 나타내었다.

• Journal of the Korea Society of Computer and Information
• /
• v.25 no.6
• /
• pp.109-117
• /
• 2020

An edutainment system aims to help learners to recognize problems effectively, grasp and classify important information needed to solve the problems and convey the contents of what they have learned. Edutainment contents can be usefully applied to education and training in the both scientific and industrial areas. Our present work proposes an edutainment system that can be applied to a drug discovery process including virtual screening by using intuitive multi-modal interfaces. In this system, a stereoscopic monitor is used to make three-dimensional (3D) macro-molecular images, with supporting multi-modal interfaces to manipulate 3D models of molecular structures effectively. In this paper, our system can easily solve a docking simulation function, which is one of important virtual drug screening methods, by applying gaming factors. The level-up concept is implemented to realize a bio-game approach, in which the gaming factor depends on number of objects and users. The quality of the proposed system is evaluated with performance comparison in terms of a finishing time of a drug docking process to screen new inhibitors against target proteins of human immunodeficiency virus (HIV) in an e-drug discovery process.

• Proceedings of the Korea Institute of Convergence Signal Processing
• /
• 2000.08a
• /
• pp.229-232
• /
• 2000

문자인식은 멀티 모달 인터페이스의 핵심요소로서 이동 환경에서 사용자의 다양한 요구사항을 처리하는 지능형 단말기의 구현을 위해 필수적으로 개발되어야 할 과제이다. 그러나 대부분의 기존 연구는 인식률의 향상만을 위해서 복잡한 획 해석과 백트래킹을 사용하기 때문에 멀티미디어 단말기에 적합하지 못하다. 따라서 본 논문은 멀티미디어 단말기로의 적용을 목적으로 한 새로운 온라인 한글 문자 인식 방법을 제안한다. 제안된 방법은 한글 문자의 특성정보와 획 정보를 기반으로 구축된 한글 데이터 베이스를 사용한다. 또한 획간의 위치관계를 이용한 순차적 자소 분리와 향상된 백트래킹 기법에 의해서 보다 빠른 처리 시간을 보장한다. 제안된 시스템의 성능 평가는 상용 1,200 단어를 이용하여 다수의 필기자가 필기한 한글 600문자를 대상으로 실험한 결과 95% 이상의 인식률을 얻었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.05a
• /
• pp.735-738
• /
• 2007

컴퓨팅 기술의 발전에 따라 유비쿼터스 시대로의 이행이 가속화되고 있다. 이에 따라 홈 네트워크 분야에 대한 연구와 상용화를 위한 노력이 활발해지고 있다. 이와 더불어 가전기기들의 종류는 다양해지고 복잡해지면서 사용자들의 가전기기 이용에 있어 사용법을 익혀야하는 어려움이 있다. 이러한 문제점을 해결하기 위한 일환으로 디지털 장치들을 편하게 사용하기 위한 멀티 모달 사용자 인터페이스가 요구되고 있다. 본 논문에서 네트워크 가전기기 제어가 가능한 홈 네트워크 미들웨어인 UPnP를 사용하여 VoiceXML을 통한 음성인식기반 사용자 인터페이스와 디지털 장치 제어 시스템을 제안하고 구현한 후 실험하였다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.253-257
• /
• 2023

최근 다양한 대화 시스템이 스마트폰 어시스턴트, 자동 차 내비게이션, 음성 제어 스피커, 인간 중심 로봇 등의 실세계 인간-기계 인터페이스에 적용되고 있다. 하지만 대부분의 대화 시스템은 텍스트 기반으로 작동해 다중 모달리티 입력을 처리할 수 없다. 이 문제를 해결하기 위해서는 비디오와 같은 다중 모달리티 장면 인식을 통합한 대화 시스템이 필요하다. 기존의 비디오 기반 대화 시스템은 주로 시각, 이미지, 오디오 등의 다양한 자질을 합성하거나 사전 학습을 통해 이미지와 텍스트를 잘 정렬하는 데에만 집중하여 중요한 행동 단서와 소리 단서를 놓치고 있다는 한계가 존재한다. 본 논문은 이미지-텍스트 정렬의 사전학습 임베딩과 행동 단서, 소리 단서를 활용해 비디오 기반 대화 시스템을 개선한다. 제안한 모델은 텍스트와 이미지, 그리고 오디오 임베딩을 인코딩하고, 이를 바탕으로 관련 프레임과 행동 단서를 추출하여 발화를 생성하는 과정을 거친다. AVSD 데이터셋에서의 실험 결과, 제안한 모델이 기존의 모델보다 높은 성능을 보였으며, 대표적인 이미지-텍스트 자질들을 비디오 기반 대화시스템에서 비교 분석하였다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2003.11a
• /
• pp.310-313
• /
• 2003

최근 들어 립리딩은 멀티모달 인터페이스 기술의 응용분야에서 많은 관심을 모으고 있다. 동적영상을 이용한 립리딩 시스템에서 해결해야 할 주된 문제점은 상황 변화에 독립적으로 얼굴 영역과 입술 영역을 추출하고 오프라인이 아닌 실시간으로 입력된 입술 영상의 인식을 처리하여 립리딩의 사용도를 높이는 것이다. 본 논문에서는 사용자가 쉽게 사용할 수 있는 PC카메라를 사용하여 영상을 입력받아 학습과 인식을 실시간으로 처리하는 립리딩 시스템을 구현하였다. 본 논문에서는 움직임이 있는 화자의 얼굴영역과 입술영역을 컬러, 조명등의 변화에 독립적으로 추출하기 위해 HSI모델을 이용하였다. 입력 영상에서 일정한 크기의 영역에 대한 색도 히스토그램 모델을 만들어 색도 영상에 적용함으로써 얼굴영역의 확률 분포를 구하였고, Mean-Shift Algorithm을 이용하여 얼굴영역의 검출과 추적을 하였다. 특징 점 추출에는 이미지 기반 방법인 PCA 기법을 이용하였고, HMM 기반 패턴 인식을 사용하여 실시간으로 실험영상데이터에 대한 학습과 인식을 수행할 수 있었다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2003.05b
• /
• pp.524-527
• /
• 2003

최근 들어 립리딩은 멀티모달 인터페이스 기술의 응용분야에서 많은 관심을 모으고 있다. 동적 영상을 이용한 립리딩 시스템에서 해결해야 할 주된 문제점은 상황 변화에 독립적인 얼굴 영역과 입술 영역을 추출하는 것이다. 본 논문에서는 움직임이 있는 영상에서 화자의 얼굴영역과 입술영역을 컬러, 조명등의 변화에 독립적으로 추출하기 위해 HSI 모델과 블록 매칭을 이용하였고 특징 점 추출에는 이미지 기반 방법인 PCA 기법을 이용하였다. 추출된 입술 파라미터와 음성 데이터에 각각 HMM 기반 패턴 인식 방법을 개별적으로 적용하여 단어를 인식하였고 각각의 인식 결과를 가중치를 주어 합병하였다. 실험 결과에 의하면 잡음으로 음성 인식률이 낮아지는 경우에 음성인식과 립리딩을 함께 사용함으로써 전체적인 인식 결과를 향상시킬 수 있었다.

• Proceedings of the Korea Contents Association Conference
• /
• 2009.05a
• /
• pp.59-65
• /
• 2009

An Edutainment Contents help the learners to recognize the problems effectively, grasp and classify important information needed to solve the problems and convey the contents of what they have learned. Owing not only to this game-like fun but also to the educational effect, The Edutainment contents can be usefully applied to education and training in the areas of scientific technology and industrial technology. This study proposes the Edutainment that users can apply to biotechnology by using intuitive multi-modal interfaces. In this study, a stereoscopic monitor is used to make three dimensional molecular structures, and multi-modal interface is used to efficiently control. Based on the system, this study easily solved the docking simulation function, which is one of the important experiments, by applying these game factors. For this, we suggested the level-up concept as a game factor that depends on numbers of objects and users.