• 한국콘텐츠학회논문지
• /
• 제18권8호
• /
• pp.92-101
• /
• 2018

대화형 AI 스피커가 보편화되면서 음성인식은 자율주행 상황에서의 중요한 차량-운전자 인터랙션 방식으로 인식되고 있다. 이 연구의 목적은 반자율주행 상황에서 음성뿐만 아니라 AI 캐릭터의 시각적 피드백을 함께 전달하는 멀티모달 인터랙션이 음성 단일 모드 인터랙션보다 사용자 경험 최적화에 효과적인지를 확인하는 것이다. 실험 참가자에게 주행 중 AI 스피커와 캐릭터를 통해 음악 선곡과 조정을 위한 인터랙션 태스크를 수행하게 하고, 정보 및 시스템 품질, 실재감, 지각된 유용성과 용이성, 그리고 지속 사용 의도를 측정하였다. 평균차이 분석 결과, 대부분의 사용자 경험 요인에서 시각적 캐릭터의 멀티모달 효과는 나타나지 않았으며, 지속사용 의도에서도 효과는 나타나지 않았다. 오히려, 정보품질 요인에서 음성 단일 모드가 멀티모달보다 효과적인 것으로 나타났다. 운전자의 인지적 노력이 필요한 반자율주행 단계에서는 멀티모달 인터랙션이 단일 모드 인터랙션에 비해 사용자 경험 최적화에 효과적이지 않았다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.1011-1018
• /
• 2006

멀티모달 인터페이스는 인간의 제스처, 시선, 손의 움직임, 행동의 패턴, 음성, 물리적인 위치 등 인간의 자연스러운 행동들에 대한 정보를 해석하고 부호화하는 인지기반 기술이다. 본 논문에서는 제스처와 음성, 터치를 이용한 3D 오브젝트 기반의 멀티모달 인터페이스를 설계, 구현한다. 서비스 도메인은 스마트 홈이며 사용자는 3D 오브젝트 직접조작을 통해 원격으로 가정의 오브젝트들을 모니터링하고 제어할 수 있다. 멀티모달 인터랙션 입출력 과정에서는 여러 개의 모달리티를 병렬적으로 인지하고 처리해야 하기 때문에 입출력 과정에서 각 모달리티의 조합과 부호화 방법, 입출력 형식 등이 문제시된다. 본 연구에서는 모달리티들의 특징과 인간의 인지구조 분석을 바탕으로 제스처, 음성, 터치 모달리티 간의 입력조합방식을 제시하고 멀티모달을 이용한 효율적인 3D Object 인터랙션 프로토타입을 설계한다.

• 디자인학연구
• /
• 제18권2호
• /
• pp.273-282
• /
• 2005

본 연구는 유비쿼터스 컴퓨팅 환경구축에 활용하기 위한 상황인지 모델과 이를 활용한 멀티모달 인터랙션 디자인 프레임웍을 제안하였다. 먼저 상황인지 모델개발을 위해 사용자의 인터랙션 상황을 파악하는 방법과 수집된 상황의 의미를 추론하여 사용자 요구에 맞는 멀티모달 인터랙션 서비스를 제공하는 방법을 연구하였다. 또한 상황인지 모델(Context cube)을 활용한 멀티모달 인터랙션 디자인 프레임웍을 제안하였으며, 이 프레임웍의 활용성을 검증하는 사례연구를 수행하고, 개인화된 유비쿼터스 서비스 도출 및 이 서비스의 산업화 가능성을 제시하였다. 상황인지는 사용자의 기본 행위(Basic Activity), 공간에서의 사용자 위치 및 공간내의 기기 및 환경 요소, 시간 요소와 사용자의 일상적인 스케줄 정보 요소에 의해 파악할 수 있으며, 이러한 요소들을 종합하여 공간적인 개념의 상황인지 모델(Context Cube)을 개발함으로써, 구체적인 공간 모델 내에서의 다양하고 개인화 된 유비쿼터스 서비스의 제안이 가능하였다. 또한, 실제적인 사용자 시나리오에 의한 사례연구를 통해 개념 모델을 구축하는 과정 및 각 과정에서 요구되는 정보의 유형을 검증하고, 상황인지 모델에서의 구성요소의 내용과 배열 등을 정의함으로써 개념모델의 완성도를 높였으며, 상황인지 모델에서 표현되는 사용자의 인터랙션 특징을 바탕으로 멀티모달 인터랙션 디자인의 접근방법을 개발함으로서 이를 디자인 프레임웍으로 구체화할 수 있었다.

• 감성과학
• /
• 제14권4호
• /
• pp.627-636
• /
• 2011

본 연구는 단순 입력 기반 유니모달 인터랙션의 한계를 극복하고 단순 입력 방식이 아닌 멀티모달 기반 사용자의 행위, 의도, 및 집중도를 활용하여 실감적이고 몰입도를 향상시키는 인터랙션 시스템을 제안하는데 그 목적이 있다. 본 연구의 선행연구에서 기존 문헌연구를 토대로 메타분석방법을 활용하여 인터랙션을 위한 3차원 동작 인식 기술의 정확도를 분석하여 최종적인 센서 기반 인터랙션 방법이 선정되었고, 직관적 제스쳐 인터랙션 요소를 추출하여 본 시스템에 반영하였다. 또한 생리반응을 이용한 집중력 판단 기술을 개발하여 사용자 의도를 판단하는 연구를 진행하였다. 본 연구에서 제안하는 시스템은 3부분으로 나눌 수 있다. 선행연구에서 선정된 인터랙션 요소들을 적용하여 가속도(Accelator) 센서와 연성(Flexible) 센서를 활용하여 손 동작을 인식하는 시스템을 구현하였고, 동공 인터랙션을 통한 안경형 시선 추적기를 구현하여 인터랙션이 가능하게 하였으며, 심혈관 반응과 피부 온열 반응을 측정하여 사용자의 의도를 반영한 시스템을 최종 구현하였다. 실감형 디지털 엔터테인먼트 플랫폼 기술 개발을 위한 기초 연구로서 활용이 가능할 것으로 판단된다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.619-625
• /
• 2006

핸드헬드 가상현실 시스템이란 멀티모달 센서와 멀티모달 디스플레이 장치가 내장되어 가상환경을 제공하는 한 손으로 들고 다닐 수 있는 핸드헬드 시스템을 의미한다. 이런 핸드헬드 가상현실 시스템에서는 일반적으로 제한된 입력수단 (예> 버튼, 터치스크린)을 제공하기 때문에 이를 사용해서 3 차원 인터랙션을 행하기가 쉽지 않다. 그래서 본 연구에서는 일반 핸드헬드 기기에 대부분 내장되어 있는 장치인 카메라를 사용해서 핸드헬드 가상환경에서 3 차원 인터랙션을 수행하는 방법을 제안하고 구현, 평가한다.

• 전자공학회지
• /
• 제34권6호
• /
• pp.83-92
• /
• 2007

• 한국감성과학회:학술대회논문집
• /
• 한국감성과학회 2009년도 추계학술대회
• /
• pp.87-90
• /
• 2009

본 연구는 HMD(Head Mounted Display), 적외선 카메라, 웹 카메라, 데이터 글러브, 그리고 생리신호 측정 센서를 이용한 증강현실 게임 플랫폼 설계를 목적으로 하고 있다. HMD 는 사용자의 머리의 움직임을 파악하고, 사용자에게 가상 물체를 디스플레이화면에 제공한다. 적외선 카메라는 HMD 하단에 부착하여 사용자의 시선을 추적한다. 웹 카메라는 HMD 상단에 부착하여 전방 영상을 취득 후, 현실영상을 HMD 디스플레이를 통하여 사용자에게 제공한다. 데이터 글러브는 사용자의 손동작을 파악한다. 자율신경계반응은 GSR(Galvanic Skin Response), PPG(PhotoPlethysmoGraphy), 그리고 SKT(SKin Temperature) 센서로 측정한다. 측정된 피부전기반응, 맥파, 그리고 피부온도는 실시간 데이터분석을 통하여 집중 정도를 파악하게 된다. 사용자의 머리 움직임, 시선, 그리고 손동작은 직관적 인터랙션에 사용되고, 집중 정도는 직관적 인터랙션과 결합하여 사용자의 의도파악에 사용된다. 따라서, 본 연구는 멀티모달 인터랙션을 이용하여 직관적 인터랙션 구현과 집중력 분석을 통하여 사용자의 의도를 파악할 수 있는 새로운 증강현실 게임 플랫폼을 설계하였다.

• 한국실천공학교육학회논문지
• /
• 제5권1호
• /
• pp.40-44
• /
• 2013

본 연구에서는 학습자가 가상공간 내에서 교육 컨텐츠를 자연스럽게 조작할 수 있는 멀티모달 인터페이스 제어모듈을 제시한다. 제안하는 모듈은 사용자가 가상공간과 인터랙션을 할 때 사용자의 모션을 인식하고 인식된 정보를 무선통신을 통하여 가상공간으로 전달한다. 제안하는 입력장치는 햅틱 액츄에이터를 탑재하고 있어 교육 컨텐츠와 사용자의 인터랙션에 따른 햅틱 감각을 생성하여 사용자가 교육용 컨텐츠들을 쉽게 조작할 수 있게 해 준다.

• 한국융합학회논문지
• /
• 제11권11호
• /
• pp.175-182
• /
• 2020

본 연구에서는 회화 감상에 도움이 되는 사운드스케이프를 구성하기 위해 딥러닝 기술을 활용하여 클래식 음악을 매칭하는 기술을 소개하고 회화와 음악 매칭이 얼마나 잘 되었는지에 대해 평가할 수 있는 평가 지표를 제안한다. 평가 지표는 리커드 5점 척도를 통한 적합도 평가와 멀티모달 측면의 평가로 진행하였다. 회화와 음악 매칭에 대해 13명의 실험 참가자의 적합도 평가의 점수는 3.74/5.0 이었고, 또한 13명의 실험 참가자의 멀티모달 평가에서 회화와 음악 매칭의 코사인 유사도의 평균은 0.79였다. 멀티모달적 평가는 새로운 사용자 경험을 측정할 수 있는 평가 지표가 될 것으로 기대된다. 또한 본 연구를 통해 시각과 청각의 인터랙션을 제안함으로써 다중감각 예술작품 경험을 향상시키고자 하였다. 본 연구에서 제안된 회화와 음악 매칭이 다중감각 예술작품 전시에서 활용되며 더 나아가 이는 시각 장애인들의 예술작품 감상에 대한 접근성을 높일 수 있을 것이라 기대한다.

• 한국콘텐츠학회논문지
• /
• 제18권10호
• /
• pp.11-19
• /
• 2018

본 연구는 가상현실 기술을 이용하여 박물관 내에 멀티모달 경험을 만들 수 있는 스토리텔링에 대한 연구이다. 구체적으로 본 연구는 박물관에서 다양한 관람객들이 직관적인 역사 이야기를 체험하기 위해 필요한 가상현실 기술 기반의 멀티모달 스토리텔링 방식을 논하고자 한다. 이에 따라 현재 박물관을 소재로 하거나 대상으로 만들어진 관련 사례를 분석하여 향후 이용될 수 있는 방식을 조사하였다. 연구방법으로 멀티모달 경험을 만들기 위한 컨셉에 대한 이론적 고찰, 그리고 역사 자료를 가상현실 유관 기술을 통해 시각화한 자료들을 문헌조사하였다. 이를 바탕으로 멀티모달 기반의 스토리텔링에서 필요한 요소들을 파악하고 이를 통해 관련 사례들을 분석하였다. 연구의 결과에서 본 연구는 박물관 내에서 관람객을 위한 역사 주제의 가상현실 기반 멀티모달 환경의 구성요소에 대해 제안하였다. 궁극적으로 본 연구는 역사적 자료가 오디오-비주얼 및 인터랙션 모드와 결합하여 다양한 계층의 관람객 대상의 콘텐츠를 제작하기 위해서 필요한 가상현실 스토리텔링 설계의 구성요소를 제안하는 기초 연구가 되고자 한다.