• Science of Emotion and Sensibility
• /
• v.23 no.1
• /
• pp.41-56
• /
• 2020

This study suggests multisensory interaction techniques to help visually impaired people appreciate and understand artworks through non-visual senses such as tactile, auditory, and olfactory senses. A user study was conducted on the basis of a qualitative interview about the experience of appreciating artwork through the multisensory interaction system to visually impaired people so as to verify the development of the interaction techniques. The user test shows that the multisensory interactions in artwork generally not only help them appreciate and understand it but also give them satisfaction through artwork appreciation. However, it also indicates that some multisensory interactions caused the visually impaired people confusion and could not be perceived during the appreciation. On the basis of these outcomes, implications in this study are as follows. This study has contributed to providing specific development guidelines and indicators of non-visual multisensory interactions as a technical alternative to improve accessibility to cultural and artistic activities for the visually impaired. Furthermore, this study is expected to contribute to building a technical background, which can provide comprehensive sensory experiences with not only blind people but also non-blind people such as children and the elderly through universal interaction techniques beyond existing visual-oriented fragmentary experience.

• Journal of Digital Convergence
• /
• v.20 no.4
• /
• pp.575-584
• /
• 2022

The purpose of this study is to derive interaction types that appear variously in immersive contents through John Dewey's empirical theory, and to explore how the derived types are delivered in real cases. For this reason, two cases of the National Museum of Korea 'Immersive Digital Gallery' and 'Arte Museum Jeju' were analyzed through interaction types derived from the empirical theory. The interaction types derived based on the experience theory are the elements of 'multi-sensory', 'simultaneous experience' and 'sensory expansion'. In both cases, these types appear connected rather than grafted one by one in common. In one direction, 'multi-sensory' leads to 'sensory expansion', and in two directions, 'simultaneous experience' leads to 'sensory expansion'. As such, the core types of communication between technology and humans are not delivered one by one, but a cycle of interaction is formed in multiple ways. Therefore, it can be seen that the interaction type of immersive contents is expanded step by step by fusion of various senses and experiences in various fields, rather than a 1:1 partial delivery method. Based on this, it will be necessary to study how types are expanded and how viewers are affected when interaction is implemented in immersive contents in the future.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.500-506
• /
• 2007

얼굴에 대한 시각적 인지는 오랫동안 인간에게 중요한 문제로 인식되어 왔다. 수 세기 동안 이루어져 왔던 미용 화장과 성형, 치아 교정 등의 다양한 연구는 사람의 얼굴을 감성적 측면에서 어떻게 하면 아름답게 만들 수 있는 가에 초점을 두었다. 본 논문에서는 휴먼 입출력 인터페이스로서 햅틱 장치와 스테레오 디스플레이를 혼합한 다중 감각 인터랙션 기반의 감성적인 3차원 얼굴 메이크업 시뮬레이션 프레임워크를 개발한다. 본 연구는 3차원 스캐너 장비로부터 사용자의 얼굴 모델을 추출하고, 그 데이터를 이용하여 자연스럽고 직관적인 얼굴 메이크업 시뮬레이션을 수행하는 것을 목표로 하고 있다. 이를 위하여 본 연구에서는 surface elements 표현 기반의 3차원 얼굴 필터링 방법과 얼굴 메이크업을 지원하는 페인팅 방법을 개발한다. 우선 사용자의 얼굴 모델을 3차원 스캐너로 획득한 후, 전처리 얼굴 필터링을 수행하여 조명, 그리고 사용자 얼굴 피부 상태에 기인하는 에러 및 속성들을 보정하고 피부 톤을 사용자가 선호하는 색으로 변경한다. 최종적으로 사용자는 햅틱 및 스테레오 디스플레이 장치를 이용하여 두 개의 레이어로 구성된 페인팅 표면 모델에 메이크업을 수행한다. 본 연구에서 적용한 surface elements 표현 기반의 그래픽 렌더링은 일반적인 메쉬 기반 페인팅의 문제점인 텍스쳐 왜곡 현상을 완화하고, 3차원 스캐너 장치에 기인하는 표면 에러를 보정한다. 그리고 전처리 얼굴 필터링과 메이크업 페인팅 방법은 사용자 중심의 감성적인 3차원 얼굴을 재구성하도록 한다. 결과적으로 본 연구에서 개발한 이러한 기술들이 다중 감각 인터페이스 기반의 메이크업 시뮬레이터의 기본 프레임워크가 되어, 차후 메이크업이나 코디네이션 분야 등의 디지털 콘텐츠 산업에서 활용될 수 있음을 확인하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.10a
• /
• pp.139-142
• /
• 2006

본 논문에서는 햅틱 피드백과 스테레오 비쥬얼 큐를 혼합한 다중 감각 기반의 지능형 3차원 형상 분석 방법을 소개한다. 지능형 형상 분석 방법은 3차원 모델의 구조에 대한 보다 상세한 정보를 제공한다. 특히 의료 분야에 사용될 경우 전문가의 개입을 최소화하여 질병 진단 및 치료 등에 사용될 수 있다. 본 연구에서는, MRI나 CT 영상으로부터 생성된 3차원 매개변수형 모델을 이용하여 유사 모델 집단을 대표하는 통계 형상을 구축한 후, SVM (Support Vector Machine) 학습 알고리즘을 이용하여 두 집단간 형상 차이를 분석한다. 3차원 형상에 대한 신속한 시각적 이해와 직관적 조작감은 물체 표면의 형상 변화를 분석하는데 효과적으로 사용될 수 있다. 본 논문에서는 물체 조작 및 관찰 등의 작업을 수행할 때, 햅틱 피드백과 스테레오 비쥬얼 큐를 혼합한 인터랙션 기법을 사용하여 공간감과 깊이감을 향상시켜 형상 분석 결과를 효과적으로 분석한다. 본 연구에서는 해마, 관상 동맥, 뇌와 같은 인체 장기를 실험 데이터로 사용하여 제안한 SVM 기반의 분석 방법과 인터랙션 환경의 성능을 평가한다. 본 연구에서 구현한 SVM 기반 이진 분류기는 두 집단간 형상 차이를 효과적으로 분석하며, 또한 다중 감각 인터랙션은 사용자가 분석 결과를 관찰하고 카메라 및 형상을 효율적으로 조작하는 데 도움을 준다.

• Journal of the Korea Convergence Society
• /
• v.11 no.11
• /
• pp.175-182
• /
• 2020

In this study, we introduced the technique of matching classical music using deep learning to design soundscape that can help the viewer appreciate painting and proposed an evaluation index to evaluate how well matching painting and music. The evaluation index was conducted with suitability evaluation through the Likeard 5-point scale and evaluation in a multimodal aspect. The suitability evaluation score of the 13 test participants for the deep learning based best match between painting and music was 3.74/5.0 and band the average cosine similarity of the multimodal evaluation of 13 participants was 0.79. We expect multimodal evaluation to be an evaluation index that can measure a new user experience. In addition, this study aims to improve the experience of multisensory artworks by proposing the interaction between visual and auditory. The proposed matching of painting and music method can be used in multisensory artwork exhibition and furthermore it will increase the accessibility of visually impaired people to appreciate artworks.