• 제목/요약/키워드: Multimodal interaction

검색결과 59건 처리시간 0.022초

단기 집단 복합중재가 정상 노인의 인지기능 및 우울에 미치는 영향 (Effects of a Short-term Multimodal Group Intervention Program on Cognitive Function and Depression of the Elderly)

  • 정범진;최유진
    • 재활치료과학
    • /
    • 제8권3호
    • /
    • pp.57-68
    • /
    • 2019
  • 목적: 신체활동과 인지운동, 사회적 상호작용을 혼합한 단기 집단 복합중재가 75세 이상의 고령 정상 노인의 인지기능과 우울 수준에 미치는 영향을 알아보고자 하였다. 연구방법: 본 연구 설계는 단일 집단 사전-사후 설계(one group pretest-posttest design)로 중재는 회당 70분, 주 1회, 총 4회기 동안 실시하였다. 중재 전과 후의 인지기능과 우울 수준, 신체기능의 변화를 비교하기 위해서 치매 선별용 간이 정신상태검사(Mini-Mental State Examination-Dementia Screening; MMSE-DS)와 단축형 노인우울척도(Short Form for Geriatric Depression Scale; SGDS), 버그균형척도(Berg Balance Scale; BBS)를 사용하였다. 결과: 75세 이상의 고령 정상노인에게 집단 복합중재를 적용한 후 인지기능은 통계적으로 유의미한 향상이 있었고(p<.01), 우울 수준은 통계적으로 유의미한 감소가 있었다(p<.05). 균형수준도 중재 전$46.83{\pm}9.11$점에서 중재 후 $48.08{\pm}7.00$점으로 평가점수의 증가는 있었으나, 통계적으로 유의미하지는 않았다(p>.05). 결론: 신체활동과 인지운동, 사회적 상호작용을 혼합한 단기 집단 복합중재는 75세 이상의 고령 정상노인의 인지기능의 저하를 늦추고 우울수준을 감소시키는데 유의한 효과가 있었다. 본 연구는 정상노인들의 치매, 우울 예방을 위한 중재에 있어서 보다 체계적인 중재를 제공하기 위한 근거를 제시한다는 점에 의의가 있다. 향후 연구에서는 작업치료사에 의한 전문적인 치료에 대한 효과연구와 실험군-대조군 연구를 통해 효과입증이 이루어져야 할 것이다.

의미연결망 분석을 통한 디스플레이형 인공지능 스피커의 사용자 경험 요인 연구 : 아마존 에코의 온라인 리뷰 분석을 중심으로 (A Study on User Experience Factors of Display-Type Artificial Intelligence Speakers through Semantic Network Analysis : Focusing on Online Review Analysis of the Amazon Echo)

  • 이정명;김혜선;최준호
    • 문화기술의 융합
    • /
    • 제5권3호
    • /
    • pp.9-23
    • /
    • 2019
  • 인공지능 스피커 시장은 디스플레이 탑재라는 새로운 흐름 속에 놓여 있다. 이 연구는 디스플레이 유무에 따른 인공지능 스피커 사용 경험의 차이를 사용 맥락에 따라 분석하고자 한다. 이를 위해 아마존 에코 쇼(Echo Show)와 에코 플러스(Echo Plus)의 온라인 리뷰 텍스트가 어떠한 구조적 차이를 보이며 차별화된 UX 이슈들로 구성되어 있는지 의미연결망 분석을 통해 살펴보고자 한다. 사용자 경험의 물리적 맥락과 사회적 맥락에 따른 에고 네트워크 분석을 실시하여 주요 이슈를 도출하였다. 분석 결과 디스플레이 탑재에 따라 사용자의 기대격차가 발생하고 이로 인해 부정적 경험이 유도되는 것으로 나타났다. 또한, 멀티모달 인터페이스는 침실보다 부엌에서 활용도가 높으며, 가족 구성원 간의 커뮤니케이션 활성화에 기여할 수 있음을 확인하였다. 이러한 발견을 바탕으로 향후 국내에서도 출시될 디스플레이형 스피커가 고려해야 할 사용자 경험 전략을 제안한다.

Emotion Recognition Implementation with Multimodalities of Face, Voice and EEG

  • Udurume, Miracle;Caliwag, Angela;Lim, Wansu;Kim, Gwigon
    • Journal of information and communication convergence engineering
    • /
    • 제20권3호
    • /
    • pp.174-180
    • /
    • 2022
  • Emotion recognition is an essential component of complete interaction between human and machine. The issues related to emotion recognition are a result of the different types of emotions expressed in several forms such as visual, sound, and physiological signal. Recent advancements in the field show that combined modalities, such as visual, voice and electroencephalography signals, lead to better result compared to the use of single modalities separately. Previous studies have explored the use of multiple modalities for accurate predictions of emotion; however the number of studies regarding real-time implementation is limited because of the difficulty in simultaneously implementing multiple modalities of emotion recognition. In this study, we proposed an emotion recognition system for real-time emotion recognition implementation. Our model was built with a multithreading block that enables the implementation of each modality using separate threads for continuous synchronization. First, we separately achieved emotion recognition for each modality before enabling the use of the multithreaded system. To verify the correctness of the results, we compared the performance accuracy of unimodal and multimodal emotion recognitions in real-time. The experimental results showed real-time user emotion recognition of the proposed model. In addition, the effectiveness of the multimodalities for emotion recognition was observed. Our multimodal model was able to obtain an accuracy of 80.1% as compared to the unimodality, which obtained accuracies of 70.9, 54.3, and 63.1%.

비접촉식 제스처 기반 3D 조형 태스크를 위한 다중 모달리티 인터페이스 디자인 연구 (Multi - Modal Interface Design for Non - Touch Gesture Based 3D Sculpting Task)

  • 손민지;유승헌
    • 디자인융복합연구
    • /
    • 제16권5호
    • /
    • pp.177-190
    • /
    • 2017
  • 본 연구는 비접촉식 제스처 기반 조형 태스크의 직관성 향상을 위한 다중 모달리티 인터페이스 디자인 GSS를 제안하였다. 디자인 조형 과정 및 조형 형태에 대한 사용자 경험을 조사한 후, 기술 발전에 따른 세대별 조형 시스템을 분석하였다. 또, 비접촉 3D 조형 시스템상에서의 조형 제작 프로세스, 조형 제작 환경, 제스처와 조형 태스크 간의 관계성, 자연스러운 손 조합 패턴과 사용자 손동작 요소들을 정의하였다. 이후, 기존 비접촉 3D 조형 시스템상에서 비접촉식 제스처 인터랙션을 관찰하고 자연스러운 조형 제작을 위해 조형 작성자의 행동체계가 반영된 인터페이스의 시각적 메타포와 자연스러운 제스처 인터랙션을 유도할 수 있는 행동적 메타포를 도출하였다. 프로토타입을 개발한 후, 제안된 주요 조형 태스크별 제스처 세트의 직관성을 알아보기 위해 기존 조형 시스템들과 비교하여 사용성 평가를 진행하였다. 제안된 GSS 시스템의 제스처는 이해도, 기억성, 오류율에서 우수성을 보였다. 제스처 인터페이스는 사용자의 경험에 기반한 시각적/행동적 메타포를 바탕으로 시각적 모달리티가 함께 사용된 제스처 인터페이스를 사용자들에게 제공되어야 한다는 것을 확인하였다.

소셜 실감 게임을 위한 이기종 스마트 플랫폼 브릿지 기술 (A Bridge Technique of Heterogeneous Smart Platform supporting Social Immersive Game)

  • 장승은;탕지아메이;김상욱
    • 한국멀티미디어학회논문지
    • /
    • 제17권8호
    • /
    • pp.1033-1040
    • /
    • 2014
  • Recently, the concept of mobile content service has changed from providing unilaterally contents for single-device to providing same contents for multi-device. This service should be able to provide diverse contents for multi-devices without platform and specification of multi-device. In this study, we propose a bridge technique of heterogeneous smart platform supporting social immersive game. It is possible to access social immersive game by using a multi-platform bridge. To achieve this, we explain techniques of device connection and data transmission between heterogeneous devices using server-client structure and UPnP. It provides an immersive game environment for multi-user, which is able to play in a public place using big screen.

Research of Vehicle Navigation Based Video-GIS

  • Feng, Jiang-Fan;Zhu, Guan-Yu;Liu, Zhao-Hong;Li, Yan
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권2호
    • /
    • pp.39-44
    • /
    • 2009
  • In order to make the effect of the navigation system more direct, the paper proposes a thought of vehicle navigation system based on Video-GIS. A semantic framework has been defined whose core is focused on the integration and interaction of video and spatial information, which supports full content retrieval based on multimodal metadata extraction and fusion, and supports kinds of wireless access mode. Furthermore, requirements of prototype system are discussed. Then the design and implementation of framework are discussed. Next, describe the key ideas and technologies involved. Finally, we point out its future research trend.

  • PDF

멀티모달 사용자 인터페이스를 위한 펜 제스처인식기의 구현 (Implementation of Pen-Gesture Recognition System for Multimodal User Interface)

  • 오준택;이우범;김욱현
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2000년도 추계종합학술대회 논문집(3)
    • /
    • pp.121-124
    • /
    • 2000
  • In this paper, we propose a pen gesture recognition system for user interface in multimedia terminal which requires fast processing time and high recognition rate. It is realtime and interaction system between graphic and text module. Text editing in recognition system is performed by pen gesture in graphic module or direct editing in text module, and has all 14 editing functions. The pen gesture recognition is performed by searching classification features that extracted from input strokes at pen gesture model. The pen gesture model has been constructed by classification features, ie, cross number, direction change, direction code number, position relation, distance ratio information about defined 15 types. The proposed recognition system has obtained 98% correct recognition rate and 30msec average processing time in a recognition experiment.

  • PDF

시각장애인의 미술 작품 감상 접근성을 높이는 다중감각 인터랙션의 설계 및 평가 (Design and Evaluation of Multisensory Interactions to Improve Artwork Appreciation Accessibility for the Visually Impaired People)

  • 박경빈;조성기;정찬호;최효진;홍태림;정재호;양창준;왕처우;조준동;이상원
    • 감성과학
    • /
    • 제23권1호
    • /
    • pp.41-56
    • /
    • 2020
  • 본 연구에서는 시각장애인이 시각 외의 잔존감각인 촉각, 청각, 후각을 활용하여 미술 작품을 감상하고 이해할 수 있도록 도울 수 있는 다중감각 인터랙션 기술을 제안한다. 나아가, 다중감각 인터랙션의 설계 적합성을 평가하기 위해 실제 시각장애인을 대상으로 다중감각 인터랙션 기술이 적용된 시스템을 통해 미술 작품을 감상한 경험에 대한 질적 인터뷰 기반의 사용자 테스트를 수행하였다. 사용자 테스트 결과, 미술 작품에 적용한 다중감각 인터랙션 요소들은 전반적으로 시각장애인으로 하여금 미술 작품 감상 및 이해를 도왔으며, 나아가 다중감각 인터랙션을 통해 미술 작품을 감상한 경험이 만족스러웠다는 긍정적인 평가 결과가 나타났다. 반면, 일부 다중감각 인터랙션 요소는 미술 작품을 감상하는 동안 전혀 인지하지 못하였거나 오히려 미술 작품 감상에 있어서 혼란을 야기했다는 부정적인 평가 결과도 나타났다. 본 연구는 시각장애인의 문화예술 작품 감상의 접근성을 증진할 수 있는 기술적 대안으로서 비시각 다중감각 인터랙션의 구체적인 개발 방향성 및 가이드라인을 제공하는 데 기여하였다. 나아가, 시각장애인뿐만 아니라 아동이나 노인과 같은 비시각장애인도 유니버설 인터랙션 기술을 통해 기존의 시각 위주의 단편적 경험을 넘어선 종합적인 감각적 경험을 할 수 있는 기술 기반을 구축하는데 기여할 수 있을 것으로 기대된다.

몰입형 VR 환경에서 가상 반려동물과 상호작용에 관한 패시브 햅틱 요소의 영향 분석 (Exploring the Effects of Passive Haptic Factors When Interacting with a Virtual Pet in Immersive VR Environment)

  • 김동근;조동식
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제30권3호
    • /
    • pp.125-132
    • /
    • 2024
  • 최근, 몰입형 가상현실(IVR) 환경에서 가상 객체(Virtual Object)를 이용한 상호작용을 통해 교육, 의료, 산업, 원격지 협업 등 다양한 서비스에 활용되고 있다. 특히, 인공지능(AI) 기술을 접목하여 가상 휴먼을 사용자에게 가시화하고, 상호작용을 수행하는 연구가 활발하게 진행되고 있고, 이를 확장한 가상 반려동물에 관한 연구도 시작되고 있는 단계이다. 몰입 VR공간에서 가상 반려동물과 상호작용을 수행하기 위해서는 실제 환경에서 반려동물과 신체 접촉(쓰다듬기 등) 및 제스처와 같은 비언어적 상호작용(Non-verbal Interaction)이 소통을 위해 중요한 것처럼 가상 환경에서도 이러한 상호작용의 재현을 통해 몰입 경험을 높이는 요소에 대한 영향 분석이 필요하다. 본 논문에서는 몰입형 VR 환경에서 사용자가 가상 반려동물과 상호작용 체험을 수행할 때 패시브 햅틱(Passive Haptic)을 제공하고, 그 촉각(Tactile) 요소에 대한 영향 분석을 수행하였다. 패시브 햅틱의 촉각(Tactile) 요소를 모양(shape), 재질(texture) 항목으로 분류하여 그 변화의 정도에 따라 상호작용 효과에 어떠한 영향이 있는지 측정하였다. 실험 결과, 패시브 햅틱 피드백이 제공되는 몰입형 가상 환경에서 가상 반려동물 상호작용을 수행할 때 재질 요소의 단계(Level)의 차이에 따라 몰입감(Immersion), 공존감(Co-presence), 사실감(Realism), 친근감(Fridenliness) 측면에서 통계적으로 유의미한 차이가 있다는 것을 알 수 있었다. 또한, 재질과 모양에 따른 통계적 상호작용 영향 분석에서 친근함 측정 결과에서 불쾌한 골짜기(Uncanny Valley) 효과가 있다는 것을 확인하였다. 본 논문의 연구 결과는 가상 반려동물 상호작용을 수행하는 콘텐츠 개발에 가이드라인으로 기여할 것으로 기대된다.

텍스트 마이닝을 활용한 공공기관 서비스 로봇에 대한 사용자 리뷰 분석 : 안내로봇 사례를 중심으로 (Text Mining Analysis of Customer Reviews on Public Service Robots: With a focus on the Guide Robot Cases)

  • 신효림;최준호;오창훈
    • 문화기술의 융합
    • /
    • 제9권1호
    • /
    • pp.787-797
    • /
    • 2023
  • 공공기관에서 서비스 로봇, 특히 안내로봇의 사용이 보편화 되며 다양한 곳에서 사람들을 만나고 있다. 그러나 4년이 넘는 시간 동안 사용자가 안내로봇을 만나왔지만, 아직까지 사용자와 안내로봇의 상호작용에 대한 탐구가 부족한 실정이다. 이에 이 연구는 안내로봇에 대한 사용자 경험을 탐구하고자, 가장 오랜 기간 동안 사용자를 만난 안내로봇인 '큐아이'를 연구 대상으로 선정하여 서비스를 시작한 시점부터 작성된 모든 리뷰를 수집하였다, TF-IDF로 주요 키워드를 확인하고 토픽 모델링을 통해 사용자 경험 요인을 도출하였으며 감성 분석을 통해 사용자 경험 저해 요인을 살펴보았다. 분석 결과, 안내로봇의 기능, 외형, 상호작용 방식, 그리고 안내로봇의 문화해설사 역할과 도우미 역할이 핵심 사용자 경험 요인으로 나타났다. 부정적 리뷰를 통해 확인한 저해 요인은 이를 개선할 수 있도록 인터랙션 설계와 멀티모달 인터페이스를 활용한 서비스 디자인, 문화해설사로서의 콘텐츠 개발 등 향후 방향성을 제안하였다. 이 연구는 안내로봇의 사용자 경험을 분석하고 개선방안을 제시한 것에 의의가 있다.