• 제목/요약/키워드: Multi-Modal Interface

검색결과 39건 처리시간 0.03초

직관적인 핸드 모션에 기반한 NUI/NUX 프레임워크 (NUI/NUX framework based on intuitive hand motion)

  • 이광형;신동규;신동일
    • 인터넷정보학회논문지
    • /
    • 제15권3호
    • /
    • pp.11-19
    • /
    • 2014
  • 내츄럴 유저 인터페이스는 마우스, 키보드, 펜과 마커를 이용하지 않는 신체를 이용한 자연스런 모션 인터페이스이다. 지금까지 대표적인 동작 인식 방법은 마커를 이용하는 방식이었고 그 인식 방법은 각 마커의 좌표를 상대적인 데이터로 입력 받아 데이터베이스에 각 좌표 값을 저장하는 것이었다. 그러나 정확한 동작을 인식하기 위해서는 더 많은 마커들이 필요하고 그 마커들을 붙이는 것과 데이터들을 처리하는 데에 상당한 시간이 걸린다. 또, NUI/NUX 프레임워크를 개발하면서, 가장 중요한 직관성을 배제한 개발로 사용상에 문제가 생겼고 계속해서 사용자에게 암기만을 강요하고 있다. 이 문제를 보완하기 위해, 본 논문에서는 마커를 이용하지 않았고 남녀노소 누구나 다룰 수 있도록 구현했다. 또, 목소리, 신체 동작, 얼굴 표정 등을 동시에 인식하는 멀티모달 NUI/NUX 프레임 워크를 설계했고, 직관적인 손동작을 인식하는 것과 모니터에 그것을 매핑하기 위해 새로운 마우스 이벤트 알고리즘을 제안했다. 우리는 사용자들이 쉽고 직관적으로 핸드마우스 이벤트를 다루도록 구현했다.

머신 러닝과 Microservice 기반 디지털 미러 시스템 (Digital Mirror System with Machine Learning and Microservices)

  • 송명호;김수동
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제9권9호
    • /
    • pp.267-280
    • /
    • 2020
  • 거울은 일반적으로 아말감으로 코팅된 물리적 반사 표면으로 거울 앞의 상을 선명하게 반사한다. 이것은 언제 어디서나 사용이 가능하며 사용자의 얼굴이나 외모를 확인하기 위한 필수적인 도구이다. 현대 소프트웨어 기술의 출현으로 사람들은 실시간 처리, Microservice 및 머신 러닝이 적용된 편의성과 지능성을 통해 거울 반사 기능을 향상시킬 수 있다. 본 논문에서는 거울로써 실시간 반영과 동시에 사용자 맞춤 정보 조회, 공공 정보 조회, 외모를 통한 나이와 감정 탐지 등의 기능을 가진 디지털 거울 시스템 개발을 제안한다. 더불어, 본 시스템은 터치 기반, 음성 인식 기반, 제스처 기반의 Multi-Modal 사용자 인터페이스를 제공한다. 본 논문에서는 이 시스템에 대한 디자인을 제시하고 현재 기술을 이용하여 실시간 거울 반영과 동시에 유용한 정보 제공 및 지능형 머신 러닝 기술을 제공하는 구현 방법을 제안한다.

블록의 리프팅 동적 구조해석을 위한 다물체 동역학 프로그램의 내장형 자동화 라이브러리 개발 (Development of an Automation Library in Multi-Body Dynamics Program for Dynamic Structural Analysis of Block Lifting Process)

  • 정다운;차주환;송창용;이충형
    • 대한조선학회논문집
    • /
    • 제53권2호
    • /
    • pp.135-143
    • /
    • 2016
  • In this study, an embedded system composed of equipment setting, block importing, scenario setting and output reporting is developed in multi-body dynamics program, ADAMS, for conducting dynamic structural analysis of block lifting process. First, equipment used for block lifting process is set in the simulation environment and the shapes and functions of two lifting beams, and six block loaders are provided as the equipment. Second, the modal analysis result of the lifting block is imported from the static structural analysis system, NASTRAN. Third, the lifting scenarios, such as hoisting, waiting, trolley moving, and wire connecting, are set in the system. Finally, output results in the forms of plots, texts and tables, are reported after the dynamic structural analysis. The test examples conducted in a shipyard are applied into the developed system in various condition and scenarios. The loads at the lug points, the stress contours, and the hot spot tables of the developed system are compared with the result of the static analysis system.

A Bio-Edutainment System to Virus-Vaccine Discovery based on Collaborative Molecular in Real-Time with VR

  • Park, Sung-Jun
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권6호
    • /
    • pp.109-117
    • /
    • 2020
  • 에듀테인먼트 시스템은 학습자가 문제를 효과적으로 인식하고, 문제를 해결하는 데 필요한 중요한 정보를 파악 분류하고, 배운 내용을 전달할 수 있도록 돕는 것을 목표로 한다. 에듀테인먼트를 활용한 콘텐츠는 과학 및 산업 분야의 교육 및 훈련에 유용하게 적용될 수 있다. 본 논문에서는 직관적인 멀티 모달 인터페이스를 활용하여 신약개발에서 활용되고 있는 가상스크리닝에 적용될 수 있는 에듀테인먼트 시스템을 제안한다. 본 연구에서는 분자 구조의 3D 모델을 효과적으로 조작하기 위해 입체 모니터를 활용하여 3차원(3D)거대 분자 모델링을 시각화 하였으며, 멀티 모달 인터페이스를 활용하여 분자 모델을 조작하고 있다. 본 시스템은 신약 개발 혹은 백신 개발에 있어 매우 중요한 방법 중의 하나인 가상 약물 선별 방법 중 하나 인 도킹 시뮬레이션 실험을 게임적 요소를 활용하여 쉽게 해결하는 방법을 제안하고 있다. 레벨 업 개념은 게임 요소가 객체와 사용자의 수에 의해 의존되는 바이오 게임 접근법을 활용하여 구현하였다. 실험 방법으로는 제안된 시스템의 신약 개발 과정에서 인간 면역 결핍 바이러스 (HIV)의 새로운 후보물질을 활용하여 바이러스의 활동 억제를 스크리닝하는 도킹 과정에서의 시간 측정으로 성능 비교 평가하였다.

시각장애인의 길 탐색을 위한 대화형 인터랙티브 촉각 지도 개발 (A Conversational Interactive Tactile Map for the Visually Impaired)

  • 이예린;이동명;루이스 카바조스 케로;호르헤 이란조 바르톨로메;조준동;이상원
    • 감성과학
    • /
    • 제23권1호
    • /
    • pp.29-40
    • /
    • 2020
  • 시각장애인들에게는 길 찾기 및 탐색이 어려운 과제이기 때문에, 이들의 독립적이고 자율적인 이동성 향상에 대한 연구가 필요하다. 그러나 기존의 점자 촉각 지도는 여러 문제점을 가지고 있다. 이를 해결하기 위해 기술의 발달과 함께 촉각 지도에 다른 인터랙션 방식을 더하려는 시도들이 존재해왔다. 본 연구는 이러한 흐름 속에서 새로운 대화형 인터랙티브 촉각 지도 인터페이스를 개발하였다. 촉각 탐색을 하는 동안 사용자의 터치를 인식하여 음성 피드백을 제공하며, 사용자가 음성 에이전트와 대화를 나눌 수 있고 이를 통해 관심 지점에 대한 정보나 경로 안내를 받을 수 있다. 사용성 테스트를 진행하기 위해 프로토타입을 제작하였으며, 실제 시각장애인들을 대상으로 프로토타입 사용 후 설문 및 인터뷰를 통한 실험을 진행하였다. 점자를 사용한 기존 촉각 지도보다 본 연구에서 제작된 인터랙티브 촉각 지도 프로토타입이 시각장애인들에게 더욱 높은 사용성을 제공하였다. 시각장애인들은 본 연구의 프로토타입을 사용했을 때 더 빨리 시작 지점 및 관심 지점을 찾을 수 있었고 더 높은 독립성 및 확신을 가질 수 있었다고 보고하였다. 본 연구는 시각장애인의 지도 이용 및 경험을 향상시킬 수 있는 새로운 촉각 지도 인터페이스를 제시하였다. 실험에서 프로토타입의 개선 방향에 대한 다양한 피드백을 받을 수 있었다. 아직 개발 단계에 있기 때문에, 이를 반영한 후속 연구를 통해 이를 더욱 발전시킬 수 있을 것이다.

유비쿼터스 센서 네트워크 환경을 위한 다중 생체인식 시스템 (Multi-Modal Biometries System for Ubiquitous Sensor Network Environment)

  • 노진수;이강현
    • 전자공학회논문지CI
    • /
    • 제44권4호통권316호
    • /
    • pp.36-44
    • /
    • 2007
  • 본 논문에서는 무선 오디오와 영상 인터페이스를 이용한 스위치 제어 및 인식 등의 다양한 유비쿼터스 센서 네트워크 응용 서비스를 지원하기 위한 음성과 얼굴인식 시스템을 구현하였다. 제안된 시스템은 하드웨어 부분으로 무선 오디오 및 이미지 센서, 심리응용모델을 이용한 음성인식과 주성분 분석법(PCA: Principal Components Analysis)을 이용한 얼굴이식 알고리즘, 그리고 LDPC(Low Density Parity Check)로 구성되어 있다. 제안된 음성과 얼굴인식 시스템은 센서의 효율적인 에너지 사용을 위하여 HOST PC에 삽입된다. 그리고 인식 시스템의 정확도를 개선하기 위하여 전방향 에러 정정 시스템을 구현하였다. 또한, 무선 채널 잡음의 효과적인 제거와 정정을 위하여 테스트환경과 시뮬레이션 계수를 최적화하였다. 결과적으로 사람 음성과 음성센서의 거리가 1.5m 이하일 경우에 FAR과 FRR을 각각 0.126%, 7.5%를 얻었고, 얼굴인식 알고리즘을 2회로 제한하였을 경우, GAR과 FAR을 각각 98.5%와 0.036%를 획득하였다.

CERES: 백본망 로그 기반 대화형 웹 분석 시스템 (CERES: A Log-based, Interactive Web Analytics System for Backbone Networks)

  • 서일현;정연돈
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권10호
    • /
    • pp.651-657
    • /
    • 2015
  • 웹 응용 프로그램의 급격한 증가와 함께 웹 트래픽이 증가하고 있다. 웹에 대한 요청과 그 응답에 대한 기록인 웹 로그 또한 폭발적으로 증가하고 있다. 웹 로그로부터 가치 있는 정보를 취득하기 위해서는 매우 큰 용량의 데이터를 효과적이고 다양한 방법으로 다룰 수 있는 시스템이 필요하다. 본 논문에서는 백본망 로그 기반 대화형 웹 분석 시스템인 CERES를 소개한다. 기존의 웹 분석 시스템들과 달리, CERES는 하나의 웹 서버에 대한 분석이 아닌 백본망에서 생성되는 모든 웹 로그의 분석을 목적으로 한다. CERES는 하둡 분산 파일 시스템 (HDFS)을 저장소로 하는 서버 클러스터에 배포되며, 대용량의 로그에 기반한 분석을 분산 처리를 통해 지원한다. CERES는 백본망에서 생성된 웹 로그 데이터를 관계형 데이터로 변환하고, 사용자는 변환된 관계형 데이터에 대해 SQL을 이용하여 질의를 요청할 수 있다. 내부적으로 CERES는 웹 로그의 통계적 분석에 대한 질의를 효과적으로 처리하기 위해 데이터 큐브를 활용한다. 또한, CERES는 다양한 통계적 분석을 지원하기 위해 대화형 SQL 질의 인터페이스를 포함한 세 가지 형태의 웹 인터페이스를 제공하며 사용자는 이를 통해 쉽게 질의를 요청할 수 있고 그 결과를 시각적으로 확인할 수 있다.

컴패니언 로봇의 멀티 모달 대화 인터랙션에서의 감정 표현 디자인 연구 (Design of the emotion expression in multimodal conversation interaction of companion robot)

  • 이슬비;유승헌
    • 디자인융복합연구
    • /
    • 제16권6호
    • /
    • pp.137-152
    • /
    • 2017
  • 본 연구는 실버세대를 위한 컴패니언 로봇의 인터랙션 경험 디자인을 위해 사용자 태스크- 로봇 기능 적합도 매핑에 기반한 로봇 유형 분석과 멀티모달 대화 인터랙션에서의 로봇 감정표현 연구를 수행하였다. 노인의 니즈 분석을 위해 노인과 자원 봉사자를 대상으로 FGI, 에스노그래피를 진행하였으며 로봇 지원 기능과 엑추에이터 매칭을 통해 로봇 기능 조합 유형에 대한 분석을 하였다. 도출된 4가지 유형의 로봇 중 표정 기반 대화형 로봇 유형으로 프로토타이핑을 하였으며 에크만의 얼굴 움직임 부호화 시스템(Facial Action Coding System: FACS)을 기반으로 6가지 기본 감정에 대한 표정을 시각화하였다. 사용자 실험에서는 로봇이 전달하는 정보의 정서코드에 맞게 로봇의 표정이 변화할 때와 로봇이 인터랙션 사이클을 자발적으로 시작할 때 사용자의 인지와 정서에 미치는 영향을 이야기 회상 검사(Story Recall Test: STR)와 표정 감정 분석 소프트웨어 Emotion API로 검증하였다. 실험 결과, 정보의 정서코드에 맞는 로봇의 표정 변화 그룹이 회상 검사에서 상대적으로 높은 기억 회상률을 보였다. 한편 피험자의 표정 분석에서는 로봇의 감정 표현과 자발적인 인터랙션 시작이 피험자들에게 정서적으로 긍정적 영향을 주고 선호되는 것을 확인하였다.

VR 콘텐츠의 사이버 멀미 유발 요인: 시점과 움직임의 효과에 대한 실험 연구 (Causes of Cyber Sickness of VR Contents: An Experimental Study on the Viewpoint and Movement)

  • 정지영;조광수;최진해;최준호
    • 한국콘텐츠학회논문지
    • /
    • 제17권4호
    • /
    • pp.200-208
    • /
    • 2017
  • 가상현실 시장의 빠른 성장에도 불구하고 사이버멀미(Cyber sickness) 증상은 여전히 사용자 경험 차원에서 가장 심각한 문제점이다. 본 연구의 목적은 VR 콘텐츠의 시점과 움직임에 따라 사용자가 느끼는 멀미증상에 차이가 있는지 확인하는 것이다. 실험 설계를 통해 VR 헤드셋을 착용하고 게임 콘텐츠를 수행할 때 1인칭-3인칭의 시점 조건과 수직축-수평축의 머리 움직임 조건이 사이버 멀미에 영향을 미치는지 검증하였다. 분석 결과 3인칭보다 1인칭 시점에서, 수직축보다 수평축 회전 움직임 조건에서 멀미 증상이 더 심했다. VR 착용시의 시점과 움직임은 사이버 멀미에 영향을 미치지만, 시점과 움직임간의 상호작용은 나타나지 않았다. 이러한 결과에 기반하여 멀미감 감소와 함께 균형있는 VR 사용자 경험을 구축하기 위해 콘텐츠 기획에서 고려해야 실무적 요소들을 제시하였다. 적절 수준의 콘텐츠 몰입을 위한 시각적 디자인, 다중감각 인터페이스 디자인, 체험 마케팅 전략을 통해 VR의 긍정적 경험을 강화할 수 있다. 다양한 VR 콘텐츠 장르 개발을 위한 좌우 이동축에 대한 후속 연구를 제안하였다.