• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.1011-1018
• /
• 2006

멀티모달 인터페이스는 인간의 제스처, 시선, 손의 움직임, 행동의 패턴, 음성, 물리적인 위치 등 인간의 자연스러운 행동들에 대한 정보를 해석하고 부호화하는 인지기반 기술이다. 본 논문에서는 제스처와 음성, 터치를 이용한 3D 오브젝트 기반의 멀티모달 인터페이스를 설계, 구현한다. 서비스 도메인은 스마트 홈이며 사용자는 3D 오브젝트 직접조작을 통해 원격으로 가정의 오브젝트들을 모니터링하고 제어할 수 있다. 멀티모달 인터랙션 입출력 과정에서는 여러 개의 모달리티를 병렬적으로 인지하고 처리해야 하기 때문에 입출력 과정에서 각 모달리티의 조합과 부호화 방법, 입출력 형식 등이 문제시된다. 본 연구에서는 모달리티들의 특징과 인간의 인지구조 분석을 바탕으로 제스처, 음성, 터치 모달리티 간의 입력조합방식을 제시하고 멀티모달을 이용한 효율적인 3D Object 인터랙션 프로토타입을 설계한다.

• 한국게임학회 논문지
• /
• 제15권1호
• /
• pp.27-34
• /
• 2015

본 논문은 기존 립모션 장비에 홀로그램과 햅틱 장비를 결합함으로써 향상된 몰입감과 사용 용이성을 제공할 수 있는 사용자 인터페이스를 제시한다. 립모션은 사용자 손동작의 물리적 행동이 직접 가상의 화면상에 영향을 주는 장치인데, 화면상의 가상 손모양을 제어해야 한다는 점과 가상환경에서의 영향을 사용자에게 전달할 수 없다는 한계를 가진다. 우리는 홀로그램을 립모션과 결합시켜 사용자로 하여금 실제 손과 가상 화면을 같은 공간에 배치함으로써 몰입감을 향상시킨다. 아울러 사용자의 손에 촉각을 전달할 수 있는 햅틱 장비를 장착하여 감각의 상호 작용을 실현하는 프로타입을 제시한다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 1부
• /
• pp.91-96
• /
• 2008

증강현실(Augmented Reality)을 위한 효과적인 비전 기반 인터페이스 개발은 꾸준히 진행되어 왔으나, 대부분 환경적 제약을 받거나, 특수한 장비 혹은 복잡한 모델을 요구한다. 예를 들어, 마커를 이용하면 구현 상의 편의성과 정확성을 보장하지만, 일반적으로 마커는 환경과 대비되는 모양을 가지기 때문에, 사용자에게 거부감을 줄 수 있으며 무엇보다 복잡한 인터랙션에는 적용되기 힘들다. 한편, 손동작을 이용할 경우, 자연스럽고 다양한 인터랙션을 수행할 수 있지만, 색을 이용한 손동작 인식은 복잡한 환경에서 인식률이 크게 저하되고, 3 차원 모델 기반의 손동작 인식은 많은 연산량을 필요로 한다는 문제점을 가진다. 이로 인해 지금까지 제안된 방법을 증강현실 시스템에 적용하는 데는 한계가 있다. 본 논문에서는 기본적으로 손동작을 이용한 인터페이스를 제안하는데, 손동작 인식을 위한 알고리즘을 효율적으로 개선함으로써, 복잡한 환경에서 적은 연산량으로 자연스러운 인터랙션을 제공하고자 한다. 제안방법은 손목에 컬러 밴드를 착용하고, 색 정보를 이용하여 손을 포함하는 최소 영역을 용이하게 검출함으로써, 손 동작 인식률이 좋아지도록 하였다. 제안된 인터페이스는 손의 자연스러운 움직임을 감지해서 손의 모양과 동작에 따라서 가상의 물체를 자연스럽게 제어할 수 있도록 해 준다. 예를 들어, 손이 지정한 위치에 가상의 물체를 나타내고, 가상의 물체를 잡고 다양한 조작을 하는 등의 제어를 할 수 있다. 다양한 환경에서의 실험 및 사용자 평가를 통해 제안된 인터페이스의 유용성을 검증하였다.

• 제어로봇시스템학회논문지
• /
• 제17권4호
• /
• pp.368-374
• /
• 2011

This paper proposes a robot control human interface using Markov model (HMM) based hand signal recognizer. The command receiving humanoid robot sends webcam images to a client computer. The client computer then extracts the intended commanding hum n's hand motion descriptors. Upon the feature acquisition, the hand signal recognizer carries out the recognition procedure. The recognition result is then sent back to the robot for responsive actions. The system performance is evaluated by measuring the recognition of '48 hand signal set' which is created randomly using fundamental hand motion set. For isolated motion recognition, '48 hand signal set' shows 97.07% recognition rate while the 'baseline hand signal set' shows 92.4%. This result validates the proposed hand signal recognizer is indeed highly discernable. For the '48 hand signal set' connected motions, it shows 97.37% recognition rate. The relevant experiments demonstrate that the proposed system is promising for real world human-robot interface application.

• 한국차세대컴퓨팅학회논문지
• /
• 제14권5호
• /
• pp.31-39
• /
• 2018

최근 딥러닝을 기반으로 사용자의 손 제스처를 인식하여 가상현실 환경에서 사용자 친화적 인터페이스를 제공하기 위한 연구가 활발히 진행되고 있다. 그러나 대부분 연구들은 손 정보를 얻기 위하여 별도 센서를 사용하거나 효율적인 학습을 위하여 전처리 과정을 거친다. 또한 조명의 변화나 손 일부가 가려지는 등과 같은 외부환경의 변화를 고려하지 못하고 있다. 본 논문은 일반 웹캠에서 얻어진 RGB 영상에서 별도의 전처리 과정없이 외부 환경에 강인한 딥러닝 기반 손 제스처 인식 방법을 제안한다. 딥러닝 모델로 VGGNet과 GoogLeNet 구조를 개선하고, 각 구조의 성능을 비교한다. 조명이 어둡거나 손 일부가 가려지거나 시야에서 일부 벗어난 손 영상들이 포함된 데이터로 실험한 결과 본 연구에서 제시한 VGGNet과 GoogLeNet 구조는 각각 93.88%와 93.75%의 인식률을 보였고 메모리와 속도 측면에서 GoogLeNet이 VGGNet 보다 메모리를 약 3배 적게 사용하면서 처리속도는 10배 이상 우수함을 알 수 있었다. 본 연구의 결과는 실시간 처리가 가능하여 가상현실 환경에서 게임, 교육, 의료 등 다양한 분야에서 손 제스처 인터페이스로 활용될 수 있다.

• 로봇학회논문지
• /
• 제1권1호
• /
• pp.58-65
• /
• 2006

The emotional interface is essential technology for the robot to provide the proper service to the user. In this research, we developed emotional components for the service robot such as a neural network based facial expression recognizer, emotion expression technologies based on 3D graphical face expression and joints movements, considering a user's reaction, behavior selection technology for emotion expression. We used our humanoid robots, AMI and AMIET as the test-beds of our emotional interface. We researched on the emotional interaction between a service robot and a user by integrating the developed technologies. Emotional interface technology for the service robot, enhance the performance of friendly interaction to the service robot, to increase the diversity of the service and the value-added of the robot for human. and it elevates the market growth and also contribute to the popularization of the robot. The emotional interface technology can enhance the performance of friendly interaction of the service robot. This technology can also increase the diversity of the service and the value-added of the robot for human. and it can elevate the market growth and also contribute to the popularization of the robot.

• 한국멀티미디어학회논문지
• /
• 제16권6호
• /
• pp.720-734
• /
• 2013

본 논문에서는 사용자들이 손쉽게 마커기반과 제스처 상호작용 방법들을 적용한 증강현실 콘텐츠를 제작할 수 있는 증강현실 저작도구 시스템을 제안한다. 기존의 증강현실 저작도구들은 가상의 객체를 증강하는데 초점이 맞춰져 있었고, 이러한 증강현실 콘텐츠와 상호작용을 하기 위해서는 사용자가 마커나 센서를 이용하는 방법을 사용하였다. 우리는 이러한 제한적인 상호작용 방법의 문제점을 마커기반 상호작용 방법과 깊이 인식 카메라인 Kinect를 사용한 제스처 상호작용 방법을 적용시킴으로써 해결하고자 한다. 제안하는 시스템에서는 사용자가 인터페이스를 통하여 간단한 형태의 마커기반 증강현실 콘텐츠를 쉽게 제작할 수 있다. 또한, 능동적으로 사용자가 증강현실 콘텐츠와 상호작용할 수 있는 방법들을 제공하고 있다. 본 연구에서 제공하는 상호작용 방법으로는 마커기반의 상호작용 방법으로 2개의 마커를 이용한 방법과 마커의 가림현상(Occlusion)을 이용한 방법이 있다. 그리고 사용자의 맨손을 인식, 추적하여 객체의 확대 축소, 이동, 회전이 가능한 제스처 상호작용 방법을 제공한다. 저작도구 시스템에 대한 사용성 평가와 마커 및 제스처 상호작용에 대한 사용성을 비교평가하여, 본 연구의 긍정적 결과를 확인하였다.

• 사물인터넷융복합논문지
• /
• 제9권6호
• /
• pp.125-134
• /
• 2023

본 논문은 MediaPipe Face Mesh 모델을 이용해 일련의 프레임 시퀀스에서 얼굴 제스처를 인식해 해당 사용자 이벤트를 처리하는 얼굴 제스처 기반의 사용자 인터페이스 선행 연구의 성능 개선 방안을 제안함에 그 목적이 있다. 선행 연구는 MediaPipe Face Mesh 모델에서 선택한 7개의 랜드마크의 3차원 좌표들로부터 얼굴 제스처를 인식해 해당 사용자 이벤트를 발생시키고 이에 대응하는 명령을 수행하는 것이 특징이다. 제안된 방법은 그 과정에서 커서 위치들에 적응형 이동 평균 처리를 적용해 미세 떨림을 완화함으로써 커서 안정화를 도모하고, 양안 동시 개폐 시에 양안의 일시적 개폐 불일치를 차단해 그 성능을 개선하였다. 제안된 얼굴 제스처 인터페이스의 사용성 평가 결과, 얼굴 제스처의 평균 인식률이 선행 연구에서 95.8%였던 것에 비해 98.7%로 상향되는 것이 확인되었다.

• 한국CDE학회논문집
• /
• 제12권2호
• /
• pp.126-136
• /
• 2007

Teleconferences have been used in business sectors to reduce traveling costs. Traditionally, specialized telephones that enabled multiparty conversations were used. With the introduction of high speed networks, we now have high definition videos that add more realism in the presence of counterparts who could be thousands of miles away. This paper presents a new technology that adds even more realism by telecommunicating with hand gestures. This technology is part of a teleconference system named SMS (Smart Meeting Space). In SMS, a person can use hand gestures to manipulate meeting data that could be in the form of text, audio, video or 3D shapes. Fer detecting hand gestures, a machine learning algorithm called SVM (Support Vector Machine) has been used. For the prototype system, a 3D interaction environment has been implemented with $OpenGL^{TM}$, where a 3D human skull model can be grasped and moved in 6-DOF during a remote conversation between distant persons.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2006년도 하계종합학술대회
• /
• pp.379-380
• /
• 2006

As a result of growth sensor-enabled mobile devices such as PDA, cellular phone and other computing devices, in recent years, users can utilize the diverse digital contents everywhere and anytime. However, the interfaces of mobile applications are often unnatural due to limited resources and miniaturized input/output. Especially, users may feel this problem in some applications such as the mobile game. Therefore, Novel interaction forms have been developed in order to complement the poor user interface of the mobile device and to increase the interest for the mobile game. In this paper, we describe the demonstration of the gesture and posture input supported by an accelerometer. The application example we created are AM-Fishing game on the mobile device that employs the accelerometer as the main interaction modality. The demos show the usability for the gesture and posture interaction.