• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2000년도 하계학술대회 논문집 D
• /
• pp.3041-3043
• /
• 2000

GUI(graphical user interface) has been the dominant platform for HCI(human computer interaction). The GUI-based style of interaction has made computers simpler and easier to use. However GUI will not easily support the range of interaction necessary to meet users' needs that are natural, intuitive, and adaptive. In this paper we study an approach to track a hand in an image sequence and recognize it, in each video frame for replacing the mouse as a pointing device to virtual reality. An algorithm for real time processing is proposed by estimating of the position of the hand and segmentation, considering the orientation of motion and color distribution of hand region.

• 한국컴퓨터그래픽스학회논문지
• /
• 제24권5호
• /
• pp.41-48
• /
• 2018

가상 환경에서 몰입감을 높이고 자유로운 상호작용을 제공하기 위한 가장 자연스러운 방법은 사용자의 손을 이용한 제스처 인터페이스를 제공하는 것이다. 그러나 손 제스처 인식에 관한 기존의 연구들은 특화된 센서나 장비를 요구하거나 낮은 인식률을 보이는 단점이 있다. 본 논문은 손 제스처 입력을 위한 RGB 카메라 이외 별도 센서나 장비 없이 손 제스처 인식이 가능한 3차원 DenseNet 합성곱 신경망 모델을 제안하고 이를 기반으로 한 가상현실 게임을 소개한다. 4개의 정적 손 제스처와 6개의 동적 손 제스처 인터페이스에 대해 실험한 결과 평균 50ms의 속도로 94.2%의 인식률을 보여 가상현실 게임의 실시간 사용자 인터페이스로 사용 가능함을 알 수 있었다. 본 연구의 결과는 게임 뿐 아니라 교육, 의료, 쇼핑 등 다양한 분야에서 손 제스처 인터페이스로 활용될 수 있다.

• 한국음향학회지
• /
• 제36권2호
• /
• pp.130-135
• /
• 2017

본 논문에서는 가상 콘서트홀에서 사용자가 인터랙티브한 음향 체험을 할 수 있는 인터페이스에 대해 제안한다. 제안하는 인터페이스는 가상 콘서트홀을 기반으로 좌석 위치별 음향 체험 시스템과 악기 제어 및 음향 체험 시스템으로 구성된다. 제안하는 인터페이스의 각 시스템을 구현하기 위해 인공 잔향 알고리즘과 멀티채널 음원 분리, 머리전달함수를 적용하였다. 제안하는 인터페이스는 유니티(Unity)를 사용하여 구현되었으며 사용자는 가상현실기기인 오큘러스 리프트(Oculus Rift)를 통해 가상 콘서트홀을 체험할 수 있고 립 모션(Leap Motion)을 통해 별도의 입력 도구없이 손동작만으로 시스템을 제어할 수 있으며 헤드폰을 통해 시스템이 제공하는 음향을 체험할 수 있다.

• 한국콘텐츠학회논문지
• /
• 제9권6호
• /
• pp.117-125
• /
• 2009

본 논문에서는 테이블탑 디스플레이 인터페이스를 기반으로 제작된 사용자 중심의 실감형 상호작용 전자책에 대하여 기술한다. 전자책은 일반 종이 책이 아닌 컴퓨터를 이용한 가상의 책으로 사용자가 독서를 하는 도중 동영상 자료를 보거나 배경음악, 무비클립, 애니메이션 등을 제공할 수 있는 멀티미디어 콘텐츠이다. 또한 제안하는 시스템의 기반이 되는 테이블탑 디스플레이는 손가락의 터치 점을 이용하여 다양한 명령을 수행할 수 있으므로 기존 입력장치에 비해 사용자가 보다 효과적으로 전자책을 체험하는 것을 돕는다. 본 논문에서는 기존 전자책과 차별화된 실감형 상호작용 전자책에 대한 새로운 방향을 제시하고, 사용자 중심의 제스처 명령을 정의하여 앞으로 컴퓨터와 사용자간의 상호작용을 원활하게 할 수 있는 시스템과 알고리즘을 제안한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2011년도 추계학술대회
• /
• pp.911-914
• /
• 2011

손 영역을 찾는 것은 사용자 중심의 인터페이스를 제공하는 데 있어서 꼭 필요한 기술이며 이를 위해 많은 연구가 진행되어 왔다. 본 논문은 HSV 공간을 기반으로 한 역 투영 기법을 사용하여 손영역 검출을 수행하였으며, 휴 모멘트를 통해 추출된 손 영역을 분석, 손 모양 인식에 대한 방법을 제안한다. 역 투영 기법을 통해 손 영역 검출에 대한 신뢰도를 높였으며, 휴 모멘트를 통해 손모양을 구분할 수 있음을 확인하였다.

• 한국게임학회 논문지
• /
• 제13권5호
• /
• pp.43-54
• /
• 2013

최근 3차원 분야의 지속적인 발전으로 인해 보다 사실적이고 실감나는 영상을 경험할 수 있게 되었고 게임과 같은 다양한 응용분야에서 활용가능하게 되었다. 특히 가상환경에서의 객체들과 상호작용하며 이를 제어하는 증강현실 분야에 많은 발전을 가져왔다. 본 연구는 한 대의 카메라를 활용한 가상 양시점화 방법을 통해 3차원 공간의 객체를 제어하는 3차원 사용자 인터페이스를 제안한다. 이를 위해 임의의 두 카메라 위치 사이의 변환 정보를 담고 있는 호모그래피(homography) 행렬을 계산하고, 한 대의 카메라에서 얻은 2차원 손 좌표, 호모그래피 행렬 그리고 카메라의 투영행렬을 이용하여 3차원 좌표의 복원을 수행한다. 이러한 방법을 통해 보다 정확하고 빠른 3차원 정보를 얻을 수 있게 된다. 이는 두 대의 카메라를 동시에 구동할 때보다 연산량이 감소하여 실시간 처리에 효과적일 수 있으며 경제적인 부담도 줄일 수 있는 장점을 가지고 있다.

• 로봇학회논문지
• /
• 제3권2호
• /
• pp.81-90
• /
• 2008

While increasing demand of the service for the disabled and the elderly people, assistive technologies have been developed rapidly. The natural signal of human such as voice or gesture has been applied to the system for assisting the disabled and the elderly people. As an example of such kind of human robot interface, the Soft Remote Control System has been developed by HWRS-ERC in $KAIST^[1]$. This system is a vision-based hand gesture recognition system for controlling home appliances such as television, lamp and curtain. One of the most important technologies of the system is the hand gesture recognition algorithm. The frequently occurred problems which lower the recognition rate of hand gesture are inter-person variation and intra-person variation. Intra-person variation can be handled by inducing fuzzy concept. In this paper, we propose multivariate fuzzy decision tree(MFDT) learning and classification algorithm for hand motion recognition. To recognize hand gesture of a new user, the most proper recognition model among several well trained models is selected using model selection algorithm and incrementally adapted to the user's hand gesture. For the general performance of MFDT as a classifier, we show classification rate using the benchmark data of the UCI repository. For the performance of hand gesture recognition, we tested using hand gesture data which is collected from 10 people for 15 days. The experimental results show that the classification and user adaptation performance of proposed algorithm is better than general fuzzy decision tree.

• 제어로봇시스템학회논문지
• /
• 제17권4호
• /
• pp.368-374
• /
• 2011

This paper proposes a robot control human interface using Markov model (HMM) based hand signal recognizer. The command receiving humanoid robot sends webcam images to a client computer. The client computer then extracts the intended commanding hum n's hand motion descriptors. Upon the feature acquisition, the hand signal recognizer carries out the recognition procedure. The recognition result is then sent back to the robot for responsive actions. The system performance is evaluated by measuring the recognition of '48 hand signal set' which is created randomly using fundamental hand motion set. For isolated motion recognition, '48 hand signal set' shows 97.07% recognition rate while the 'baseline hand signal set' shows 92.4%. This result validates the proposed hand signal recognizer is indeed highly discernable. For the '48 hand signal set' connected motions, it shows 97.37% recognition rate. The relevant experiments demonstrate that the proposed system is promising for real world human-robot interface application.

• 한국콘텐츠학회논문지
• /
• 제17권3호
• /
• pp.74-87
• /
• 2017

본 연구는 아직 제품으로 등장하지 않은 플렉시블 디스플레이 기반의 소형 원통형 디스플레이를 위한 사용자 정의 기반의 핸드 제스처 도출을 목표로 한다. 이를 위하여 먼저 소형 원통형 디스플레이의 크기와 기능을 정의하고, 해당 기능 수행을 위한 태스크를 도출하였다. 이후 가상의 원통형 디스플레이 인터페이스와 이를 조작하기 위한 물리적 오브젝트를 각각 구현하여 사용자들이 실제 원통형 디스플레이를 조작하는 것과 유사한 환경을 제작하였고, 제스처 도출을 위한 태스크를 수행했을 경우 발생하는 결과를 가상의 원통형 디스플레이에 제시하여 사용자들이 해당 조작에 적합하다고 판단되는 제스처를 정의할 수 있도록 하였다. 도출된 각 태스크 별 제스처 그룹에서 빈도수를 토대로 대표 제스처를 선정하였으며, 각 제스처에 대한 의견 일치 점수를 도출하였다. 마지막으로 제스처 분석 및 사용자 인터뷰를 기반으로 제스처 도출에 활용되는 멘탈 모델을 관찰 하였다.

• 인터넷정보학회논문지
• /
• 제4권4호
• /
• pp.9-14
• /
• 2003

GUI(Grophic User Interface) 기반의 상호작용은 컴퓨터를 더 사용하기 간단하고 쉽게 만들었다. 그러나 GUI 기반의 상호작용은 자연스럽고 직관적이며 적응적인 사용자의 요구사항을 만족시키기 위해 필요한 상호 작용 기능을 쉽게 지원하지는 못한다. 본 연구에서는 이미지 시퀀스에서 손을 추적하고 가상 현실에서 포인팅 장치로 마우스를 대체하기 위해 각 비디오 프레임에서 손을 인식하는데 유용한 방법인 수정 BMA를 제안했으며 이를 이용해 초당 30 프레임의 HCI 시스템을 구현했다. HCI 시스템을 구현하는데 가장 중요한 기준은 정확한 움직임 벡터 포착과 그의 실시한 처리이다. 수정 BMA는 실시간 처리를 위해 손의 위치, 움직임 방향을 고려한 손 영역을 분할, 손 영역의 색상 분포를 예측하는데 적용했다. 실험 결과는 YCbCr 좌표를 이용한 수정 BMA가 실시간 처리와 인식율을 보장함을 보여 준다. YCbCr 색상 좌표는 각 픽셀 색상의 휘도를 제거한 RGB 색상 좌표보다 더 적은 비트로 코딩 가능하며 주변 상황에 덜 민감하다. 수정 BMA를 이용한 손 추적은 가상현실, 게임과 장애인을 위한 HCI시스템 적용가능하다.