• 로봇학회논문지
• /
• 제3권2호
• /
• pp.81-90
• /
• 2008

While increasing demand of the service for the disabled and the elderly people, assistive technologies have been developed rapidly. The natural signal of human such as voice or gesture has been applied to the system for assisting the disabled and the elderly people. As an example of such kind of human robot interface, the Soft Remote Control System has been developed by HWRS-ERC in $KAIST^[1]$. This system is a vision-based hand gesture recognition system for controlling home appliances such as television, lamp and curtain. One of the most important technologies of the system is the hand gesture recognition algorithm. The frequently occurred problems which lower the recognition rate of hand gesture are inter-person variation and intra-person variation. Intra-person variation can be handled by inducing fuzzy concept. In this paper, we propose multivariate fuzzy decision tree(MFDT) learning and classification algorithm for hand motion recognition. To recognize hand gesture of a new user, the most proper recognition model among several well trained models is selected using model selection algorithm and incrementally adapted to the user's hand gesture. For the general performance of MFDT as a classifier, we show classification rate using the benchmark data of the UCI repository. For the performance of hand gesture recognition, we tested using hand gesture data which is collected from 10 people for 15 days. The experimental results show that the classification and user adaptation performance of proposed algorithm is better than general fuzzy decision tree.

• 한국콘텐츠학회논문지
• /
• 제17권3호
• /
• pp.74-87
• /
• 2017

본 연구는 아직 제품으로 등장하지 않은 플렉시블 디스플레이 기반의 소형 원통형 디스플레이를 위한 사용자 정의 기반의 핸드 제스처 도출을 목표로 한다. 이를 위하여 먼저 소형 원통형 디스플레이의 크기와 기능을 정의하고, 해당 기능 수행을 위한 태스크를 도출하였다. 이후 가상의 원통형 디스플레이 인터페이스와 이를 조작하기 위한 물리적 오브젝트를 각각 구현하여 사용자들이 실제 원통형 디스플레이를 조작하는 것과 유사한 환경을 제작하였고, 제스처 도출을 위한 태스크를 수행했을 경우 발생하는 결과를 가상의 원통형 디스플레이에 제시하여 사용자들이 해당 조작에 적합하다고 판단되는 제스처를 정의할 수 있도록 하였다. 도출된 각 태스크 별 제스처 그룹에서 빈도수를 토대로 대표 제스처를 선정하였으며, 각 제스처에 대한 의견 일치 점수를 도출하였다. 마지막으로 제스처 분석 및 사용자 인터뷰를 기반으로 제스처 도출에 활용되는 멘탈 모델을 관찰 하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제24권4호
• /
• pp.21-27
• /
• 2018

본 논문은 모바일 디바이스에서 사용자의 입 바람을 통해 실시간으로 인터랙션 할 수 있는 기법을 제시한다. 모바일과 가상현실 분야에서 사용자의 인터랙션 기술이 중요함에도 불구하고 여전히 사용자 인터페이스 기술의 다양성이 부족하며 대부분 손을 이용한 스크린의 터치나 동작 인식이다. 본 연구에서는 사용자의 입 바람을 이용하여 실시간으로 상호작용할 수 있는 새로운 인터페이스 기술을 제안한다. 사용자와 모바일 디바이스 간의 각도와 위치를 이용하여 바람의 방향을 결정하며 사용자의 입 바람과 가중치 함수를 기반으로 바람의 크기를 계산한다. 제안하는 기술의 우수성을 보여주기 위해 입 바람 외력을 유체 방정식에 적용하여 실시간으로 벡터장의 흐름을 시각화하는 결과를 보여준다. 우리는 제안하는 방법의 결과를 모바일 디바이스 환경에서 보여주지만 인터페이스 기술을 요구하는 가상현실과 증강현실 분야에 응용할 수 있다.

• 제어로봇시스템학회논문지
• /
• 제17권4호
• /
• pp.368-374
• /
• 2011

This paper proposes a robot control human interface using Markov model (HMM) based hand signal recognizer. The command receiving humanoid robot sends webcam images to a client computer. The client computer then extracts the intended commanding hum n's hand motion descriptors. Upon the feature acquisition, the hand signal recognizer carries out the recognition procedure. The recognition result is then sent back to the robot for responsive actions. The system performance is evaluated by measuring the recognition of '48 hand signal set' which is created randomly using fundamental hand motion set. For isolated motion recognition, '48 hand signal set' shows 97.07% recognition rate while the 'baseline hand signal set' shows 92.4%. This result validates the proposed hand signal recognizer is indeed highly discernable. For the '48 hand signal set' connected motions, it shows 97.37% recognition rate. The relevant experiments demonstrate that the proposed system is promising for real world human-robot interface application.

• 한국정보통신학회논문지
• /
• 제15권1호
• /
• pp.89-98
• /
• 2011

본 논문에서는 휴대폰이나 TV 등의 터치화면에 한 번의 터치와 터치된 상태에서의 드래그(drag) 및 방향전환 동작만으로 문자를 용이하게 입력할 수 있고, 다층 구조 메뉴를 신속하고 편리하게 검색 및 선택할 수 있는 새로운 터치 유저 인터페이스 방식을 제안한다. 또한, 터치면의 고정된 위치에 고정된 문자를 할당함으로서 한정된 크기의 터치 면에 여러 문자를 중복할당 할 수 밖에 없는 기존의 절대좌표 방식의 한계성을 극복하기 위하여 터치 위치 이동에 따라 상대좌표를 도출하고 상대좌표에 대응되는 문자를 표시함으로서 한정된 터치영역에서 더 많은 문자를 수용할 수 있는 상대좌표 기반의 문자 할당 및 입력방식을 제안한다. 제안된 방식은 IPTV 플랫폼의 리모컨과 셋톱박스로 구현되어 제안 방식의 실용성과 유효성을 입증한다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제24권5호
• /
• pp.41-48
• /
• 2018

가상 환경에서 몰입감을 높이고 자유로운 상호작용을 제공하기 위한 가장 자연스러운 방법은 사용자의 손을 이용한 제스처 인터페이스를 제공하는 것이다. 그러나 손 제스처 인식에 관한 기존의 연구들은 특화된 센서나 장비를 요구하거나 낮은 인식률을 보이는 단점이 있다. 본 논문은 손 제스처 입력을 위한 RGB 카메라 이외 별도 센서나 장비 없이 손 제스처 인식이 가능한 3차원 DenseNet 합성곱 신경망 모델을 제안하고 이를 기반으로 한 가상현실 게임을 소개한다. 4개의 정적 손 제스처와 6개의 동적 손 제스처 인터페이스에 대해 실험한 결과 평균 50ms의 속도로 94.2%의 인식률을 보여 가상현실 게임의 실시간 사용자 인터페이스로 사용 가능함을 알 수 있었다. 본 연구의 결과는 게임 뿐 아니라 교육, 의료, 쇼핑 등 다양한 분야에서 손 제스처 인터페이스로 활용될 수 있다.

• 한국게임학회 논문지
• /
• 제12권5호
• /
• pp.79-88
• /
• 2012

본 논문에서는 키보드나 마우스를 이용하지 않고 손 포즈나 동작으로 직관적인 사용자 인터 페이스를 제공하기 위한 실시간 손 포즈 인식 방법을 제안한다. 먼저 깊이 카메라 입력영상에서 왼손과 오른손의 영역을 분할 및 잡음 보정 후 각 손 영역에 대하여 손 회전각과 손 중심점을 계산한다. 그리고 손 중심점에서 일정간격으로 원을 확장해 나가면서 손 경계 교차점의 중간 지점을 구해 손가락 관절점과 끝점을 검출한다. 마지막으로 앞서 구한 손 정보와 이전 프레임의 손 모델간의 매칭을 수행하여 손 포즈를 인식한 후 다음 프레임을 위하여 손 모델을 갱신한다. 본 방법은 연속된 프레임간의 시간 일관성을 이용하여 이전 프레임의 손 모델 정보를 통하여 은닉된 손가락의 예측이 가능하다. 양손을 사용하여 은닉된 손가락을 가진 다양한 손 포즈에 대해 실험한 결과 제안 방법은 평균 95% 이상의 정확도로 32 fps 이상의 성능을 보였다. 제안 방법은 프리젠테이션, 광고, 교육, 게임 등의 응용분야에서 비접촉식 입력 인터페이스로 사용될 수 있다.

• 한국게임학회 논문지
• /
• 제10권2호
• /
• pp.49-56
• /
• 2010

본 논문에서는 사용자의 손을 인식하여 가상현실 게임 환경에서 가상의 손을 제어할 수 있는 방법을 제안한다. 카메라를 통해 획득한 영상을 통하여 사용자의 손 이동과 가리키는 방향에 대한 정보를 획득하고 이를 이용하여 가상의 손을 게임 화면에 나타낸다. 사용자의 손의 움직임은 가상의 손이 물건을 선택하고 옮기도록 하는 입력 인터페이스로 활용할 수 있다. 제안하는 방법은 비전 기반 손 인식 기법으로 먼저 RGB 컬러영역에서 HSV 컬러영역으로 입력영상을 변환하고 H, S 값에 대한 이중 임계값과 연결 요소 분석을 이용하여 손 영역을 분할한다. 다음으로 분할된 영역에 대하여 0, 1차 모멘트를 적용하고 이를 이용하여 손 영역에 대한 무게 중심점을 구한다. 구해진 무게중심점은 손의 중심에 위치하게 되며, 분할된 손 영역의 픽셀 집합 중 무게중심점으로부터 멀리 떨어진 픽셀들을 손가락의 끝점으로 인식한다. 마지막으로 무게중심점과 손 끝점에 대한 벡터를 통하여 손의 축을 구한다. 인식 안정성과 성능을 높이기 위하여 누적 버퍼를 이용한 떨림 보정과 경계상자를 이용한 처리 영역을 설정하였다. 본 논문의 방법은 기존의 비전 기술을 통한 손 인식 방법들에 비하여 별도의 착용 마커를 두지 않고 실시간으로 처리가 가능하다. 다양한 입력 영상들에 대한 실험 결과는 제안 기법으로 정확하게 손을 분할하고, 안정된 인식 결과를 고속으로 처리할 수 있음을 보여주었다.

• 한국게임학회 논문지
• /
• 제13권5호
• /
• pp.43-54
• /
• 2013

최근 3차원 분야의 지속적인 발전으로 인해 보다 사실적이고 실감나는 영상을 경험할 수 있게 되었고 게임과 같은 다양한 응용분야에서 활용가능하게 되었다. 특히 가상환경에서의 객체들과 상호작용하며 이를 제어하는 증강현실 분야에 많은 발전을 가져왔다. 본 연구는 한 대의 카메라를 활용한 가상 양시점화 방법을 통해 3차원 공간의 객체를 제어하는 3차원 사용자 인터페이스를 제안한다. 이를 위해 임의의 두 카메라 위치 사이의 변환 정보를 담고 있는 호모그래피(homography) 행렬을 계산하고, 한 대의 카메라에서 얻은 2차원 손 좌표, 호모그래피 행렬 그리고 카메라의 투영행렬을 이용하여 3차원 좌표의 복원을 수행한다. 이러한 방법을 통해 보다 정확하고 빠른 3차원 정보를 얻을 수 있게 된다. 이는 두 대의 카메라를 동시에 구동할 때보다 연산량이 감소하여 실시간 처리에 효과적일 수 있으며 경제적인 부담도 줄일 수 있는 장점을 가지고 있다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제10권5호
• /
• pp.2363-2374
• /
• 2016

Communication occurs through verbal elements, which usually involve language, as well as non-verbal elements such as facial expressions, eye contact, and gestures. In particular, among these non-verbal elements, gestures are symbolic representations of physical, vocal, and emotional behaviors. This means that gestures can be signals toward a target or expressions of internal psychological processes, rather than simply movements of the body or hands. Moreover, gestures with such properties have been the focus of much research for a new interface in the NUI/NUX field. In this paper, we propose a method for recognizing the number of fingers and detecting the hand region based on the depth information and geometric features of the hand for application to an NUI/NUX. The hand region is detected by using depth information provided by the Kinect system, and the number of fingers is identified by comparing the distance between the contour and the center of the hand region. The contour is detected using the Suzuki85 algorithm, and the number of fingers is calculated by detecting the finger tips in a location at the maximum distance to compare the distances between three consecutive dots in the contour and the center point of the hand. The average recognition rate for the number of fingers is 98.6%, and the execution time is 0.065 ms for the algorithm used in the proposed method. Although this method is fast and its complexity is low, it shows a higher recognition rate and faster recognition speed than other methods. As an application example of the proposed method, this paper explains a Secret Door that recognizes a password by recognizing the number of fingers held up by a user.