• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.148-153
• /
• 2006

인간-컴퓨터 상호작용(HCI) 기술은 과거 컴퓨터란 어렵고 소수의 숙련자만이 다루는 것이라는 인식을 바꾸어 놓았다. HCI 는 컴퓨터 사용자인 인간에게 거부감 없이 수용되기 위해 인간과 컴퓨터가 조화를 이루는데 많은 성과를 거두어왔다. 컴퓨터 비전에 기반을 두고 인간과 컴퓨터의 상호작용을 위하여 사용자 의도 및 행위 인식 연구들이 많이 행해져 왔다. 특히 손을 이용한 제스처는 인간과 인간, 인간과 컴퓨터 그리고 최근에 각광받고 있는 인간과 로봇의 상호작용에 중요한 역할을 해오고 있다. 본 논문에서 제안하는 손 추출 및 추적 알고리즘은 비전에 기반한 호출자 인식과 손 추적 알고리즘을 병행한 자연스러운 손 추출 및 추적 알고리즘이다. 인간과 인간 사이의 상호간의 주의집중 방식인 호출 제스처를 인식하여 기반하여 사용자가 인간과 의사소통 하는 것과 마찬가지로 컴퓨터/로봇의 주의집중을 끌도록 하였다. 또한 호출 제스처에 의해서 추출된 손동작을 추적하는 알고리즘을 개발하였다. 호출 제스처는 카메라 앞에 존재할 때 컴퓨터/로봇의 사용자가 자신에게 주의를 끌 수 있는 자연스러운 행동이다. 호출 제스처 인식을 통해 복수의 사람이 존재하는 상황 하에서 또한 원거리에서도 사용자는 자신의 의사를 전달하고자 함을 컴퓨터/로봇에게 알릴 수 있다. 호출 제스처를 이용한 손 추출 방식은 자연스러운 손 추출을 할 수 있도록 한다. 현재까지 알려진 손 추출 방식은 피부색을 이용하고 일정 범위 안에 손이 존재한다는 가정하에 이루어져왔다. 이는 사용자가 제스처를 하기 위해서는 특정 자세로 고정되어 있어야 함을 의미한다. 그러나 호출 제스처를 통해 손을 추출하게 될 경우 서거나 앉거나 심지어 누워있는 상태 등 자연스러운 자세에서 손을 추출할 수 있게 되어 사용자의 불편함을 해소 할 수 있다. 손 추적 알고리즘은 자연스러운 상황에서 획득된 손의 위치 정보를 추적하도록 고안되었다. 제안한 알고리즘은 색깔정보와 모션 정보를 융합하여 손의 위치를 검출한다. 손의 피부색 정보는 신경망으로 다양한 피부색 그룹과 피부색이 아닌 그룹을 학습시켜 얻었다. 손의 모션 정보는 연속 영상에서 프레임간에 일정 수준 이상의 차이를 보이는 영역을 추출하였다. 피부색정보와 모션정보로 융합된 영상에서 블랍 분석을 하고 이를 민쉬프트로 추적하여 손을 추적하였다. 제안된 손 추출 및 추적 방법은 컴퓨터/로봇의 사용자가 인간과 마주하듯 컴퓨터/로봇의 서비스를 받을 수 있도록 하는데 주목적을 두고 있다.

• Proceedings of the IEEK Conference
• /
• 2000.09a
• /
• pp.439-442
• /
• 2000

본 연구는 손의 동작변화로 인한 손 영역의 국부적인 조명변화와 복잡한 배경환경에서 손 영역의 검지좌표를 안정적으로 검출, 추적하여 마우스 포인터를 제어하는 핑거 마우스 시스템을 제안하였다. 손의 동작변화로 인한 국부적인 조명변화에 강인한 손 영역 검출을 위한 적응적인 on-line학습법을 제안하였으며 복잡한 배경에서도 안정적인 손 영역 추적이 가능하도록 칼만 트렉킹과 차영상을 이용한 모션 세그멘테이션을 복합적으로 적용하였다. 실험결과 복잡한 배경과 손의 움직임에 상관 없이 검지 좌표를 안정적으로 추적 할 수 있었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2012.11a
• /
• pp.594-596
• /
• 2012

본 논문에서는 손 모션에 대하여 피부색 검출을 기반으로 전역적인 모션을 추적하고 모션 벡터를 생성하여 제스처를 인식하는 방법을 제안한다. 추적을 위하여 Shi-Tomasi 특징점 검출 방법과 Lucas-Kanade 옵티컬 플로우 추정 방법을 사용한다. 손 모션을 추적하는 경우 손의 모양이 다양하게 변화하므로 초기에 검출된 특징점을 계속적으로 추적하는 일반적인 방법으로는 손의 모션을 제대로 추적할 수 없다. 이에 본 논문에서는 프레임마다 새로운 특징점을 검출한 후 옵티컬 플로우를 추정하고 이상치(outlier)를 제거하여 손 모양의 변화에도 추적을 통한 모션 벡터 생성이 가능하도록 한다. 모션 벡터들로 인공 신경망을 사용한 판별 과정을 수행하여 최종적으로 손 모션 제스처에 대한 인식이 가능하도록 한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.04a
• /
• pp.884-887
• /
• 2015

손 영역 추적에서는 피부색이 가장 유용한 정보 중 하나이다. 그런데 손 영역과 얼굴 영역이 서로 겹치거나 가까이 있을 때 손 영역의 추적결과인 바운딩이 얼굴 영역까지 불필요하게 확장되는 문제점이 존재한다. 본 논문에서는 얼굴 영역 추적결과를 손 영역 추적에 사용한다. 구체적으로, 얼굴 영역 내에 손 영역의 바운딩이 침투하지 않도록 한다. 실험결과, 얼굴 영역 추적결과를 사용한 경우 그렇지 않은 경우에 비해 손 영역의 바운딩을 정확히 예측하였으며 초당 30~35 프레임의 빠른 계산속도를 유지하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.781-783
• /
• 2005

본 논문은 손 모양 인식을 이용한 비전 기반의 보행 로봇 제어 시스템을 제안한다. 손의 모양을 인식하기 위해서 움직이는 카메라 영상으로부터 정확한 손의 경계선물 추출하고 추적하는 일이 선행되어야 한다. 따라서 본 논문에서는 민 시프트 방법을 사용한 활성 윤곽선 모델 기반의 추적 방법을 제안한다. 제안된 시스템은 손 추출기, 손 추적기, 손 모양 인식기 그리고 로봇 제어기, 4개의 모들로 구성된다. 손 추출기는 영상에서 미리 정의된 손의 모양을 가지는 피부색 영역을 추출한다. 추출된 손의 추적은 활성 윤관선 모델과 민 시프트 방법을 사용하여 실행된다. 그 후 Hue moments를 사용하여 추적된 손의 모양을 인식한다. 제안된 방법을 평가하기 위해서 본 논문에서는 2족 보행 로봇 KHR-1에 제안된 방법을 적용 한다.

• Journal of Broadcast Engineering
• /
• v.19 no.6
• /
• pp.942-956
• /
• 2014

This paper proposes a real-time hand pose tracking method using a monocular RGB camera. Hand tracking has high ambiguity since a hand has a number of degrees of freedom. Thus, to reduce the ambiguity the proposed method adopts the step-by-step estimation scheme: a palm pose estimation, a finger yaw motion estimation, and a finger pitch motion estimation, which are performed in consecutive order. Assuming a hand to be a plane, the proposed method utilizes a planar hand model, which facilitates a hand model regeneration. The hand model regeneration modifies the hand model to fit a current user's hand, and improves robustness and accuracy of the tracking results. The proposed method can work in real-time and does not require GPU-based processing. Thus, it can be applied to various platforms including mobile devices such as Google Glass. The effectiveness and performance of the proposed method will be verified through various experiments.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.05a
• /
• pp.752-753
• /
• 2023

본 논문에서는 손가락 관절의 운동범위와 MediaPipe 손 추적기를 이용하여 3 차원 손 추적 방법을 설계하였다. MediaPipe 손 추적기가 추정한 신뢰할 수 있는 2 차원 좌표를 바탕으로 손 랜드마크의 깊이를 추정한 후, 손가락 관절 운동범위와 부합한 결과를 도출하였다. 본 논문에서 제안한 3 차원 손 추적 방법은 전용 하드웨어 없이 동작하며 기존의 3 차원 손 추적기에 비해 보다 직관적인 인간-컴퓨터 인터페이스 확산에 긍정적 영향을 줄 것으로 기대한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2010.06c
• /
• pp.490-495
• /
• 2010

본 연구에서는 효과적인 손 제스처 인식을 위하여 다중 특징을 이용한 견고한 손 추적 방법을 제시한다. 기존의 많은 손추적 장치들이 칼라 정보나 모션 정보와 같은 단일한 정보를 바탕으로 손을 검출하고, 이를 바탕으로 손의 추적하는 방법들을 제시하고 있다. 이러한 방법들의 경우에는 손 추적 중에 환경이나 상황이 변하게 되면, 손추적의 정확도가 현저하게 떨어지게 된다. 본 연구에서는 이러한 문제점들을 보완하기 위하여, Adaboost를 이용한 손 검출, 역투영을 기반으로 손 색상을 이용한 추적, KLT를 바탕으로 한 모션 추적을 이용한 검출을 동시에 수행하며, 각 센서의 추적 결과에 대한 칼만 필터 적용뿐 아니라, 각 센서 정보를 통합하여 견고한 결과를 얻기 위한 방법을 제시한다. 이를 바탕으로 손제스처 인식 시스템을 개발하였으며, 개발된 제스처 인식을 바탕으로 비디오 플레이를 제어하는 시스템을 구현하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2012.06b
• /
• pp.456-458
• /
• 2012

손 추적은 HCI 분야에 있어 손쉽게 이용 가능한 정보 전달 방식 중 하나이며 현재까지도 다양한 연구가 진행되고 있다. 이러한 연구의 공통점은 멀티 큐(Multi-cue)를 기반으로 추적한다는 것이다. 멀티 큐를 사용할 경우 큐들을 어떻게 효율적으로 결합하느냐에 따라 추적 성능이 달라진다. 본 논문에서는 강인한 손 추적을 위해 MSEPF(Mean Shift Embedded Particle Filter) 알고리즘에서 적응적인 멀티 큐 통합 방법을 제안한다. 이는 MSEPF 내부에서 각 파티클에 대한 가중치를 적용할 때, 큐들의 계수를 불확실성 기반으로 계산하여 사용하는 것으로 기존의 멀티 큐 통합 방식의 손 추적보다 강인한 추적을 가능하게 한다. 본 논문에서는 컬러, 깊이 정보에서 얻을 수 있는 피부색, 모션, 깊이 정보 기반 큐를 활용하여 손 추적을 수행하며, 실험 결과, 제안하는 방법은 갑작스런 환경 변화에도 강인한 성능을 보였다.

• Journal of KIISE:Software and Applications
• /
• v.37 no.1
• /
• pp.80-84
• /
• 2010

Tracking hands is an essential technique for hand gesture recognition which is an efficient way in Human Computer Interaction (HCI). Recently, many researchers have focused on hands tracking using a 3D hand model and showed robust tracking results compared to using 2D hand models. In this paper, we propose a novel 3D hand tracking method based on a coupled particle filter. This provides robust and fast tracking results by estimating each part of global hand poses and local finger motions separately and then utilizing the estimated results as a prior for each other. Furthermore, in order to improve the robustness, we apply a multi-cue based method by integrating a color-based area matching method and an edge-based distance matching method. In our experiments, the proposed method showed robust tracking results for complex hand motions in a cluttered background.