• ETRI Journal
• /
• 제33권3호
• /
• pp.415-422
• /
• 2011

In this paper, we present a novel vision-based method of recognizing finger actions for use in electronic appliance interfaces. Human skin is first detected by color and consecutive motion information. Then, fingertips are detected by a novel scale-invariant angle detection based on a variable k-cosine. Fingertip tracking is implemented by detected region-based tracking. By analyzing the contour of the tracked fingertip, fingertip parameters, such as position, thickness, and direction, are calculated. Finger actions, such as moving, clicking, and pointing, are recognized by analyzing these fingertip parameters. Experimental results show that the proposed angle detection can correctly detect fingertips, and that the recognized actions can be used for the interface with electronic appliances.

• 한국컴퓨터정보학회논문지
• /
• 제18권8호
• /
• pp.65-75
• /
• 2013

본 논문에서는 깊이 영상만을 이용하여 손 영역 추적 및 손 끝점 검출 방법을 제안한다. 조명 조건의 영향을 제거하고 빠르고 안정적인 정보 획득을 위해 깊이 정보만을 이용하는 추적 방법을 제안하고, 영역 확장 방법을 통해 추적 과정 중에 발생할 수 있는 오류에 대한 판단 방법과 다양한 제스처 인식에 응용이 가능한 손 끝점 검출 방법을 제안한다. 먼저 추적점을 찾기 위해 중심점 전이 과정을 통해 최근접점을 찾고 그 점으로부터 영역 확장을 통해 손 영역과 경계선을 검출한다. 그리고 영역 확장을 통해 획득한 무효경계선의 비율을 이용하여 추적영역에 대한 신뢰도를 계산함으로써 정상 추적 여부를 판단한다. 정상적인 추적인 경우, 검출된 손 영역으로부터 윤곽선을 추출하고 곡률 및 RANSAC, 컨벡스 헐(Convex-Hull)을 이용하여 손 끝점을 검출한다. 마지막으로 성능 검증을 위해 다양한 상황에 따른 정량적, 정성적 분석을 통해 제안하는 추적 및 손 끝점 검출 알고리즘의 효율성을 입증한다.

• 한국콘텐츠학회논문지
• /
• 제11권10호
• /
• pp.11-18
• /
• 2011

기존 손가락 추적을 수행하는데 있어 손가락 끝점을 계산하는 방법 중 가장 일반적인 방법은 먼저 피부색정보를 추출한다. 블럽 함수의 블럽 컬러링(Blob Coloring) 알고리즘을 통하여 피부 윤곽선을 계산하고, 그 중 가장 최상위 점을 손가락 끝점으로 정한다. 그러나 이 방법은 구부러진 손가락 상태에서 그것의 위치를 측정할 때 실제 손가락 끝이 아닌 잘못된 위치를 탐지하는 문제점을 가지고 있다. 본 논문에서는 구부러진 손가락 끝점 추적을 위한 컬러 영역 보정 알고리즘을 제안하였다. 제안하는 방법은 구부러진 손가락 상태에서의 손가락 끝점 추적시 잘못된 곳을 측정하는 문제점을 사용자들의 성향을 통해 미리 예상하고 보정함으로써 성능을 향상시키고자 한다. 제안하는 방법을 개발하여 논리적 타당성과 유효성을 검증하기 위해 실험적인 적용을 시도하고자 한다. 따라서 영상인식에서 서비스의 만족도와 질을 향상시켰다.

• 한국컴퓨터정보학회논문지
• /
• 제19권2호
• /
• pp.125-132
• /
• 2014

본 논문에서는 저가의 웹 카메라를 사용하여 마커 없이 손끝과 붓을 트래킹 하는 시스템을 제시한다. 트래킹 시스템은 CUDA를 사용하여 병렬처리를 적용했다. 이 트래킹 시스템은 노트북이나 데스크탑과 같은 환경에서 수행이 가능하고, 실시간 애플리케이션에 사용 가능한 성능을 가진다. 또한 본 논문에서는 사적인 수성 사인펜 드로잉 모델을 제시하고 구현된 결과를 보여준다. 제안하는 시스템은 손끝과 붓을 트래킹 하는 저가의 실시간 트래킹 시스템으로 사실적 드로잉 애플리케이션과 연동하여 미래 최첨단 교육 환경 구축의 테스트베드로의 활용을 기대한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제4권4호
• /
• pp.618-632
• /
• 2010

This paper presents a novel approach to control the augmented reality (AR) objects robustly in a marker-less AR system by fingertip tracking and hand pattern recognition. It is known that one of the promising ways to develop a marker-less AR system is using human's body such as hand or face for replacing traditional fiducial markers. This paper introduces a real-time method to manipulate the overlaid virtual objects dynamically in a marker-less AR system using both hands with a single camera. The left bare hand is considered as a virtual marker in the marker-less AR system and the right hand is used as a hand mouse. To build the marker-less system, we utilize a skin-color model for hand shape detection and curvature-based fingertip detection from an input video image. Using the detected fingertips the camera pose are estimated to overlay virtual objects on the hand coordinate system. In order to manipulate the virtual objects rendered on the marker-less AR system dynamically, a vision-based hand control interface, which exploits the fingertip tracking for the movement of the objects and pattern matching for the hand command initiation, is developed. From the experiments, we can prove that the proposed and developed system can control the objects dynamically in a convenient fashion.

• 정보처리학회논문지B
• /
• 제17B권4호
• /
• pp.287-294
• /
• 2010

TOF(Time of Flight) 기술은 물체의 3차원 깊이 정보 추출을 가능케 하는 기술 중의 하나이다. 하지만, TOF의 카메라의 출력인 깊이 영상을 이용한 물체의 3차원 위치 추출은 몸이나 손 등 크기가 큰 물체의 경우에는 비교적 신뢰성 있는 결과를 얻을 수 있는데 비하여 크기가 작은 손 끝의 경우에는 신뢰할 수 있는 값을 얻기 힘들다. 본 논문에서는 TOF 카메라에서 육면체 손 모델을 이용하여 수정된 손의 영상에서의 위치 정보와 팔 모델을 이용하여 손 끝의 3차원 좌표를 추정한다. 제안된 방법으로 실험을 한 결과 TOF 카메라의 깊이 영상만을 사용하여 인식한 손 끝의 3차원 위치정보와 비교하여 훨씬 더 향상된 결과를 얻을 수 있었다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제29권11호
• /
• pp.851-859
• /
• 2002

본 연구는 마우스의 입력을 사람의 손동작으로 대체하는 휴먼마우스 시스템을 위한 새로운 손끝 좌표 추적기법과 마우스 포인터 움직임 결정법을 제안한다. 손끝좌표 추적에는 얼굴영역 추적을 위해 제안되었던 CAMSHIFT 알고리즘을 개선하여 적용하였다. 정확한 손 영역 검출을 위하여 각 사용자의 환경에 최적화된 피부영역 컬러 정보를 얻을 수 있는 실시간 피부영역 학습과 손의 자유로운 움직임으로 인하여 발생하는 손 영역의 크기 및 방향변화를 고려한 영역제한 기법을 적용하였다. 또한 손의 주축을 이용한 손끝좌표 계산법을 통해 빠르고 정확하게 손끝의 위치를 찾을 수 있다. 실시간 손끝좌표 검출에는 처리속도의 한계가 있어 얻어지는 좌표의 연속성이 결여되어 마우스 포인터의 움직임이 연결되지 않는 문제점이 있다. 연속적인 마우스 포인터의 움직임 표현을 위해 손끝좌표의 이동거리를 통해 마우스 포인터의 속도와 가속도를 계산하여 마우스 포인터의 운동방정식을 정의하고 이를 이용하여 마우스 포인터의 위치를 결정한다. 제안한 알고리즘을 적용하여 실험한 결과 빠르고 정확한 손끝좌표 추적과 마우스 포인터의 자연스러운 움직임이 가능함을 보였다.

• Journal of Computational Design and Engineering
• /
• 제1권4호
• /
• pp.289-297
• /
• 2014

Although big-sized markers are good for accurate marker recognition and tracking, they are easily occluded by other objects and deteriorate natural visualization and level of immersion during user interaction in AR environments. In this paper, we propose an approach to exploiting the use of rectangular markers to support tangible AR interaction based on fingertip touch using small-sized markers. It basically adjusts the length, width, and interior area of rectangular markers to make them more suitably fit to longish objects like fingers. It also utilizes convex polygons to resolve the partial occlusion of a marker and properly enlarges the pattern area of a marker while adjusting its size without deteriorating the quality of marker detection. We obtained encouraging results from users that the approach can provide better natural visualization and higher level of immersion, and be accurate and tangible enough to support a pseudo feeling of touching virtual products with human hands or fingertips during design evaluation of digital handheld products.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2015년도 춘계학술대회
• /
• pp.501-502
• /
• 2015

본 논문에서는 스마트 플랫폼에서 다양한 UX(User eXprience)를 위한 적외선(IR, Infra red) 카메라를 이용해 손가락의 움직임을 파악하고 추적하여 언제 어디서든 쉽게 사용하고 휴대하기 편한 웨어러블 키보드의 설계방안을 제안한다. 이를 위해 2대의 적외선 카메라로 인식된 영상을 바탕으로 Fingertip Tracking 알고리즘과 k-cuvature 알고리즘 적용하기 위해 OpenCV와 MFC로 가상의 웨어러블 키보드를 설계하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제25권5호
• /
• pp.11-20
• /
• 2019

딥러닝 기술의 발전으로 가상 현실이나 증강 현실 응용에서 사용하기 적절한 사용자 친화적 인터페이스에 관한 연구가 활발히 이뤄지고 있다. 본 논문은 사용자의 손을 이용한 인터페이스를 지원하기 위하여 손 끝 좌표를 추적하여 가상의 객체를 선택하거나, 공중에 글씨나 그림을 작성하는 행위가 가능하도록 딥러닝 기반 손 끝 객체 탐지 방법을 제안한다. 입력 영상에서 Grad-CAM으로 해당 손 끝 객체의 대략적인 부분을 잘라낸 후, 잘라낸 영상에 대하여 Atrous Convolution을 이용한 합성곱 신경망을 수행하여 손 끝의 위치를 찾는다. 본 방법은 객체의 주석 전처리 과정을 별도로 요구하지 않으면서 기존 객체 탐지 알고리즘 보다 간단하고 구현하기에 쉽다. 본 방법을 검증하기 위하여 Air-Writing 응용을 구현한 결과 평균 81%의 인식률과 76 ms 속도로 허공에서 지연 시간 없이 부드럽게 글씨 작성이 가능하여 실시간으로 활용 가능함을 알 수 있었다.