• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.11a
• /
• pp.1048-1051
• /
• 2020

본 논문에서는 사람의 손에 관한 개별적으로 분리되어 진행되고 있는 손 위치 추정, 손 자세 추정, 손 동작 인식 작업을 통합하는 Faster-RCNN기반의 프레임워크를 제안하였다. 제안된 프레임워크에서는 RGB 동영상을 입력으로 하여, 먼저 손 위치에 대한 박스를 생성하고, 생성된 박스 정보를 기반으로 손 자세와 동작을 인식하도록 한다. 손 위치, 손 자세, 손 동작에 대한 정답을 동시에 모두 가지는 데이터셋이 존재하지 않기 때문에 Egohands, FPHA 데이터를 동시에 효과적으로 사용하는 방안을 제안하였으며 제안된 프레임워크를 FPHA데이터에 평가하였다., 손 위치 추정 정확도는 mAP 90.3을 기록했고, 손 동작 인식은 FPHA의 정답을 사용한 정확도에 근접한 70.6%를 기록하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2016.07a
• /
• pp.297-298
• /
• 2016

본 논문에서는 손을 보다 효과적으로 인식하기 위해 동작 검출과 피부색 검출을 이용하여 인식하는 시스템을 제안한다. 단순히 피부색만을 이용하여 손을 인식하는 경우 피부색과 유사한 색상의 물체나 다른 신체 부위를 인식하는 문제점이 발생하게 된다. 이러한 문제점을 해결하기 위해 동작 검출을 이용하여 움직이는 물체만을 손이라고 가정하였다. 이렇게 가정을 하고 피부색 검출과 동작 검출을 이용하여 인식하는 경우 신체부위를 제외하고는 거의 검출되지 않는다. 그리고 인식된 영역마다 뼈대를 찾아 손을 검출한다. 조명이나 주변 환경에 최대한 영향을 적게 받기위해 시스템을 설계하였으며 단순 피부색 검출을 이용한 손 검출보다 좋은 성능을 발휘하며 손가락의 개수와 손 모양, 손 추적까지 응용할 수 있다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.976-981
• /
• 2006

수화는 청각장애인이 사용하는 시각적인 언어이다. OpenGL 기반의 가상 현실 공간에서 수화 동작을 표현하기 위해서는 수화 동작 데이터를 삽입하고 수정하는 편집 프로그램이 필요하다. 하지만, 기존의 수화 동작 편집기는 수화를 잘 이해하지 못하는 일반 사용자가 손 모양을 정확하게 편집하거나 얼굴 표정을 표현하는데 어려움이 있다. 또한, 수화 사전에 포함되는 각 수화 단어의 데이터 수가 많기 때문에 이를 효율적으로 생성하고 저장하는 프로그램이 절실히 필요하다. 본 논문에서는 사용자의 편의성을 높이기 위해 수화 동작 그래픽 편집기를 개선하는 방법을 제안한다. 이를 위해 각 손 모양에 대해 21 개의 파라마터로 구성된 데이터를 손가락 별로 분류한 후, 손가락 고유 기호로 변환하고, 손 모양 이름과 일련 번호를 부여하여 손 모양 데이터를 얻었으며, 유사한 손 모양을 그룹으로 묶은 손 모양 그룹 데이터를 구성하여 손 모양 데이터 사전을 구축하였다. 구축된 손 모양 사전을 수화 동작 편집기에 적용함으로써 사용자는 손 모양 그룹과 손 모양 이름, 일련번호를 선택하여 손의 각 관절 움직임을 쉽게 편집할 수 있으며, 이를 가상현실 공간에서 움직여 볼 수 있다. 또한, 얼굴 표정과 안색을 편집할 수 있는 기능을 추가함으로써 수화 동작 중에 얼굴 표정을 쉽게 표현할 수 있도록 하였다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.10 no.4
• /
• pp.674-679
• /
• 2006

In this paper a gesture recognition system using 3D feature data is described. The system relies on a novel 3D sensor that generates a dense range mage of the scene. The main novelty of the proposed system, with respect to other 3D gesture recognition techniques, is the capability for robust recognition of complex hand postures such as those encountered in sign language alphabets. This is achieved by explicitly employing 3D hand features. Moreover, the proposed approach does not rely on colour information, and guarantees robust segmentation of the hand under various illumination conditions, and content of the scene. Several novel 3D image analysis algorithms are presented covering the complete processing chain: 3D image acquisition, arm segmentation, hand -forearm segmentation, hand pose estimation, 3D feature extraction, and gesture classification. The proposed system is tested in an application scenario involving the recognition of sign-language postures.

• Journal of the Korea Computer Graphics Society
• /
• v.3 no.2
• /
• pp.65-76
• /
• 1997

본 논문은 인체의 최종효과기 (예: 손)가 주어진 공간상의 목표위치를 성취하도록 새로운 동작을 다수의 기존 동작을 혼합하여 생성하는 동작혼합기법을 제시한다. 전형적인 동작혼합기법에서는 동작들을 구성하는 관절커브들에 사용자가 적절한 가중치를 주고 이들의 가중치 합을 구하여 새로운 동작의 관절커브로 삼는다. 그러나 생성될 동작이 특정 제약조건 (예: 손의 최종위치)를 만족해야 될 경우에는 사용자가 성분동작에 적절한 가중치를 부여하는 것이 쉽지 않다. 따라서 본 논문은 원하는 동작의 타입 (예: 걷기, 손 뻗기) 과 동작의 최초 및 최종상태가 주어지연, 주어진 최초 및 최종상태를 만족하는 새로운 동작을 기존동작들을 혼합하여 자동적으로 생성하는 기법을 제안한다. 이 기법은 성분동작들의 집합을 연속적이고 완만한 곡면으로 표현하고 사용자가 생성하기 원하는 동작의 최초 및 최종상태를 정하면 이 곡면상에 있으면서 주어진 최초 및 최종상태를 만족하는 특정 동작을 구하여 원하는 동작으로 삼는다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.27 no.2
• /
• pp.126-131
• /
• 2017

In this paper, we propose a method to extract meaningful motion among various kinds of hand gestures on giving commands to robots using hand gestures. On giving a command to the robot, the hand gestures of people can be divided into a preparation one, a main one, and a finishing one. The main motion is a meaningful one for transmitting a command to the robot in this process, and the other operation is a meaningless auxiliary operation to do the main motion. Therefore, it is necessary to extract only the main motion from the continuous hand gestures. In addition, people can move their hands unconsciously. These actions must also be judged by the robot with meaningless ones. In this study, we extract human skeleton data from a depth image obtained by using a Kinect v2 sensor and extract location data of hands data from them. By using the Kalman filter, we track the location of the hand and distinguish whether hand motion is meaningful or meaningless to recognize the hand gesture by using the hidden markov model.

• Proceedings of the IEEK Conference
• /
• 2000.09a
• /
• pp.439-442
• /
• 2000

본 연구는 손의 동작변화로 인한 손 영역의 국부적인 조명변화와 복잡한 배경환경에서 손 영역의 검지좌표를 안정적으로 검출, 추적하여 마우스 포인터를 제어하는 핑거 마우스 시스템을 제안하였다. 손의 동작변화로 인한 국부적인 조명변화에 강인한 손 영역 검출을 위한 적응적인 on-line학습법을 제안하였으며 복잡한 배경에서도 안정적인 손 영역 추적이 가능하도록 칼만 트렉킹과 차영상을 이용한 모션 세그멘테이션을 복합적으로 적용하였다. 실험결과 복잡한 배경과 손의 움직임에 상관 없이 검지 좌표를 안정적으로 추적 할 수 있었다.

• Journal of Korea Multimedia Society
• /
• v.13 no.2
• /
• pp.316-323
• /
• 2010

In this paper, we propose fingertip extraction and hand motion recognition method for augmented reality applications. First, an input image is transformed into HSV color space from RGB color space. A hand area is segmented using double thresholding of H, S value, region growing, and connected component analysis. Next, the end points of the index finger and thumb are extracted using morphology operation and subtraction for a virtual keyboard and mouse interface. Finally, the angle between the end points of the index finger and thumb with respect to the center of mass point of the palm is calculated to detect the touch between the index finger and thumb for implementing the click of a mouse button. Experimental results on various input images showed that our method segments the hand, fingertips, and recognizes the movements of the hand fast and accurately. Proposed methods can be used the input interface for augmented reality applications.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.61-64
• /
• 2011

본 논문은 휴대폰 상에서 손(손가락) 동작을 이용한 가상 정보(객체)와의 자연스러운 상호작용을 제공하는 비전 기반 인터페이스를 제안한다. 이 인터페이스는 사용자가 한 손에 휴대폰을 들고 휴대폰의 카메라를 통해서 다른 손의 손바닥을 바라보는 상황을 가정한다. 사용자의 손바닥 위에 가상 객체가 증강되고, 사용자는 자신의 손과 손가락의 움직임을 통해서 가상 객체와 상호작용 할 수 있다. 제안하는 인터페이스는 사용자에게 친숙한 손동작 기반으로 동작하며 추가적인 센서나 마커를 요구하지 않기 때문에, 사용자는 별도의 훈련 과정 없이 원하는 시간과 장소에서 자유롭게 가상 객체와 상호작용 할 수 있다. 일부 시간이 많이 걸리는 처리 과정을 모바일 환경에 맞도록 최적화, 고속화함으로써, 제안하는 인터페이스는 상용화된 휴대폰(Galaxy S2)에서 5fps 로 동작한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04b
• /
• pp.502-504
• /
• 2001

본 논문은 동작자가 표현하는 수화 동작 중, 지문자 영상을 2차원 영상처리에 의하여 이식하는 방법을 제안한다. 손에 개인에 따라 변량이 존재하고 같은 동작을 표현하더라도 항상 일정하지 않기 때문에, 지문자 인식을 위하여 손의 구조적인 정보를 이용한다. 추출된 손 영역을 입력으로 하여 손의 외곽 정보를 이용한 MAT(Medial Axis Transform)를 수행한다. 여기에서 나온 골격의 변화에 따라 각각 손가락에 해당하는 2번 쇽(Shock)과 손 바닥에 해당하는 4번 쇽의 관계에 의하여 지문자를 인식한다. 이러한 구조적인 정보를 이용함으로써 개인에 의해 나타나는 표현의 차이를 제거할 수 있고, MAT를 이용할 때 나타나는 외곽영역의 잡음에 의한 구조 변화에도 안정적으로 대처할 수 있다. 제안한 알고리즘을 이용하여 31개의 단순 지문자에 대한 270개의 입력영상을 실험한 결과 81.1%, 모양이 흡사한 지문자를 통합하여 26개의 지문자로 식별할 경우에는 91.1%의 인식율을 나타내었다.