• Proceedings of the IEEK Conference
• /
• 2000.09a
• /
• pp.439-442
• /
• 2000

본 연구는 손의 동작변화로 인한 손 영역의 국부적인 조명변화와 복잡한 배경환경에서 손 영역의 검지좌표를 안정적으로 검출, 추적하여 마우스 포인터를 제어하는 핑거 마우스 시스템을 제안하였다. 손의 동작변화로 인한 국부적인 조명변화에 강인한 손 영역 검출을 위한 적응적인 on-line학습법을 제안하였으며 복잡한 배경에서도 안정적인 손 영역 추적이 가능하도록 칼만 트렉킹과 차영상을 이용한 모션 세그멘테이션을 복합적으로 적용하였다. 실험결과 복잡한 배경과 손의 움직임에 상관 없이 검지 좌표를 안정적으로 추적 할 수 있었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2007.10c
• /
• pp.501-504
• /
• 2007

본 논문은 다중 클래스 SVM을 이용하여 손 형태를 효과적으로 인식할 수 있는 방법을 제시한다. 컴퓨터의 상호작용 연구가 활발해짐에 따라 컴퓨터가 인간의 행동을 얼마나 정확히 인식할 수 있느냐에 대한 연구는 끊임없이 이루어지고 있다. 본 연구에서는 실시간으로 입력되는 손영상에 대하여 색상(Hue)과 채도(Saturation)를 이용한 컬러모델을 기반으로 조명의 영향을 줄이며 손의 영역을 추출하고, 특히, 팔영역을 포함한 손영역이 촬영된 영상에서 손목 이후 부분을 제외한 손 영역만을 추출하도록 하였다. 손 형태를 인식하기 위하여 손 영역으로부터 손의 특징을 18 개의 특징값으로 표현하였고, 이를 통해 학습된 다중 클래스 SVM을 이용하여 손 형태를 인식하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.781-783
• /
• 2005

본 논문은 손 모양 인식을 이용한 비전 기반의 보행 로봇 제어 시스템을 제안한다. 손의 모양을 인식하기 위해서 움직이는 카메라 영상으로부터 정확한 손의 경계선물 추출하고 추적하는 일이 선행되어야 한다. 따라서 본 논문에서는 민 시프트 방법을 사용한 활성 윤곽선 모델 기반의 추적 방법을 제안한다. 제안된 시스템은 손 추출기, 손 추적기, 손 모양 인식기 그리고 로봇 제어기, 4개의 모들로 구성된다. 손 추출기는 영상에서 미리 정의된 손의 모양을 가지는 피부색 영역을 추출한다. 추출된 손의 추적은 활성 윤관선 모델과 민 시프트 방법을 사용하여 실행된다. 그 후 Hue moments를 사용하여 추적된 손의 모양을 인식한다. 제안된 방법을 평가하기 위해서 본 논문에서는 2족 보행 로봇 KHR-1에 제안된 방법을 적용 한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.11a
• /
• pp.1052-1055
• /
• 2020

본 논문에서는 3D 메시 정보, RGB-D 손 자세 및 2D/3D 손/세그먼트 마스크를 포함하여 인간의 손과 관련된 다양한 컴퓨터 비전 작업에 사용할 수 있는 새로운 다중 모달 합성 벤치마크를 제안 하였다. 생성된 데이터셋은 기존의 대규모 데이터셋인 BigHand2.2M 데이터셋과 변형 가능한 3D 손 메시(mesh) MANO 모델을 활용하여 다양한 손 포즈 변형을 다룬다. 첫째, 중복되는 손자세를 줄이기 위해 전략적으로 샘플링하는 방법을 이용하고 3D 메시 모델을 샘플링된 손에 피팅한다. 3D 메시의 모양 및 시점 파라미터를 탐색하여 인간 손 이미지의 자연스러운 가변성을 처리한다. 마지막으로, 다중 모달리티 데이터를 생성한다. 손 관절, 모양 및 관점의 데이터 공간을 기존 벤치마크의 데이터 공간과 비교한다. 이 과정을 통해 제안된 벤치마크가 이전 작업의 차이를 메우고 있음을 보여주고, 또한 네트워크 훈련 과정에서 제안된 데이터를 사용하여 RGB 기반 손 포즈 추정 실험을 하여 생성된 데이터가 양질의 질과 양을 가짐을 보여준다. 제안된 데이터가 RGB 기반 3D 손 포즈 추정 및 시맨틱 손 세그멘테이션과 같은 품질 좋은 큰 데이터셋이 부족하여 방해되었던 작업에 대한 발전을 가속화할 것으로 기대된다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.897-902
• /
• 2007

인간과 컴퓨터간의 전통적인 인터페이스는 인간이 요구하는 다양한 인터페이스를 제공하지 못한다는 점에서 점차 사용하기 불편하게 되었고 이는 새로운 형태의 인터페이스에 대한 요구로 이어지게 되었다. 본 논문에서는 이러한 추세에 맞추어 카메라를 통해 인간의 손 제스처를 인식하는 새로운 인터페이스를 연구하였다. 손은 자유도가 높고 3차원의 view direction에 의해 형상이 매우 심하게 변한다. 따라서 윤곽선 기반방법과 같은 2차원으로 투영된 영상에서 contour나 edge의 정보로 손 제스처를 인식하는 데는 한계가 있다. 그러나 모델기반 방법은 3차원 정보를 이용하기 때문에 손 제스처를 인식하는데 좋으나 계산량이 많아 실시간으로 처리하기가 쉽지 않다. 이러한 문제점을 해결하기 위해 손 형상에 대한 대규모 데이터베이스를 구성하고 정규화된 공간에서 Feature 간의 연관성을 파악하여 훈련 데이터 모델을 구성하여 비교함으로써 실시간으로 손 포즈를 구별할 수 있다. 이러한 통계적 학습 기반의 알고리즘은 다양한 데이터와 좋은 feature의 검출이 최적의 성능을 구현하는 것과 연관된다. 따라서 배경으로부터 노이즈를 최대한 줄이기 위해 피부의 색상 정보를 이용하여 손 후보 영역을 검출하고 검출된 후보 영역으로부터 HLF(Haar-like Feature)를 이용하여 손 영역을 검출한다. 검출된 손 영역으로부터 패턴 분류 과정을 거쳐 손 포즈를 인식 하게 된다. 패턴 분류 과정은 HLF를 이용하여 손 포즈를 인식하게 되는데 미리 학습된 각 포즈에 대한 HLF를 이용하여 손 포즈를 인식하게 된다. HLF는 Violar가 얼굴 검출에 적용한 것으로 얼굴 검출에 좋은 결과를 보여 주었으며, 이는 적분 이미지로부터 추출한 HLF를 이용한 Adaboost 학습 알고리즘을 사용하였다. 본 논문에서는 피부색의 색상 정보를 이용 배경과 손 영상을 최대한 분리하여 배경의 대부분이 Adaboost-Haar Classifier의 첫 번째 스테이지에서 제거되는 방법을 이용하여 그 성능을 더 향상 시켜 손 형상 인식에 적용하였다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.16 no.3
• /
• pp.271-274
• /
• 2006

This paper deals with a similarity decision method between the shape of hand-postures and their structures to improve performance of the vision-based hand-posture recognition system. Hand-posture recognition by vision sensors has difficulties since the human hand is an object with high degrees of freedom, and hence grabbed images present complex self-occlusion effects and, even for one hand-posture, various appearances according to viewing directions. Therefore many approaches limit the relative angle between cameras and hands or use multiple cameras. The former approach, however, restricts user's operation area. The latter requires additional considerations on the way of merging the results from each camera image to get the final recognition result. To recognize hand-postures, we use both of appearance and structural features and decide the similarity between the two types of features by learning.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.25 no.12
• /
• pp.1770-1776
• /
• 2021

For hand expression recognition, hand pose recognition based on the static shape of the hand and hand gesture recognition based on hand movement are used together. In this paper, we proposed a hand expression recognition method that recognizes symbols based on the trajectory of a hand movement on a virtual blackboard. In order to recognize a sign drawn by hand on a virtual blackboard, not only a method of recognizing a sign from a hand movement, but also hand pose recognition for finding the start and end of data input is also required. In this paper, MediaPipe was used to recognize hand pose, and LSTM(Long Short Term Memory), a type of recurrent neural network, was used to recognize hand gesture from time series data. To verify the effectiveness of the proposed method, it was applied to the recognition of numbers written on a virtual blackboard, and a recognition rate of about 94% was obtained.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.10b
• /
• pp.628-630
• /
• 2003

본 연구는 손의 형상을 복잡한 배경환경에서 손 영역을 안정적으로 검출, 인식하여 윈도우 플레이어의 기능을 제어하는 시스템을 제안하였다. 손은 형상이 매우 복잡하기 때문에 2차원 형상의 불변량에 해당하는 에지의 방향성 히스토그램을 이용하여 인식을 행한다. 이 방법은 복잡한 배경에서 피부색을 지닌 손 영역이 정확히 추출되며 손 형상을 인식하는데 있어서 수행속도가 빠르고 조명변화에 덜 민감하기 때문에 실시간 손 형상 인식에 적합하다. 본 논문에서 제안한 방법을 윈도우 플레이어 제어에 적용한 결과 안정적으로 제어 할 수 있었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.05a
• /
• pp.471-473
• /
• 2018

딥러닝은 이미지 분류 및 객체 검출과 같은 여러 컴퓨터 비전 관련 작업에 성공적으로 사용되었다. 손 검출은 인간 컴퓨터 상호작용 분야에서 손 분류 및 손 동작 인식을 위한 매우 중요한 부분이며 딥러닝을 사용하여 시도되었다. 본 연구에서는 손 데이터 셋을 이용하여 컨볼루션 신경망을 훈련시킨 다음 학습된 특징을 시각화하고, CNN 아키텍처와 손 데이터 셋의 결과를 각각 살펴보며 손 검출에 대한 이해를 제공한다.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2007.11a
• /
• pp.300-303
• /
• 2007

지문자는 청각장애인이 사용하는 수화로 표현하지 못하는 한글 문자를 알파벳으로 표시하기위한 손 제스처이다. 본 논문에서는 추출된 손 영역의 무게 중심과 퍼지 논리를 이용하여 지문자를 인식하는 알고리즘을 제안하고, 한글 문자를 표현하는 시스템을 개발한다. USB 카메라로부터 얻어진 영상에서 히스토그램을 이용하여 손의 피부색 영역을 추출하고, 영상 마스크를 이용하여 피부색이 아닌 배경 영역을 제거한다. 문턱 값을 사용하여 얻어진 이진화된 영상에서 손의 영역을 검출하고, 무게 중심을 이용하여 손 중심과 손가락 끝의 거리를 측정한다. 얻어진 거리 정보에 퍼지 기법을 적용하여 손가락의 굽힘 정도를 판단하고, 손 모양 데이터베이스에서 손가락 굽힘 정도와 가장 근사한 한글 문자를 선택한다.