• 한국콘텐츠학회논문지
• /
• 제18권4호
• /
• pp.398-405
• /
• 2018

HCI 분야에서 대표적인 손 제스처 인식은 IT기기의 개발과 더불어 사용자와 기기 간의 상호작용 및 정보교환을 위한 방법으로 주목받고 있다. 영상 처리를 통한 손 제스처 인식에서 손바닥 영역 검출은 처리속도 및 인식률 향상에 기여하는 핵심 처리 과정이다. 본 논문에서는 손바닥 영역 검출(palm area detection)을 위해 손과 손목을 영상 분할(image segmentation) 하는 새로운 방법을 제안한다. 손의 해부학적 특성으로 가장 넓은 폭이 발생하는 엄지와 소지의 장골 간격을 손 영상의 수평 투사 히스토그램으로 계산 후 이 간격을 지름으로 하는 원을 그려 손바닥 영역을 검출한다. 이 방법의 우수성을 검증하기 위하여 다단 형판정합(multiple stage template matching)을 사용해 10가지 손 제스처에 대해 기존 방법 4가지와 인식 성능을 비교 평가한다. 손 제스처 인식에 관련한 연구가 다양하나 손바닥 영역 검출에 특화된 성능 비교 문헌이 저조함을 강조한다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.1037-1043
• /
• 2006

본 논문에서는 유비쿼터스 컴퓨팅 오피스 환경에서 가장 직관적인 HCI 수단인 손 제스처를 사용하여 대형 스크린 상의 응용 프로그램들을 쉽게 제어할 수 있는 시스템을 제안한다. 손 제스처는 손 영역의 정보, 손 중심점의 위치 변화값과 손가락 형상을 이용하여 시스템 제어에 필요한 종류들을 미리 정의해 둔다. 먼저 효율적으로 손 영역 획득을 위해 적외선 카메라를 사용하여 연속된 영상을 획득한다. 획득된 영상 프레임으로부터 구조적 템플레이트 매칭 방법을 사용하여 손의 중심(centroid) 및 손가락끝(fingertip)을 검출한다. 인식과정에서는 양손의 Euclidean distance와 손가락 형상 정보를 이용하여 미리 정의된 제스처와 비교하여 인식을 행한다. 본 논문에서 제안한 비전 기반 hand gesture 제어 시스템은 인간과 컴퓨터의 상호작용을 이해하는데 많은 이점을 제공할 수 있다. 실험 결과를 통해 본 논문에서 제안한 방법의 효율성을 입증한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2012년도 추계학술발표대회
• /
• pp.594-596
• /
• 2012

본 논문에서는 손 모션에 대하여 피부색 검출을 기반으로 전역적인 모션을 추적하고 모션 벡터를 생성하여 제스처를 인식하는 방법을 제안한다. 추적을 위하여 Shi-Tomasi 특징점 검출 방법과 Lucas-Kanade 옵티컬 플로우 추정 방법을 사용한다. 손 모션을 추적하는 경우 손의 모양이 다양하게 변화하므로 초기에 검출된 특징점을 계속적으로 추적하는 일반적인 방법으로는 손의 모션을 제대로 추적할 수 없다. 이에 본 논문에서는 프레임마다 새로운 특징점을 검출한 후 옵티컬 플로우를 추정하고 이상치(outlier)를 제거하여 손 모양의 변화에도 추적을 통한 모션 벡터 생성이 가능하도록 한다. 모션 벡터들로 인공 신경망을 사용한 판별 과정을 수행하여 최종적으로 손 모션 제스처에 대한 인식이 가능하도록 한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
• /
• pp.715-717
• /
• 2004

본 논문에서는 HTPC를 제어하기 위한 제스처 기반의 인터페이스를 제안한다. 제안된 인터페이스를 이용하여 사용자는 HTPC와 떨어진 장소에서 쉽게 HTPC를 제어할 수 있다. 제스처를 인식하기 위해 인터페이스는 실시간 연속 영상으로부터 사용자의 손을 검출하고, 손의 움직임, 모양, 위치 정보를 추출한다. 사용자의 제스처를 인식하기 위해 추출된 정보와 HMMs 을 사용한다. 실험 결과는 제안한 인터페이스가 멀티미디어 응용프로그램뿐만 아니라 다른 종류의 컴퓨터 응용프로그램에서 사용자와 HTPC간에 상호작용하여 접근할 수 있음을 보인다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.891-896
• /
• 2007

지금까지 진행된 제스처 인식 연구는 한 사람을 대상으로 정적인 환경을 가정하여 이루어져 왔다. 본 논문에서는 복수의 등장인물이 존재하는 환경에서 대화 상대를 선택하여 제스처를 인식하는 방법에 대해 기술한다. 먼저 복수의 인물이 존재하는 환경에서 배경영역을 제외한 행위자의 영역을 추출한다. 그 후 각각의 행위자를 트래킹하면서 카메라와 가장 가까이 있는 행위자를 대화 상대자로 선택한다. 대화상대자가 선택되면 스테레오 카메라에서 입력된 영상에서 추출된 실루엣 이미지를 이용하여 얼굴과 두 손을 특징 영역으로 하여 매 프레임마다 Kalman filter를 사용하여 각 영역을 트래킹한다. 트래킹되는 특징 영역의 2차원 좌표 값을 모델 제스처의 2차원 좌표 값과 비교하여 가장 높은 유사값을 갖는 모델 제스처를 입력 제스처로 인식하게 된다. 본 논문에서 사용한 방법은 복수의 등장인물이 있는 경우 효과적으로 행위 대상자를 선택하여 제스처를 인식할 수 있다. 또한 제스처 인식에 있어서 단순한 큐 매칭을 사용함으로써 계산이 복잡하지 않은 장점이 있다. 실험을 통해 본 논문에서 제시한 방법을 적용함으로써 복수의 인물이 등장하는 환경에서 제스처 인식이 가능함을 입증한다.

• 한국감성과학회:학술대회논문집
• /
• 한국감성과학회 1998년도 춘계학술발표 논문집
• /
• pp.124-129
• /
• 1998

제스처는 사람들의 의사전달의 자연스러운 수단으로 컴퓨터와 사람의 자연스러운 인터페이슬를 제공할 수 있다. 본 연구에서는 적절한 움직임을 생성하기 위한 명령을 내리기 위하여 손제스터 인식 시스템을 이용하였다. 가상환경에서 아바타의 10가지 기본 동작을 생성하기 위해서 16가지의 제스처를 정의하고, 이 제스처의 인식에 의한 아바타의 움직임을 생성한다.

• 방송공학회논문지
• /
• 제23권2호
• /
• pp.246-252
• /
• 2018

제스처는 스마트 글라스 등 웨어러블 기기의 NUI(Natural User Interface)로 주목받고 있다. 최근 MPEG에서는 IoT(Internet of Things) 및 웨어러블 환경에서의 효율적인 미디어 소비를 지원하기 위한 IoMT(Internet of Media Things) 표준화를 진행하고 있다. IoMT에서는 손 제스처 검출과 인식이 별도의 기기에서 수행되는 것을 가정하고 이들 모듈간의 인터페이스 규격을 제공하고 있다. 한편, 최근 인식률 개선을 위하여 딥러닝 기반의 손 제스처 인식 기법 또한 활발히 연구되고 있다. 본 논문에서는 IoMT의 유스 케이스(use case)의 하나인 웨어러블 기기에서의 미디어 소비 등 다양한 응용을 위하여 CNN(Convolutional Neural Network) 기반의 손 제스처 인식 기법을 제시한다. 제시된 기법은 스마트 글래스로 획득한 스테레오 비디오로부터 구한 깊이(depth) 정보와 색 정보를 이용하여 손 윤곽선을 검출하고, 검출된 손 윤곽선 영상을 데이터 셋으로 구성하여 CNN을 학습한 후, 이를 바탕으로 입력 손 윤곽선 영상의 제스처를 인식한다. 실험결과 제안기법은 95%의 손 제스처 인식율를 얻을 수 있음을 확인하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(C)
• /
• pp.490-495
• /
• 2010

본 연구에서는 효과적인 손 제스처 인식을 위하여 다중 특징을 이용한 견고한 손 추적 방법을 제시한다. 기존의 많은 손추적 장치들이 칼라 정보나 모션 정보와 같은 단일한 정보를 바탕으로 손을 검출하고, 이를 바탕으로 손의 추적하는 방법들을 제시하고 있다. 이러한 방법들의 경우에는 손 추적 중에 환경이나 상황이 변하게 되면, 손추적의 정확도가 현저하게 떨어지게 된다. 본 연구에서는 이러한 문제점들을 보완하기 위하여, Adaboost를 이용한 손 검출, 역투영을 기반으로 손 색상을 이용한 추적, KLT를 바탕으로 한 모션 추적을 이용한 검출을 동시에 수행하며, 각 센서의 추적 결과에 대한 칼만 필터 적용뿐 아니라, 각 센서 정보를 통합하여 견고한 결과를 얻기 위한 방법을 제시한다. 이를 바탕으로 손제스처 인식 시스템을 개발하였으며, 개발된 제스처 인식을 바탕으로 비디오 플레이를 제어하는 시스템을 구현하였다.

• 전자공학회논문지C
• /
• 제36C권8호
• /
• pp.46-53
• /
• 1999

본 논문에서는 원격 작업 환경에서 명령자의 제스처를 자동으로 인식하기 위하여 글로브 센서 기반의 인식 기법을 이용한 3차원 제스처 인식 시스템을 구현하였다. 인식 시스템은 PinchGlove에 부착하여 사용되는 Polhemus 센서로부터 획득한 손 궤적의 3차원 위치 좌표열을 입력으로 사용한다. 또한 본 논문에서는 제스처 인식을 위해 제스처를 구성하는 스트로크를 기본 인식 단위로 사용하는 방법을 제안한다. 각 스트로크는 이산 HMM으로 모델링 되며 이들 HMM을 연결하여 생성된 결합 HMM으로 원격 작업에 사용될 각 제스처들을 모델링 한다. 이 방법은 새로이 정의되는 제스처에 대해 추가의 학습 과정을 필요로 하지 않아 인식 시스템의 확장성을 높일 수 있다. 16개의 제스처를 사용한 인식 실험에서 스트로크 기반의 결합 HMM은 제스처를 기본 단위로 사용한 HMM에 비해 더 좋은 인식 성능을 나타냄을 확인할 수 있었다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.897-902
• /
• 2007

인간과 컴퓨터간의 전통적인 인터페이스는 인간이 요구하는 다양한 인터페이스를 제공하지 못한다는 점에서 점차 사용하기 불편하게 되었고 이는 새로운 형태의 인터페이스에 대한 요구로 이어지게 되었다. 본 논문에서는 이러한 추세에 맞추어 카메라를 통해 인간의 손 제스처를 인식하는 새로운 인터페이스를 연구하였다. 손은 자유도가 높고 3차원의 view direction에 의해 형상이 매우 심하게 변한다. 따라서 윤곽선 기반방법과 같은 2차원으로 투영된 영상에서 contour나 edge의 정보로 손 제스처를 인식하는 데는 한계가 있다. 그러나 모델기반 방법은 3차원 정보를 이용하기 때문에 손 제스처를 인식하는데 좋으나 계산량이 많아 실시간으로 처리하기가 쉽지 않다. 이러한 문제점을 해결하기 위해 손 형상에 대한 대규모 데이터베이스를 구성하고 정규화된 공간에서 Feature 간의 연관성을 파악하여 훈련 데이터 모델을 구성하여 비교함으로써 실시간으로 손 포즈를 구별할 수 있다. 이러한 통계적 학습 기반의 알고리즘은 다양한 데이터와 좋은 feature의 검출이 최적의 성능을 구현하는 것과 연관된다. 따라서 배경으로부터 노이즈를 최대한 줄이기 위해 피부의 색상 정보를 이용하여 손 후보 영역을 검출하고 검출된 후보 영역으로부터 HLF(Haar-like Feature)를 이용하여 손 영역을 검출한다. 검출된 손 영역으로부터 패턴 분류 과정을 거쳐 손 포즈를 인식 하게 된다. 패턴 분류 과정은 HLF를 이용하여 손 포즈를 인식하게 되는데 미리 학습된 각 포즈에 대한 HLF를 이용하여 손 포즈를 인식하게 된다. HLF는 Violar가 얼굴 검출에 적용한 것으로 얼굴 검출에 좋은 결과를 보여 주었으며, 이는 적분 이미지로부터 추출한 HLF를 이용한 Adaboost 학습 알고리즘을 사용하였다. 본 논문에서는 피부색의 색상 정보를 이용 배경과 손 영상을 최대한 분리하여 배경의 대부분이 Adaboost-Haar Classifier의 첫 번째 스테이지에서 제거되는 방법을 이용하여 그 성능을 더 향상 시켜 손 형상 인식에 적용하였다.