• 한국멀티미디어학회논문지
• /
• 제16권9호
• /
• pp.1031-1043
• /
• 2013

영상에서 배경을 제거하고 손을 분리하는 기술은 손 인식 연구에서 가장 먼저 수행되는 기술이며, 분리된 결과 영상의 성능에 따라 이후의 인식 단계의 성능이 결정되는 중요한 기술이다. 기존의 연구는 조명 및 배경의 변화에 취약하거나 다수의 사용자와 상호작용에 한계가 있었다. 본 논문에서는 컬러 영상과 깊이 영상을 혼용하여 손을 분리하는 기술을 제안한다. 먼저 입력된 컬러 영상을 이용하여 복잡한 환경에서도 정확하게 영역 채움을 위한 초기 위치를 설정하였다. 이 위치를 기준으로 영역 채움 연산을 위한 한계 영역을 재설정하여 조명 변화로 침식된 영역을 포함하도록 하고, 깊이 영상에서 영역 채움 연산을 수행함으로써 조명과 환경의 변화에도 강인하게 손의 영역을 분리하도록 하였다. 또한, 이렇게 분리된 손의 영역을 이용하여 실시간으로 피부 모델을 학습함으로써 조명 환경에 적응적으로 피부 모델을 갱신하여 보다 강인한 인식 성능을 얻을 수 있었다. 이를 다양한 조명 및 배경 환경에서 기존의 알고리즘과 비교 실험을 수행하여 강인한 인식 성능을 확인할 수 있었으며, 특히 역광 환경과 같이 조명 변화가 극심한 환경에서 강인한 성능을 보여주었다.

• 전자공학회논문지CI
• /
• 제43권1호
• /
• pp.17-26
• /
• 2006

본 논문에서는 은닉 마르코프 모델 (HMM: hidden Markov model)을 이용한 제스처 인식 방법을 제안하고, 이를 게임 시스템의 인터페이스로 적용한 사례를 소개한다. 제안된 방법은 다음의 두 가지 특징을 가진다. 첫 번째는 사전에 분할된 데이터 열을 입력으로 사용하는 기존의 방법과는 달리, 제안된 방법은 카메라로부터 입력되는 비디오 스트림을 HMM의 입력으로 사용한다는 것이다. 두 번째는 제안된 HMM은 제스처의 분할과 인식을 동시에 수행한다는 것이다. 제안된 방법에서 사용자의 제스처는 13개의 제스처들을 인식하는 13개의 specific-HMM들을 결합하는 하나의 통합된 HMM을 통해 인식된다. 제안된 HMM은 사용자의 머리와 양손의 2D-위치 좌표로 구성된 포즈 심볼들의 열을 입력받는다. 그리고 새로운 포즈가 입력될 때마다, HMM의 상태 확률 값을 갱신한다. 그때, 만약 특정 상태의 확률 값이 미리 정해둔 임계치보다 큰 경우, 그 특정 상태를 포함하고 있는 제스처로 인식한다 제안된 방법의 정당성을 입증하기 위하여, 제안된 방법은 Quake II라는 컴퓨터 게임에 적용되었다. 실험결과는 제안된 방법이 높은 인식 정확률과, 계산 시간을 확연하게 감소시킬 수 있었음을 보여주었다.

• 한국통신학회논문지
• /
• 제34권6C호
• /
• pp.593-603
• /
• 2009

본 논문은 스테레오 카메라가 이동하는 환경에서 카메라 움직임을 보정하여 새로운 다수의 사람을 검출하는 방법과 검출된 사람을 추적하고, 실루엣을 추출하는 통합된 시스템을 제안한다. 제안하는 시스템은 사람 검출, 추적, 실루엣 추출 3가지 모듈로 구성되어 있으며 3가지 모듈은 카메라가 이동하는 환경을 고려한 것이다. 사람 검출 모듈에서는 카메라 움직임(egomotion) 보정을 이용한 움직이는 영역 추출 결과와 스테레오 정보를 결합하여 움직이는 객체를 검출하였으며, 추적모듈은 변위 정보가 가중된 히스토그램 알고리즘으로 검출된 객체를 추적한다. 실루엣을 추출하는 모듈은 트라이맵(trimap)을 이용하여 사람의 실루엣 부분을 대략적으로 추정하는 단계와 그래프컷(graph cut)을 적용하여 정교하게 실루엣 추출하는 단계로 이루어져 있다. 본 논문에서 제안하는 방법을 실내 환경에서 팬-틸트(pan-tilt) 스테레오 카메라로 획득한 실험데이터를 대상으로 실험한 결과 다수의 사람의 검출 및 추적, 정교한 실루엣 추출이 가능한 것을 확인하였다. 본 논문의 실루엣 추출결과는 제스처 인식이나 걸음걸이 인식 등의 다양한 분야에도 적용가능하다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2012년도 춘계학술발표대회논문집
• /
• pp.371-373
• /
• 2012

본 논문에서는 컬러 영상 기반에서 배경에 강인한 피부 영역 검출 기법을 제안하고 손 인식기법을 활용한 응용프로그램을 제안한다. 코드북 모델[1]을 이용하여 배경/전경을 분리하고, 분리된 전경에서 피부색정보를 이용하여 관심영역을 도출한다. 피부 영역을 검출하기 위한 단계에서는 YCbCr, HSV, LUV 색상 모델의 혼합하여 피부색 후보 영역에 대한 임계구간을 통해 강인한 피부 영역을 분할한다. 분할된 영역을 관심영역으로 설정하고 Kalman filter를 이용하여 영역을 추적한다. 결과적으로 복잡하고 고정된 배경에서 조명에 강인한 피부 영역 분할 및 추적이 가능하며 이를 응용한 사용자 인터페이스로 사용될 수 있다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(C)
• /
• pp.424-426
• /
• 2012

본 논문에서는 컬러영상 기반에서 배경과 잡음에 강인한 적응적 임계값 기반의 피부영역 기법을 제안하고 이를 활용한 응용프로그램을 제안한다. 배경과 전경을 분리시키는 코드북 알고리즘을 사용하여 배경을 제거하고, 분리된 영역에서 매 프레임 임계값과 모션에 따른 화소값을 검사하여 피부영역의 임계값을 갱신한다. 결과적으로 조명과 배경에 강인한 피부 영역 검출이 가능하며 이를 응용하여 사용자 인터페이스에 적용이 가능하다.

• 한국정보통신학회논문지
• /
• 제22권3호
• /
• pp.471-479
• /
• 2018

최근 안드로이드, iOS 등의 셋톱박스 기반의 스마트 TV에 대한 보급에 따라 제스처로 TV를 컨트롤 할 수 있는 새로운 접근을 제안한다. 본 논문에서는 모노 카메라 센서를 이용한 AdaBoost 기반 제스처 인식에 관한 알고리즘을 제안한다. 우선, 신체 좌표 추출을 위해 가우시안 배경 제거 및 Camshift 기반 자세 추적 및 추정 알고리즘을 사용한다. AdaBoost 학습 모델을 신체 정규화된 광역 및 지역 특징 벡터의 집합을 특징 패턴으로 하여, 속도가 다른 동작들을 인식할 수 있도록 하였다. 또한 속도가 다른 다양한 제스처를 인식하기 위해 다중 AdaBoost 알고리즘을 적용하였다. CART 알고리즘을 이용하여 성공적인 중요 특징 벡터를 확인하고 중요도가 낮은 특징벡터를 제거하는 방식을 적용하면서 분류 성공률이 높은 최적의 특징 벡터를 탐색하였다. 그 결과 24개의 주성분 특징 벡터를 찾았으며, 기존 알고리즘에 비해 낮은 오분류율(3.73%)과 높은 인식률(95.17%)을 지닌 특징 벡터 및 분류기를 설계하였다.

• 디지털콘텐츠학회 논문지
• /
• 제18권8호
• /
• pp.1603-1613
• /
• 2017

본 논문은 널리 알려진 RGB 색상 기반의 웹캠을 사용한 손 영역을 효율적으로 분할하는 방법을 제안한다. 이 방법은 잡음을 제거하기 위하여 네 번의 경험적 전처리 방법을 수행한다. 먼저, 전체 영상 잡음을 제거하기 위하여 가우시안 평활화를 수행한다. 다음으로, RGB 영상은 HSV와 YCbCr 색상 모델로 변환되어, 각 색상 모델에 대해 통계적인 값에 기반하여 전역 고정 이진화가 수행된 후, 잡음은 bitwise-OR 연산에 의해 제거된다. 다음으로, 윤곽 근사화와 내부 영역 구멍 연산을 위해 RDP와 flood fill 알고리즘이 사용된다. 끝으로, 모폴로지 연산을 통하여 잡음을 제거하고 영상의 크기에 비례한 임계값을 결정하여 손 영역이 결정된다. 본 연구는 잡음 제거에 초점을 맞추고 있고 손 동작 인식 응용 기술에 사용될 수 있다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 2부
• /
• pp.60-63
• /
• 2008

소니 아이토이는 Playstation 2에서 개발되었으며 웹캠을 이용하여 사람을 찾고 TV를 통해 게임속의 객체를 직접 터치하여 진행하는 게임이다. 기존의 비디오 게임 방식과 다르게 사용자가 게임 속에 실제적인 주인공으로 등장한다. 거울에 비친 모습처럼 자신의 모습이 게임 안에 나타나게 된다. 비록 이미 상용화되었고 잘 알려진 게임이지만 이러한 게임인터페이스는 사용자에게 흥미를 유도할 수 있는 장점이 있기 때문에 새롭게 개발 응용될 가능성이 많이 있다. 본 논문에서는 이러한 게임을 개발할 수 있는 환경을 개발하기 위해 피부색을 이용해 사람을 찾는 영상처리 과정, 게임 개발을 위한 그래픽, 게임인터페이스 설계과정을 연구하였다. 설계된 개발환경은 간단한 풍선 터뜨리는 게임을 통해 테스트되었다. 이 개발환경은 영상처리 기능 개선, 제스처인식 추가 등 앞으로 많은 발전 가능성이 있으며 곧 오픈되어 많은 개발자들이 시험적으로 사용할 수 있을 것이다.

• 한국전자통신학회논문지
• /
• 제8권6호
• /
• pp.805-814
• /
• 2013

본 논문에서는 손목 부착형 카메라의 시점불변 특성을 이용하여 조명 변화에 강인한 손 영역 추출 방법을 제안하고, 추출된 손 영역 정보를 이용하여 손 모양을 인식하는 시스템을 다룬다. 손목 부착형 카메라 장치는 물리적으로 시점불변의 영상을 제공하는 장점이 있으며, 본 논문은 이러한 특성을 적극 활용하여 적응형 히스토그램을 기반으로 베이지안 규칙을 사용하여 손 영역을 추출한다. 사전에 구축된 RGB 히스토그램으로부터 HSV 히스토그램을 생성하고, 현재의 영상으로부터 추출된 손 영역 정보를 이용하여 HSV 히스토그램을 갱신한다. 또한, 사용자 독립모델(User independent model)과 사용자 종속모델(User dependent model)의 장점을 고려하여 사용자가 사용함에 따라 사용자 독립모델에서 사용자 종속모델로 수렴하는 사용자 적응 방법을 제안한다. 제안하는 방법의 인식 성능을 평가하기 위해 16개의 지문자에 대한 인식률을 측정하여 27.91%의 인식률 증가 결과를 얻을 수 있었다.

• 디지털융복합연구
• /
• 제11권7호
• /
• pp.157-163
• /
• 2013

본 논문에서는 손가락 마디 추정을 이용한 비전 및 깊이 정보 기반 손 인터페이스 방법을 제안한다. 먼저 비주얼 영상 및 깊이 정보 영상을 매핑한 후 왼손과 오른손의 영역의 레이블링 및 윤곽선 잡음 보정 후 각 손 영역에 대하여 손 중심점 및 회전각을 구현한다. 그리고 손 중심점에서 일정간격의 원을 확장하여 손 경계 교차점의 중간 지점을 계산하여 손가락 끝점과 마디를 추정하여 사용자의 손가락 동작을 인식한다. 본 방법을 실험한 결과 손의 회전 및 손가락 시작점 및 끝점을 정확하게 추정하여 다양한 손동작 인식 및 제어가 가능함을 보였다. 왼손과 오른손을 사용하여 다양한 손 포즈에 대해 실험한 결과, 본 논문의 제안 방법은 평균 90% 이상의 정확도로 초당 25프레임 이상의 처리 성능을 보였다. 제안 방법은 컴퓨터간의 HCI 제어, 게임, 교육 등의 비접촉식 인터페이스 응용분야에 적용될 수 있다.