• 한국컴퓨터그래픽스학회논문지
• /
• 제24권5호
• /
• pp.41-48
• /
• 2018

가상 환경에서 몰입감을 높이고 자유로운 상호작용을 제공하기 위한 가장 자연스러운 방법은 사용자의 손을 이용한 제스처 인터페이스를 제공하는 것이다. 그러나 손 제스처 인식에 관한 기존의 연구들은 특화된 센서나 장비를 요구하거나 낮은 인식률을 보이는 단점이 있다. 본 논문은 손 제스처 입력을 위한 RGB 카메라 이외 별도 센서나 장비 없이 손 제스처 인식이 가능한 3차원 DenseNet 합성곱 신경망 모델을 제안하고 이를 기반으로 한 가상현실 게임을 소개한다. 4개의 정적 손 제스처와 6개의 동적 손 제스처 인터페이스에 대해 실험한 결과 평균 50ms의 속도로 94.2%의 인식률을 보여 가상현실 게임의 실시간 사용자 인터페이스로 사용 가능함을 알 수 있었다. 본 연구의 결과는 게임 뿐 아니라 교육, 의료, 쇼핑 등 다양한 분야에서 손 제스처 인터페이스로 활용될 수 있다.

• 전자공학회논문지C
• /
• 제35C권6호
• /
• pp.76-87
• /
• 1998

본 논문에서는 동적 제스처인 수화와 정적 제스처인 지문자가 섞여 있으며 연속으로 수행하는 손 제스처를 실시간으로 인식하는 시스템을 구현하였다. 연속적인 손 제스처는 동작의 시작과 끝에 대한 명확한 표시가 없고 제스처의 형태가 복잡하다. 본 논문에서는 연속적인 손 제스처에서 개별 제스처를 구분하기 위하여 제스처의 속력과 속력 변화를 이용한 상태 오토마타를 구현하였으며, 다양한 손 제스처의 의미를 인식하면서도 확장이 쉬운 시스템을 구현하기 위하여 14가지 손운동, 23가지 손모양, 그리고 14가지 손방향의 기본 요소 인식기를 구현하였다. 양손 사이버글러브와 자장 추적 장치를 이용하여, 구현된 시스템은 131개의 한글수화와 31개의 지문자를 실시간으로 인식하며, 수화의 인식률은 기각인 경우를 제외한 경우 94.3%, 지문자의 인식률은 96.7%에 이른다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2012년도 추계학술발표대회
• /
• pp.580-582
• /
• 2012

본 논문에서는 얼굴검출을 통한 실시간 피부색 모델링과 거리정보를 결합하여 손 영역을 검출하고 손 움직임에 따른 방향 및 원 제스처 인식을 위한 규칙 기반 인식방법을 제안한다. 기존과는 달리 손좌표를 사용하는 대신 기존 프레임과 현재 프레임에서의 손 좌표 차이를 이용하여 제스처 구간을 설정하고 자연스러운 제스처 동작에서의 속도변화를 고려할 수 있도록 한다. 실험 데이터는 5명을 대상으로 4방향과 원을 포함하여 총 5가지 제스처를 10회씩 실행하여 획득하였다. 이들 데이터에 대한 인식 실험에서 97%의 인식률을 보였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
• /
• pp.775-777
• /
• 2004

본 논문에서는 테트리스 게임을 위한 비젼 기반의 인터페이스를 제안하고 있다 제안된 인터페이스는 카메라로부터 실시간으로 입력되는 연속 영상에서 손의 제스처를 인식하고, 인식된 제스처를 게임의 명령으로 사용한다 테트리스 게임에 필요만 6개의 명령은 손의 자세로 정의되는 세 종류의 정적 제스처와 손의 자세와 움직임으로 정의되는 세 종류의 동적 제스처 정의된다. 손의 자세는 손 영역의 불변 모멘트로 표현하였고, 입력된 손 영역의 자세는 미리 학습된 불변 모멘트 값들과의 거리차이를 비교하여 분류한다. 실험 결과에서 제안된 시스템이 실시간 테트리스 게임의 인터페이스로 적용가능함을 보였다.

• 한국산업정보학회논문지
• /
• 제13권4호
• /
• pp.145-154
• /
• 2008

본 논문에서는 애완용 로봇에 장착된 카메라로부터 획득된 연속 영상에서 사용자의 손 제스처를 인식하여 로봇을 제어하는 시스템을 제안한다. 제안된 시스템은 손 검출, 특징 추출, 제스처 인식 로봇 제어의 4단계로 구성된다. 먼저 카메라로부터 입력된 영상에서 HSI 색상공간에 정의된 피부색 모델과 연결성분 분석을 이용하여 손 영역을 검출한다. 다음은 연속 영상에서 손 영역의 모양과 움직임에 따른 특징을 추출한다. 이때 의미 있는 제스처의 구분을 위해 손의 모양을 고려한다. 그 후에 손의 움직임에 의해 양자화된 심볼들을 입력으로 하는 은닉 마르코프 모델을 이용하여 손 제스처는 인식된다. 마지막으로 인식된 제스처에 대응하는 명령에 따라 애완용 로봇이 동작하게 된다. 애완용 로봇을 제어하기 위한 명령으로 앉아, 일어서, 엎드려, 악수 등의 제스처를 정의하였다. 실험결과로 제안한 시스템을 이용하여 사용자가 제스처로 애완용 로봇을 제어 할 수 있음을 보였다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제16권5호
• /
• pp.621-625
• /
• 2010

본 논문에서는 스마트 폰, PDA와 같은 모바일 장치에 있는 카메라 기기를 이용한 손동작 제스처 인터페이스를 위한 손 움직임 추적 방법을 제안하고 이를 바탕으로 한 손 제스처 인식 시스템을 개발한다. 사용자의 손동작에 따라 카메라가 움직임으로써, 전역 optical flow가 발생하며, 이에 대한 우세한 방향 성분에 대한 움직임만 고려함으로써, 노이즈에 강인한 손움직임 추정이 가능하다. 또한 추정된 손 움직임을 바탕으로 속도 및 가속도 성분을 계산하여 동작위상을 구분하고, 동작상태를 인식하여 연속적인 제스처를 개별제스처로 구분한다. 제스처 인식을 위하여, 움직임 상태에서의 특징들을 추출하여, 동작이 끝나는 시점에서 특징들에 대한 분석을 통하여 동작을 인식한다. 추출된 특징점을 바탕으로 제스처를 인식하기 위하여 SVM(Support vector machine), k-NN(k-nearest neighborhood classifier), 베이시안 인식기를 사용했으며, 14개 제스처에 대한 인식률은 82%에 이른다.

• 전자공학회논문지S
• /
• 제36S권4호
• /
• pp.70-82
• /
• 1999

본 논문에서는 복잡한 영상에서 추출해낸 손 영역으로부터 제스처를 인식하여 인간과 컴퓨터의 상호작용(HCI, Human-Computer Interaction)을 위한 보다 자연스러운 인터페이스를 제공한다. 제안하는 방법은 정규화된 RGB 색상 공간에 정의한 피부색의 가우시안 분포를 이용해 조명의 변화나 개인의 차이에도 안정적으로 손 영역을 추출하며, 배경에 대한 상대적인 움직임을 이용해 복잡한 영상에서도 효과적으로 손 영역을 추출해 낸다. 추출된 손 영역은 RBF(Radial Basis Function) 신경망을 이용해 각 제스처로 인식된다. 가상 환경과의 상호작용을 제공하기 위해 두 종류의 기본적인 정적 제스처들을 정의하며 간단한 구문론적 규칙을 사용해 하나 이상의 인식 결과들을 조합함으로써 적은 수의 제스처들만으로 보다 효율적이고 다양한 상호작용이 가능하게 한다. 제안하는 시스템은 TM320C80 DSP 칩을 사용하여 구현되었으며 300×240 영상을 12Hz로 처리함으로써 빠른 속도로 가상 환경의 인터페이스를 제공한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 추계학술발표대회
• /
• pp.1088-1091
• /
• 2017

최근 그래픽스 기반의 가상현실 기술의 발전과 관심이 증가하면서 3D 객체와의 자연스러운 상호작용을 위한 방법들 중 손 제스처 인식에 대한 연구가 활발히 진행되고 있다. 본 논문은 가상현실 3D 오브젝트와의 상호작용을 위한 MCSVM 기반의 손 제스처 인식을 제안한다. 먼저 다양한 손 제스처들을 립모션을 통해 입력 받아 전처리를 수행한 손 데이터를 전달한다. 그 후 이진 결정 트리로 1차 분류를 한 손 데이터를 리샘플링 한 뒤 체인코드를 생성하고 이에 대한 히스토그램으로 특징 데이터를 구성한다. 이를 기반으로 MCSVM 학습을 통해 2차 분류를 수행하여 제스처를 인식한다. 실험 결과 3D 오브젝트와 상호작용을 위한 16개의 명령 제스처에 대해 평균 99.2%의 인식률을 보였고 마우스 인터페이스와 비교한 정서적 평가 결과에서는 마우스 입력에 비하여 직관적이고 사용자 친화적인 상호작용이 가능하다는 점에서 게임, 학습 시뮬레이션, 설계, 의료분야 등 많은 가상현실 응용 분야에서의 입력 인터페이스로 활용 될 수 있고 가상현실에서 몰입도를 높이는데 도움이 됨을 알 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 추계학술대회
• /
• pp.33-35
• /
• 2016

손 제스처는 스마트 글라스 등 웨어러블 기기의 NUI(Natural User Interface)를 구현하기 위한 수단으로 각광받고 있다. 최근 MPEG 에서는 IoT(Internet of Things) 및 웨어러블 환경에서의 미디어 소비를 지원하기 위한 IoMTW(Internet of Media-Things and Wearables) 표준화를 진행하고 있다. 본 논문에서는 손 제스처를 웨어러블 기기의 NUI 로 사용하여 웨어러블 기기 제어 및 미디어 소비를 제어하기 위한 손 제스처 검출과 인식 기법를 제시한다. 제시된 기법은 스테레오 영상으로부터 깊이 정보와 색 정보를 이용하여 손 윤곽선을 검출하여 이를 베지어(Bezier) 곡선으로 표현하고, 표현된 손 윤곽선으로부터 손가락 수 등의 특징을 바탕으로 제스처를 인식한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (2)
• /
• pp.577-579
• /
• 2005

본 논문에서는 손 제스처를 사용한 2족 보행로봇 제어방법을 제안한다. 제안된 방법은 연속된 입력 영상으로부터 사용자의 손을 검출하기 위해, 피부색 정보와 Hue의 불변 모멘트 정보를 사용한다. 검출된 손 영역은 Active Contour Model를 사용하여 추적한다. 손 제스처를 인식하기 위해 Hue의 불변 모멘 정보로부터, 검출된 손의 모양을판단하고 그 결과를 미리 정해둔 심벌 중에 하나로 할당한다. 이렇게 연속적으로 할당된 심벌들은 HMM(Hidden Markov Model) 인식기를 통해 인식 되고 로봇 명령어를 출력하며, 출력된 명령어에 따라 로봇이 제어된다. 제안된 방법의 효율성을 증명하기 위해, 자체 제작한 2족 보행로봇(KAI)으로 6개의 손 제스처를 이용하여 사용자가 원격지에 있는 로봇의 보행을 제어하는 원격 로봇 보행 제어 시스템에 응용해 보았다. 실험 결과, $94\%$의 인식률을 보였다.