• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2018년도 추계학술대회
• /
• pp.552-555
• /
• 2018

본 논문에서는 키넥트 센서를 이용한 제스처 인식 방법을 개발하고, 이를 이용한 격투액션 제어 인터페이스를 제안한다. 제스처의 패턴 특징을 추출하기 위해서는 단순한 절대 위치 정보를 이용하는 것이 아닌, 어깨를 중심으로 한 신체 비율 특성을 고려하여 특징을 추출하는 방법을 이용한다. 하지만 동일한 제스처를 수행하더라도 키넥트 센서에 포착되는 각 관절의 위치 좌표값들은 팔의 길이와 방향에 따라 달라질 수 있다는 문제점이 있다. 그래서 논문에서는 제스처를 모델링하고 분석하기 위해 주성분 분석법을 사용하는 방법을 기술한다. 이 방법을 사용함으로서 데이터가 가지는 에러의 영향을 줄일 수 있게 되고, 차원축약의 효과를 얻을 수 있게 된다. 또한 동작 인식 시스템의 동작 제약을 줄이기 위한 방법으로 수정된 매칭 알고리즘을 제안한다.

• 방송공학회논문지
• /
• 제16권6호
• /
• pp.941-950
• /
• 2011

최근 휴대폰의 발전과 더불어 휴대폰 환경에 적합한 인터페이스에 대한 연구가 많이 이루어지고 있다. 본 논문에서는 특히 사람에게 친숙한 손동작을 이용한 상호작용에 주목하여, 휴대폰 상에서 손동작을 이용한 비전 기반 인터페이스를 구현하였다. 사용자가 한손에 휴대폰을 들고 휴대폰의 카메라를 통해서 다른 손의 손바닥을 바라보면, 사용자의 손바닥 위에 가상 객체가 증강되고 사용자는 자신의 손과 손가락의 움직임을 통해서 가상 객체와 상호작용 할 수 있다. 구현된 인터페이스는 사람에게 친숙한 손동작을 기반으로 동작하기 때문에, 사용자는 별도의 훈련 과정 없이 친숙하게 사용가능하다. 또한, 추가적인 센서나 마커를 요구하지 않기 때문에, 사용자가 원하는 시간과 장소에서 자유롭게 가상 객체와 상호작용 할 수 있다. 일부 시간이 많이 걸리는 처리 과정을 휴대폰 환경에 적합하도록 최적화, 고속화함으로써, 구현된 인터페이스는 상용화된 휴대폰(Galaxy S2)에서 5 fps로 동작한다.

• Bulletin of the Korean Chemical Society
• /
• 제25권10호
• /
• pp.1571-1574
• /
• 2004

• 한국멀티미디어학회논문지
• /
• 제6권6호
• /
• pp.1054-1061
• /
• 2003

전자 잉크 데이터는 스타일러스 펜을 주된 입력 도구로 사용하는 PDA 등과 같은 펜 기반 컴퓨터의 개발로 출현한 멀티미디어 데이터이다. 최근 들어 펜 기반 모바일 컴퓨터의 발전과 보급은 전자 잉크 데이터 처리 기술에 대한 필요성을 증가시키고 있다. 본 논문에서는 펜 제스쳐 (pen gesture)를 허용하는 전자 잉크 에디터개발에 필요한 기술들을 연구하였다. 제스쳐와 잉크 데이터는 펜 기반 사용자 인터페이스의 가장 큰 특징중 하나이지만 아직 충분한 연구가 되지 않았다. 본 논문에서는 펜 제스쳐 구분을 위한 새로운 제스쳐 인식 알고리즘과 제스쳐 명령을 수행하기 위한 잉크 데이터의 분할 방법이 제안되었으며 제안된 방법들을 이용하여 제스쳐를 허용하는 전자 잉크 에디터 GesEdit를 개발하였다. 제스쳐 인식 알고리즘은 입력된 획의 여덟 가지 특징에 기반하고 있으며 전자 잉크 데이터를 GC(Gesture Components) 단위로 분할하는 방법은 볼록껍질(convex hull)과 입력 시간을 사용하였다. 열 명의 피실험자에 의해 수행된 다양한 실험 결과 아흡 가지 제스쳐들은 평균 99.6%의 인식률을 보여 주었다.

• 한국콘텐츠학회논문지
• /
• 제11권12호
• /
• pp.629-638
• /
• 2011

모바일 게임은 이동 및 휴대가 가능하고 간단한 인터페이스를 가지고 있는 장점을 지니고 있다. 이러한 장점들은 콘텐츠의 양이 많지 않고, 인터페이스가 복잡하지 않아야 한다는 제스처 인식 기반 게임에 매우 적합한 내용들이다. 본 논문에서는 모바일 게임의 장점을 활용하여 제스처 인식 시스템이 구현된 곳이라면 사용자의 움직임이 모바일 게임에 직접 반영될 수 있는 제스처 인식 기반 모바일 게임 콘텐츠를 제안한다. 본 논문에서 기술한 콘텐츠는 사용자의 움직임을 인지하는 제스처 인식 부분과 통신 부분, 그리고 게임구현 부분으로 나누어진다. 제스처는 TOF 카메라로부터 얻어진 깊이 영상으로부터 사용자 영역을 얻고, 사용자 영상의 EOH 특징을 이용한 SVM을 통하여 인식된다. 그리고 테스트 영상을 실험하여 얻은 80% 이상의 제스처 인식 결과로부터 제스처 인식이 모바일 게임 콘텐츠의 입력으로 활용될 수 있음을 확인하였다. 제안된 기술은 다양한 콘텐츠에 적용이 가능하지만 본 논문에서는 이동과 점프로 이루어진 간단한 인터페이스 방식의 게임 콘텐츠를 새롭게 제시한다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제24권5호
• /
• pp.41-48
• /
• 2018

가상 환경에서 몰입감을 높이고 자유로운 상호작용을 제공하기 위한 가장 자연스러운 방법은 사용자의 손을 이용한 제스처 인터페이스를 제공하는 것이다. 그러나 손 제스처 인식에 관한 기존의 연구들은 특화된 센서나 장비를 요구하거나 낮은 인식률을 보이는 단점이 있다. 본 논문은 손 제스처 입력을 위한 RGB 카메라 이외 별도 센서나 장비 없이 손 제스처 인식이 가능한 3차원 DenseNet 합성곱 신경망 모델을 제안하고 이를 기반으로 한 가상현실 게임을 소개한다. 4개의 정적 손 제스처와 6개의 동적 손 제스처 인터페이스에 대해 실험한 결과 평균 50ms의 속도로 94.2%의 인식률을 보여 가상현실 게임의 실시간 사용자 인터페이스로 사용 가능함을 알 수 있었다. 본 연구의 결과는 게임 뿐 아니라 교육, 의료, 쇼핑 등 다양한 분야에서 손 제스처 인터페이스로 활용될 수 있다.

• 한국콘텐츠학회논문지
• /
• 제13권1호
• /
• pp.55-63
• /
• 2013

사용자 인터페이스 기술은 CLI(Command Line Interfaces), GUI(Graphical User Interfaces)를 거쳐 NUI(Natural User Interfaces)로 발전하고 있다. NUI는 멀티터치, 모션 트래킹, 음성, 스타일러스 등 다양한 입력형식을 사용한다. 기존 GUI 어플리케이션에 NUI를 적용하기 위해서는 이러한 장치관련 라이브러리 추가, 관련 코드 수정, 디버그 등의 과정이 필요하다. 본 논문에서는 기존 이벤트 기반 GUI 어플리케이션의 수정 없이 제스처 기반 인터페이스를 적용할 수 있는 모델을 제안한다. 또한 제안한 모델을 명세하기 위한 XML 스키마를 제시하고, 3D 제스처와 마우스 제스처 프로토타입 개발을 통해 제안모델의 활용방안을 보인다.

• 한국HCI학회논문지
• /
• 제6권1호
• /
• pp.1-8
• /
• 2011

최근 가상현실에 대한 관심이 높아짐에 따라 다양한 서비스와 어플리케이션이 개발되고 있으며, 이와 더불어 몰입형 상호작용을 위한 제스처 기반 사용자 인터페이스가 활발히 연구되고 있다. 본 논문에서는 가상현실 환경 내 사용자 움직임을 효과적으로 반영하고 몰입감을 높이기 위해 제스처 인식 기반 착용식 사용자 인터페이스를 제안한다. 제안하는 인터페이스는 적외선 LED가 부착되어 있는 헬멧과 적외선 수신기를 이용하여 사용자의 머리 움직임을 인식하며, 양 손에 착용한 데이터 글로브로부터 사용자의 손 제스처를 인식한다. 또한, 헤드 마운트 디스플레이 장치(HMD)를 이용하여 직접 사용자의 시점 변화와 가상환경의 시점 변화를 일치시킨다. 손 제스처의 경우 다수의 관절로 이루어져 있는 손의 특성상 다양한 동작이 가능하며 손 크기나 손동작이 사람마다 모두 다르기 때문에 다양한 사용자들을 대상으로 할 때, 일반적인 모델로는 정확한 인식이 어렵다. 본 논문에서는 다양한 사용자를 대상으로 정확히 손 제스처를 인식하기 위해 Mixture-of-Experts 기반 인식 방법을 적용하였다. 제안하는 인터페이스의 유용성을 평가하기 위해 가상 오케스트라 지휘 환경을 구현하여 인터페이스의 동작 성능을 분석하고 사용성 평가를 수행하였다. 그 결과, 사용자들이 쉽고 직관적으로 사용할 수 있으며 흥미를 유발함을 확인하였다.

• 방송공학회논문지
• /
• 제23권2호
• /
• pp.246-252
• /
• 2018

제스처는 스마트 글라스 등 웨어러블 기기의 NUI(Natural User Interface)로 주목받고 있다. 최근 MPEG에서는 IoT(Internet of Things) 및 웨어러블 환경에서의 효율적인 미디어 소비를 지원하기 위한 IoMT(Internet of Media Things) 표준화를 진행하고 있다. IoMT에서는 손 제스처 검출과 인식이 별도의 기기에서 수행되는 것을 가정하고 이들 모듈간의 인터페이스 규격을 제공하고 있다. 한편, 최근 인식률 개선을 위하여 딥러닝 기반의 손 제스처 인식 기법 또한 활발히 연구되고 있다. 본 논문에서는 IoMT의 유스 케이스(use case)의 하나인 웨어러블 기기에서의 미디어 소비 등 다양한 응용을 위하여 CNN(Convolutional Neural Network) 기반의 손 제스처 인식 기법을 제시한다. 제시된 기법은 스마트 글래스로 획득한 스테레오 비디오로부터 구한 깊이(depth) 정보와 색 정보를 이용하여 손 윤곽선을 검출하고, 검출된 손 윤곽선 영상을 데이터 셋으로 구성하여 CNN을 학습한 후, 이를 바탕으로 입력 손 윤곽선 영상의 제스처를 인식한다. 실험결과 제안기법은 95%의 손 제스처 인식율를 얻을 수 있음을 확인하였다.

• 한국인터넷방송통신학회논문지
• /
• 제13권1호
• /
• pp.121-127
• /
• 2013

본 논문에서는 UI 시스템에서 포인팅 장비를 대신할 수 있는 컴퓨터 비전 기반의 제스쳐 형상의 영역 비율과 크기 변화 특징을 이용한 손-동작 인터페이스를 제안한다. 제안한 방법은 효과적인 손 영역 검출을 위해서 HSI 컬러 모델을 기반으로 손 영역의 피부 색상(Hue)과 채도(Saturation) 값을 혼합하여 적용함으로서 제스쳐 인식에 있어서 손 영역 이외의 피부색 영역을 제거할 수 있으며, 빛에 의한 잡음 영향을 줄이는데 효과적이다. 또한 제시되는 제스쳐의 정적인 포즈 인식이 아닌 실시간으로 변화하는 제스쳐 클리핑 영역에서의 손 영역 화소 비율과 크기 변화를 검출함으로써 계산량을 줄일 수 있으며, 보다 빠른 응답 속도를 보장한다. 제안한 컴퓨터 비전 기반의 포인팅 인터페이스는 우리가 이전 연구에서 구현한 자가 시력 측정 시스템에서 독립적인 포인팅 인터페이스로 적용한 결과, 평균적으로 86%의 제스쳐 인식률과 87%의 좌표이동 인식률을 보여 포인팅 인터페이스로의 활용도를 보였다.