• 방송공학회논문지
• /
• 제23권2호
• /
• pp.246-252
• /
• 2018

제스처는 스마트 글라스 등 웨어러블 기기의 NUI(Natural User Interface)로 주목받고 있다. 최근 MPEG에서는 IoT(Internet of Things) 및 웨어러블 환경에서의 효율적인 미디어 소비를 지원하기 위한 IoMT(Internet of Media Things) 표준화를 진행하고 있다. IoMT에서는 손 제스처 검출과 인식이 별도의 기기에서 수행되는 것을 가정하고 이들 모듈간의 인터페이스 규격을 제공하고 있다. 한편, 최근 인식률 개선을 위하여 딥러닝 기반의 손 제스처 인식 기법 또한 활발히 연구되고 있다. 본 논문에서는 IoMT의 유스 케이스(use case)의 하나인 웨어러블 기기에서의 미디어 소비 등 다양한 응용을 위하여 CNN(Convolutional Neural Network) 기반의 손 제스처 인식 기법을 제시한다. 제시된 기법은 스마트 글래스로 획득한 스테레오 비디오로부터 구한 깊이(depth) 정보와 색 정보를 이용하여 손 윤곽선을 검출하고, 검출된 손 윤곽선 영상을 데이터 셋으로 구성하여 CNN을 학습한 후, 이를 바탕으로 입력 손 윤곽선 영상의 제스처를 인식한다. 실험결과 제안기법은 95%의 손 제스처 인식율를 얻을 수 있음을 확인하였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2016년도 제53차 동계학술대회논문집 24권1호
• /
• pp.133-136
• /
• 2016

NUI는 마우스, 키보드 등의 HID장치를 사용하지 않고 사용자의 신체를 사용하여 장치를 제어하는 모션 인터페이스이다. 본 논문에서는 소형 임베디드보드 라즈베리파이와 라즈베리파이에 연결된 파이카메라를 통해 영상인식과 컴퓨터 비전을 위하여 최적화된 알고리즘을 제공하는 OpenCV를 이용하여 손의 제스처를 인식하여 기존 HID장비와 비교하여 더욱 인간 친화적이며 직관적인 NUI장치 인터페이스를 구현하고자 한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2018년도 추계학술대회
• /
• pp.39-41
• /
• 2018

본 논문은 본인이 제작한 라는 인터랙티브 미디어 아트 작품에 관련한 글이다. 발전하는 디지털 기술 안에서 아날로그 감성을 이끌어내기 위한 작품 제작 방법으로 손으로 그린 나뭇잎을 입자로 사용한 파티클 시스템을 이용하였다. 그리고 NUI 인터페이스인 립모션 센서를 사용해 자연스러운 손 동작 인식을 하여 파티클 시스템과 연동하였다. 관람자는 바람을 일으키는 손 동작을 하며 가을 풍경과 같은 나뭇잎 파티클의 변화를 느끼게 되고, 계속되는 손동작에 따라 나타난 새로운 동영상을 감상하며 잃어버린 감성을 느끼게 된다. 아날로그 컨텐츠와 디지털 기술의 융합은 관람자에게 친근한 접근과 감성을 자극함으로써 인터렉티브 미디어 아트의 새로운 확장의 가능성을 보여준다.

• 한국게임학회 논문지
• /
• 제5권3호
• /
• pp.3-10
• /
• 2005

플레이어의 움직임을 직접 반영하는 체감형 게임은 키보드와 마우스를 사용하는 일반적인 컴퓨터 게임에서 느낄 수 없는 실감난 조작법과 몰입감을 제공한다. 우리는 플레이어에게 기존의 게임과 다른 재미를 주기 위해 사용자의 스윙이 반영되는 체감형 탁구게임을 제작했다. 이 때, 사용자가 휘두르는 실제 라켓을 가상 공간으로 옮겨서 가상 공간의 공을 칠 수 있게 하기 위해서는 실세계 탁구라켓의 공간정보를 가상세계 공간에 맵핑 해야 한다. 한 대의 카메라를 사용하는 환경에서 오브젝트 추출이나 색깔정보만으로는 체감형 탁구게임에서 요구하는 정확한 공간 정보를 얻을 수 없다. 그래서 Augmented Reality (AR) 기술을 게임 개발에 사용했다. 그리고 시스템이 플레이어의 간단한 제스처를 인식해서 게임에서 필요한 부과적인 입력처리를 가능하도록 했고, 빠르고 간단하게 사용자의 제스처를 인식하기 위해서 스캔라인 방식을 사용했다. 본 논문은 비전기반의 AR과 제스처 인식을 사용하는 실감형 탁구게임을 제안한다.

• 예술인문사회 융합 멀티미디어 논문지
• /
• 제7권6호
• /
• pp.839-849
• /
• 2017

최근 주방의 역할은 이전의 생존 영위를 위한 공간으로부터, 현재의 생활과 문화를 보여주는 공간으로 발전하였다. 이러한 변화와 더불어, IoT 기술의 사용이 확산되고 있다. 그 결과로, 주방에서의 새로운 스마트기기의 발전과 보급이 이루어지고 있다. 때문에 이러한 스마트기기를 사용하기 위한 사용자 경험 또한 중요해지고 있다. 이는 맥락적 사용자 기반의 데이터를 통해 사용자와 컴퓨터간의 보다 자연스러우며 효율적인 상호작용을 기대할 수 있기 때문이다. 본 논문은 주방에서 사용하는 스마트기기의 사용자 인터페이스(user interface, UI)를 바탕으로 기기와 접촉을 하지 않는 자연스러운 사용자 인터페이스(natural user interface, NUI)를 고찰하고자 한다. 그 방법으로, 기기에 부착되어 있는 카메라를 이용하여 사용자의 손 제스처를 인식한 뒤 인식된 손의 모양을 인터페이스에 적용하는 영상 처리 기술을 활용하였으며 사용자의 맥락과 상황에 맞는 제스처를 제안하고자 하였다. 본 실험에 사용된 제스처의 기본방향은 직관성과 학습 용이성에 중점을 두었으며 기본적인 5개의 제스처를 분류하여 이를 인터페이스에 활용하였다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2005년도 학술대회 논문집 정보 및 제어부문
• /
• pp.186-188
• /
• 2005

Hand region detection in images is an important process in many computer vision applications. It is a process that usually starts at a pixel-level, and that involves a pre-process of color space transformation followed by a classification process. A color space transformation is assumed to increase separability between skin classes for hands and non-skin classes for other parts, to increase similarity among different skin tones, and to bring a robust performance under varying illumination conditions, without any sound reasonings. In this work, we examine if the color space transformation does bring those benefits to the problem of hand region detection on a dataset of images with different hand postures, backgrounds, people, and illuminations. Results indicate that best of the color space is the normalized RGB.

• 전자공학회논문지
• /
• 제50권6호
• /
• pp.201-211
• /
• 2013

본 논문에서는 손 추적과 제스처 인식 시스템을 제안한다. 제안한 시스템은 사용자 손의 3차원 기하학적 정보를 취득하기 위해 별도의 장비를 사용한다. 특히, 기존의 물체 검출 및 추적 시스템들에서 제기 되었던 추적 과정에서의 문제점을 피하기 위해 능동적인 타원체 영역을 만들고 손 추적을 위한 영역을 타원체 영역의 안으로 제한했다. 제안된 시스템은 미리 정의된 기간 동안에 손 위치의 이동평균을 계산한다. 그리고 추적영역은 3차원 공간에 편성된 공분산에 기반한 사용자 손 움직임의 불확실성을 추정하여 통계적인 데이터에 따라 능동적으로 제어하였다. 또한 손 위치가 획득되었을 때, 손 제스처를 인식하기 위해 펼쳐진 손가락을 검출한다. 사용자 인터페이스 체제 기반의 시스템을 구현하여 복잡한 환경에서 다중의 대상들이 동시에 존재하는 경우이거나 일시적인 가려짐이 발생하는 경우에도 정확성을 보여 매우 안정적으로 동작할 수 있음을 보여주며, 약 24-30fps의 프레임 비율로 사용할 수 있는 가능성을 보여주었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2010년도 춘계학술발표대회
• /
• pp.401-404
• /
• 2010

고성능 단말기와 다양한 컨텐츠가 제공되면서 제스처 기반 사용자 인터페이스에 대한 관심이 높아지고 있다. 하지만 기존의 알고리즘을 사용하기 위해서는 센서 장치를 사용하거나 사용자가 부자연스러운 장비를 착용해야 하는 경우가 많다. 본 논문에서는 카메라를 통해 입력된 영상 정보만으로 사용자가 착용한 색상 마커를 실시간으로 검출하는 알고리즘을 제안한다. 본 논문이 제안하는 마커 인식 알고리즘은 색상 감지와 움직임 감지로 나뉜다. 단일 프레임에서 영상 성분 평균을 이용한 조건검사를 통하여 색상 영역을 검출한다. 다음으로, 인접한 프레임간의 평균 영상과 현재 영상과의 차를 가중치로 이용하여 배경 범위를 설정하고 이 범위를 벗어난 영역을 움직임 영역으로 검출한다. 마지막으로 색상 검출 영역과 움직임 검출 영역을 동시에 만족하고 이웃한 픽셀들도 위 조건을 동시에 만족하면 최종적으로 사용자의 마커로 인식한다. 본 논문이 제안하는 알고리즘은 영상 정보만 사용하기 때문에 사용자는 센서나 부자연스러운 장비를 착용할 필요가 없고 일조량에 따른 조도의 변화에 강건하기 때문에 효과적인 사용자 움직임 검출이 가능하다.

• 한국정보디스플레이학회:학술대회논문집
• /
• 한국정보디스플레이학회 2007년도 7th International Meeting on Information Display 제7권2호
• /
• pp.1227-1230
• /
• 2007

This paper describes recent advances in the R&D work achieved at Fraunhofer HHI (Germany) that are believed to provide key technologies for the development of future human-machine interfaces. The paper focus on the area of vision based interaction technologies that will be one essential component in future three-dimensional display systems.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 1996년도 Proceedings International Workshop on New Video Media Technology
• /
• pp.83-87
• /
• 1996

A virtual reality system using video image is designed and implemented. A participant having 2{{{{ { 1} over { 2} }}}}DOF can interact with the computer-generated virtual object using her/his full body posture and gesture in the 3D virtual environment. The system extracts the necessary participant-related information by video-based sensing, and simulates the realistic interaction such as collision detection in the virtual environment. The resulting scene obtained by compositing video image of the participant and virtual environment is updated in near real time.