• IEIE Transactions on Smart Processing and Computing
• /
• 제5권4호
• /
• pp.267-273
• /
• 2016

Hand posture recognition is an important technique to enable a natural and familiar interface in the human-computer interaction (HCI) field. This paper introduces a hand posture recognition method using a depth camera. Moreover, the hand posture recognition method is incorporated with the Moving Picture Experts Group Rich Media User Interface (MPEG-U) Advanced User Interaction (AUI) Interface (MPEG-U part 2), which can provide a natural interface on a variety of devices. The proposed method initially detects positions and lengths of all fingers opened, and then recognizes the hand posture from the pose of one or two hands, as well as the number of fingers folded when a user presents a gesture representing a pattern in the AUI data format specified in MPEG-U part 2. The AUI interface represents a user's hand posture in the compliant MPEG-U schema structure. Experimental results demonstrate the performance of the hand posture recognition system and verified that the AUI interface is compatible with the MPEG-U standard.

• 한국컴퓨터정보학회논문지
• /
• 제9권4호
• /
• pp.85-91
• /
• 2004

최근 들어 인간의 의지를 컴퓨터에 전달하기 위한 수단으로 컴퓨터 시각기반 방식으로 제스처를 인식하고자 하는 연구가 널리 진행되고 있다. 제스처 인식에서 가장 중요한 이슈는 알고리즘의 단순화와 처리 시간의 감소이다. 이러한 문제를 해결하기 위하여 본 연구에서는 기하학적 집합론에 근거하고 있는 수학적 형태론을 적용하였다. 본 논문에서 제안한 알고리즘의 키 아이디어는 형태론적 형상분해를 적용하여 얻은 원시형상 요소들의 중심점을 연결하는 궤적을 추적하는 것이다. 핸드 제스처 시퀀스의 중심점 궤적은 핸드 제스처의 형상에 관련된 중요한 정보를 내포하고 있다. 이러한 특징에 근거하여 본 연구에서는 원시형상 요소들의 중심점 궤적과 직접적으로 관련되는 체인코드 에지벡터로부터 형상의 특징벡터를 계산하여 핸드 제스처 시퀀스를 인식할 수 있는 알고리즘을 제안하고, 실험을 통하여 그 유용성을 증명하였다.

• Journal of Platform Technology
• /
• 제11권1호
• /
• pp.38-51
• /
• 2023

인공지능에 기반한 손 제스처 인식 정보를 활용한 지능형 인터페이스 알고리즘을 제안한다. 이 방법은 기능적으로 사용자 손 제스처의 추적 및 인식을 미디어파이프와 KNN, LSTM, CNN의 인공지능 기법을 사용해 다양한 동작을 빠르고 지능적으로 인식되는 인터페이스이다. 제안한 알고리즘 성능 평가를 위해 자체 제작한 2D 탑뷰 레이싱 게임과 로봇제어에 적용한다. 알고리즘 적용 결과 게임의 가상 객체의 다양한 움직임을 세밀하고 강건하게 제어할 수 있었으며, 실세계의 로봇 제어에 적용한 결과 이동과 정지, 좌회전, 우회전 등의 제어가 가능하였다. 또한 게임의 메인 캐릭터와 실세계 로봇을 동시에 제어하여 가상과 현실의 공존공간 상황 제어를 위한 지능형 인터페이스로 최적화된 동작도 구현하였다. 제안한 알고리즘은 신체를 활용한 자연스럽고 직관적 특성과 손가락의 미세한 움직임 인식에 따른 정교한 제어가 가능하며, 빠른 기간 내에 숙련되는 장점이 있어 지능형 사용자 인터페이스 개발을 위한 기본자료로 활용될 수 있다.

• 한국CDE학회논문집
• /
• 제21권1호
• /
• pp.20-30
• /
• 2016

Recently immersive virtual reality (VR) becomes popular due to the advanced development of I/O interfaces and related SWs for effectively constructing VR environments. In particular, natural and intuitive manipulation of 3D virtual objects is still considered as one of the most important user interaction issues. This paper presents a comparative study on the manipulation and interaction of 3D virtual objects using different interfaces and interactions in three VR environments. The comparative study includes both quantitative and qualitative aspects. Three different experimental setups are 1) typical desktop-based VR using mouse and keyboard, 2) hand gesture-supported desktop VR using a Leap Motion sensor, and 3) immersive VR by wearing an HMD with hand gesture interaction using a Leap Motion sensor. In the desktop VR with hand gestures, the Leap Motion sensor is put on the desk. On the other hand, in the immersive VR, the sensor is mounted on the HMD so that the user can manipulate virtual objects in the front of the HMD. For the quantitative analysis, a task completion time and success rate were measured. Experimental tasks require complex 3D transformation such as simultaneous 3D translation and 3D rotation. For the qualitative analysis, various factors relating to user experience such as ease of use, natural interaction, and stressfulness were evaluated. The qualitative and quantitative analyses show that the immersive VR with the natural hand gesture provides more intuitive and natural interactions, supports fast and effective performance on task completion, but causes stressful condition.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제32권8호
• /
• pp.759-768
• /
• 2005

본 논문에서는 다중 혼합 특징 정보를 저 차원 제스처 심볼로 구성하여 제스처를 인식하는 알고리즘에 대해 기술한다. 기존의 기하학적인 특징 기반 방법이나 외관기반 방법에서는 깔, 다리의 위치나 몸의 형상 정보만을 특징 값으로 이용하기 때문에 유사한 신체 동작이나 신체 부위의 움직임에 따라 애매한 결과를 나타내었지만 제안한 방법은 신체의 어느 부위가 움직이는지를 나타내는 부분특징정보(partial feature information)와 전체적인 신체의 형상을 표현하는 전역특징정보(global feature information)를 이용함으로써 동작의 구분뿐만 아니라 유사한 동작을 인식할 수 있는 장점이 있다. 그리고 비교적 적은 계산량과 높은 인식률 때문에 감시 시스템이나 지적 인터페이스 시스템 같은 여러 응용 분야에 적용될 수 있다.

• 스마트미디어저널
• /
• 제1권4호
• /
• pp.18-26
• /
• 2012

스마트폰 어플리케이션 수의 증가는 새로운 유저인터페이스에 대한 중요성을 증대시켰으며, 다양한 센서를 융합한 유저인터페이스 개발 연구의 관심을 유도하고 있다. 본 논문에서는 스마트폰에 있는 가속도 센서, 자계 센서, 자이로 센서 정보를 융합하여 사용자 모션 제스처를 인식할 수 있는 새로운 유저인터페이스를 제안한다. 제안 방법은 유합 센서 정보로부터 스마트폰의 3차원 방위 정보를 구하고, HMM(Hidden Markov Model)을 이용하여 손동작 제스처를 인식한다. 특히 제안된 스마트폰의 3차원 방위 좌표계를 구면 좌표계로 변환하는 양자화 방법은 기본 축 회전에 더욱 민감한 인식이 이루어지도록 하였다. 실험을 통하여 제안한 방법이 93%로의 인식률을 보였다.

• 대한인간공학회지
• /
• 제31권4호
• /
• pp.557-565
• /
• 2012

Objective: This paper focuses on the new trend of applying NUI(natural user interface) such as gesture interaction into television and investigates on the design improvement needed in application. The intention is to find better design direction of NUI on television context, which will contribute to making new features and behavioral changes occurring in next-generation television more practically usable and meaningful use experience elements. Background: Traditional television is rapidly evolving into next-generation television thanks to the influence of "smartness" from mobile domain. A number of new features and behavioral changes occurred from such evolution are on their way to be characterized as the new experience elements of next-generation television. Method: A series of expert review by television UX professionals based on AHP (Analytic Hierarchy Process) was conducted to check on the "relative appropriateness" of applying gesture interaction to a number of selected television user experience scenarios. Conclusion: It is critical not to indiscriminately apply new interaction techniques like gesture into television. It may be effective in demonstrating new technology but generally results in poor user experience. It is imperative to conduct consistent validation of its practical appropriateness in real context. Application: The research will be helpful in applying gesture interaction in next-generation television to bring optimal user experience in.

• 방송공학회논문지
• /
• 제21권1호
• /
• pp.11-23
• /
• 2016

터치 인터페이스는 가장 최근에 등장한 상호작용 인터페이스 중에서도 그 사용성과 응용성이 뛰어난 인터페이스이다. 기술의 발전과 더불어 터치 인터페이스는 현대 사회에서 시계에서부터 광고판까지 많은 영역에 걸쳐 빠르게 퍼져나가고 있다. 하지만 여전히 터치 상호작용은 접촉식 센서가 내장되어있는 유효한 영역 내에서만 이루어질 수 있다. 따라서 센서가 내장될 수 없는 일반적인 사물들과의 상호작용은 아직 불가능한 상황이다. 본 논문에서는 이와 같은 제약 사항을 극복하기 위해 RGB-D 카메라를 이용한 사람-사물 상호작용 프레임워크를 제안한다. 제안하는 프레임워크는 물체와 사용자의 손이 서로 가려지는 상황에서도 서로 문제없이 상호작용을 수행할 수 있는 장점을 가지고 있으며, 빠르고 크기 변화와 회전에 강인한 물체 인식 알고리즘과 윤곽 정보를 이용한 손 제스처 인식 알고리즘을 통해 실시간으로 사용자가 사물과 상호작용을 수행할 수 있다.

• 디지털콘텐츠학회 논문지
• /
• 제13권3호
• /
• pp.343-352
• /
• 2012

본 논문에서는 DID 시스템에서 사용할 수 있는 제스쳐 인식을 이용한 비접촉식 인터페이스를 구현하였다. 비접촉식 인터페이스는 별도의 부착물 없이 키넥트 카메라만을 사용함으로, 사용자의 편의와 공간적인 활용도를 높일 수 있다. 손 동작인식에는 사용자의 손 움직임의 기울기와 속력을 인식하는 방향성 기반의 인식 기법을 채용하였고 손 모양인식을 위해서 YCbCr 칼라모델을 이용한 손 영역 추출과 손 넓이의 원을 이용한 영상처리 기술로 손가락의 수를 인식하였다. 이러한 손 동작인식과 손 모양인식을 이용하여 다음 페이지, 이전 페이지, 화면 위로, 화면 아래로, 커서 움직임, 클릭 등의 이벤트를 발생시켜 DID 시스템 제어 명령으로 사용하였으며, 구현한 시스템을 갖고 동작 실험한 결과 93%의 명령 인식률을 보여 실용화의 가능성을 확인할 수 있었다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.684-691
• /
• 2006

As many functionalities such as cameras and MP3 players are converged to mobile phones, more intuitive and interesting interaction methods are essential. In this paper, we present applications and their enabling technologies for gesture interactive cell phones. They employ gesture recognition and real-time shake detection algorithm for supporting motion-based user interface and entertainment applications respectively. The gesture recognition algorithm classifies users' movement into one of predefined gestures by modeling basic components of acceleration signals and their relationships. The recognition performance is further enhanced by discriminating frequently confusing classes with support vector machines. The shake detection algorithm detects in real time the exact motion moment when the phone is shaken significantly by utilizing variance and mean of acceleration signals. The gesture interaction algorithms show reliable performance for commercialization; with 100 novice users, the average recognition rate was 96.9% on 11 gestures (digits 1-9, O, X) and users' movements were detected in real time. We have applied the motion understanding technologies to Samsung cell phones in Korean, American, Chinese and European markets since May 2005.