• 한국게임학회 논문지
• /
• 제13권5호
• /
• pp.73-80
• /
• 2013

NUI(Natural User Interface)는 별도의 입출력 장치 없이 사용자 자신의 음성/신체부위 등을 사용하여 주변 디지털 기기를 제어할 수 있도록 하는 기술이다. 본 논문에서는 NUI가 적용된 스마트 공간에서 신체를 직접적으로 사용하는 체감형 게임을 실행하는 사용자를 대상으로 연구를 진행하였다. 게임 사용자의 스트레스 발생 여부를 알아내기 위하여 게임 시행 전과 후로 나누어 각각 60초에 걸쳐서 심전도를 측정하였고, 측정된 신호를 개량된 Random Forest 알고리즘으로 분석하였다. 교사학습 방식에 의한 실험을 위하여 사용자는 자신의 스트레스 발생 여부를 별도로 입력하여 저장하도록 하였으며, 실험결과 개량된 알고리즘이 기존의 알고리즘보다 1.04% 높은 정확도를 보여주었다.

• 한국콘텐츠학회논문지
• /
• 제13권1호
• /
• pp.55-63
• /
• 2013

사용자 인터페이스 기술은 CLI(Command Line Interfaces), GUI(Graphical User Interfaces)를 거쳐 NUI(Natural User Interfaces)로 발전하고 있다. NUI는 멀티터치, 모션 트래킹, 음성, 스타일러스 등 다양한 입력형식을 사용한다. 기존 GUI 어플리케이션에 NUI를 적용하기 위해서는 이러한 장치관련 라이브러리 추가, 관련 코드 수정, 디버그 등의 과정이 필요하다. 본 논문에서는 기존 이벤트 기반 GUI 어플리케이션의 수정 없이 제스처 기반 인터페이스를 적용할 수 있는 모델을 제안한다. 또한 제안한 모델을 명세하기 위한 XML 스키마를 제시하고, 3D 제스처와 마우스 제스처 프로토타입 개발을 통해 제안모델의 활용방안을 보인다.

• 대한인간공학회지
• /
• 제31권4호
• /
• pp.577-583
• /
• 2012

Objective: This paper describes the process and results related to the development of gesture recognition-based natural user interface(NUI) for vehicle maintenance e-Training system. Background: E-Training refers to education training that acquires and improves the necessary capabilities to perform tasks by using information and communication technology(simulation, 3D virtual reality, and augmented reality), device(PC, tablet, smartphone, and HMD), and environment(wired/wireless internet and cloud computing). Method: Palm movement from depth camera is used as a pointing device, where finger movement is extracted by using OpenCV library as a selection protocol. Results: The proposed NUI allows trainees to control objects, such as cars and engines, on a large screen through gesture recognition. In addition, it includes the learning environment to understand the procedure of either assemble or disassemble certain parts. Conclusion: Future works are related to the implementation of gesture recognition technology for a multiple number of trainees. Application: The results of this interface can be applied not only in e-Training system, but also in other systems, such as digital signage, tangible game, controlling 3D contents, etc.

• 인터넷정보학회논문지
• /
• 제16권6호
• /
• pp.11-21
• /
• 2015

Human-Computer Interaction(HCI)에 대한 관심도가 높이지면서, HCI에 대한 연구도 활발히 진행되고 있다. 이와 더불어 사용자의 몸짓이나 음성을 이용하는 Natural User Interface/Natural User eXperience(NUI/NUX)에 대한 연구도 활발히 진행되고 있다. NUI/NUX의 경우, 제스처 인식이나 음성 인식 등의 인식 알고리즘이 필요하다. 하지만 이러한 인식 알고리즘은 전처리, 정규화, 특징 추출과 같은 단계를 거쳐야하기 때문에 구현이 복잡하고, 트레이닝에 많은 시간을 투자해야 한다는 단점이 있다. 최근에는 NUI/NUX 개발 도구로 Microsoft 사의 Kinect가 개발되어 개발자와 일반인들에게 많은 관심을 받고 있고, 이를 이용한 다양한 연구가 진행 중에 있다. 본 저자들의 이전 연구에서도 사용자의 신체적 특징을 이용하여 뛰어난 직관성을 가진 핸드 마우스를 구현하였다. 하지만 마우스의 움직임이 부자연스럽고 정확도가 낮아 사용자가 사용하기 다소 어려웠다는 단점이 있다. 본 연구에서는 Kinect를 통해 사용자의 신체적 특징을 실시간으로 추출하고, 이를 이용해 가상 모니터라는 새로운 개념을 추가한 핸드 마우스 인터페이스를 설계하고 구현하였다. 가상 모니터는 사용자의 손으로 마우스를 제어할 수 있는 가상의 공간을 의미한다. 이를 통해 가상 모니터 상의 손의 좌표를 실제 모니터 상의 좌표로 정확하게 매핑(mapping)이 가능하다. 가상 모니터를 사용함으로써 이전 연구의 장점인 직관성을 유지하고, 단점인 정확도를 높일 수 있다. 추가적으로 뇌파 집중 지표를 이용해 사용자의 불필요한 행동을 인식하여 핸드 마우스 인터페이스의 정확도를 높였다. 제안하는 핸드 마우스의 직관성과 정확성을 평가하기 위하여 10대부터 50대까지 50명에게 실험을 하였다. 직관성 실험 결과로 84%가 1분 이내에 사용방법을 터득하였다. 또한 동일한 피실험자에게 일반적인 마우스 기능(드래그, 클릭, 더블클릭)에 대해 정확성 실험을 한 결과로 드래그 80.9%, 클릭 80%, 더블 클릭 76.7%의 정확성을 보였다. 실험 결과를 통해 제안하는 핸드 마우스 인터페이스의 직관성과 정확성을 확인하였으며, 미래에 손으로 시스템이나 소프트웨어를 제어하는 인터페이스의 좋은 예시가 될 것으로 기대된다.

• 전기학회논문지
• /
• 제64권3호
• /
• pp.465-472
• /
• 2015

This paper presents a visual touch recognition for NUI(Natural User Interface) using Voronoi-tessellation algorithm. The proposed algorithms are three parts as follows: hand region extraction, hand feature point extraction, visual-touch recognition. To improve the robustness of hand region extraction, we propose RGB/HSI color model, Canny edge detection algorithm, and use of spatial frequency information. In addition, to improve the accuracy of the recognition of hand feature point extraction, we propose the use of Douglas Peucker algorithm, Also, to recognize the visual touch, we propose the use of the Voronoi-tessellation algorithm. Finally, we demonstrate the feasibility and applicability of the proposed algorithms through some experiments.

• 예술인문사회 융합 멀티미디어 논문지
• /
• 제7권6호
• /
• pp.839-849
• /
• 2017

최근 주방의 역할은 이전의 생존 영위를 위한 공간으로부터, 현재의 생활과 문화를 보여주는 공간으로 발전하였다. 이러한 변화와 더불어, IoT 기술의 사용이 확산되고 있다. 그 결과로, 주방에서의 새로운 스마트기기의 발전과 보급이 이루어지고 있다. 때문에 이러한 스마트기기를 사용하기 위한 사용자 경험 또한 중요해지고 있다. 이는 맥락적 사용자 기반의 데이터를 통해 사용자와 컴퓨터간의 보다 자연스러우며 효율적인 상호작용을 기대할 수 있기 때문이다. 본 논문은 주방에서 사용하는 스마트기기의 사용자 인터페이스(user interface, UI)를 바탕으로 기기와 접촉을 하지 않는 자연스러운 사용자 인터페이스(natural user interface, NUI)를 고찰하고자 한다. 그 방법으로, 기기에 부착되어 있는 카메라를 이용하여 사용자의 손 제스처를 인식한 뒤 인식된 손의 모양을 인터페이스에 적용하는 영상 처리 기술을 활용하였으며 사용자의 맥락과 상황에 맞는 제스처를 제안하고자 하였다. 본 실험에 사용된 제스처의 기본방향은 직관성과 학습 용이성에 중점을 두었으며 기본적인 5개의 제스처를 분류하여 이를 인터페이스에 활용하였다.

• 인터넷정보학회논문지
• /
• 제15권3호
• /
• pp.11-19
• /
• 2014

내츄럴 유저 인터페이스는 마우스, 키보드, 펜과 마커를 이용하지 않는 신체를 이용한 자연스런 모션 인터페이스이다. 지금까지 대표적인 동작 인식 방법은 마커를 이용하는 방식이었고 그 인식 방법은 각 마커의 좌표를 상대적인 데이터로 입력 받아 데이터베이스에 각 좌표 값을 저장하는 것이었다. 그러나 정확한 동작을 인식하기 위해서는 더 많은 마커들이 필요하고 그 마커들을 붙이는 것과 데이터들을 처리하는 데에 상당한 시간이 걸린다. 또, NUI/NUX 프레임워크를 개발하면서, 가장 중요한 직관성을 배제한 개발로 사용상에 문제가 생겼고 계속해서 사용자에게 암기만을 강요하고 있다. 이 문제를 보완하기 위해, 본 논문에서는 마커를 이용하지 않았고 남녀노소 누구나 다룰 수 있도록 구현했다. 또, 목소리, 신체 동작, 얼굴 표정 등을 동시에 인식하는 멀티모달 NUI/NUX 프레임 워크를 설계했고, 직관적인 손동작을 인식하는 것과 모니터에 그것을 매핑하기 위해 새로운 마우스 이벤트 알고리즘을 제안했다. 우리는 사용자들이 쉽고 직관적으로 핸드마우스 이벤트를 다루도록 구현했다.

• 한국인터넷방송통신학회논문지
• /
• 제14권5호
• /
• pp.255-261
• /
• 2014

IT산업의 발달은 현대사회에 큰 변화를 가져왔다. 그 변화는 모든 분야에 적용되어 생활을 점점 더 편리하게하고, 업무는 더 효율적으로 빠른 처리가 가능하게 하면서 사람들을 편리한 삶으로 이끌고 있다. 이러한 변화의 중심에는 인터페이스가 크게 작용하고 있으며, 점점 발전해 현재는 사용자 행동기반의 인터페이스 NUI(Natural User Interface)기술을 사용 중에 있다. NUI는 별도의 입력 장치 없이 터치, 제스쳐 등의 자연스러운 행동을 통해 시스템과 소통할 수 있도록 하는 기술이다. 그 중 스마트 폰은 NUI 기술을 적용한 대표적인 디바이스이다. 스마트폰 뿐만 아니라 NUI 기술은 키오스크, 대형 테이블 등의 터치스크린에 적용하여 문화, 국방, 광고 산업 등 다양한 분야로 개발 및 활용 중에 있다. 이에 본 연구에서는 NUI기술을 활용하여 멀티 터치 테이블 기반의 멀티 터치 회의 시스템을 구축하여 기존의 회의 방식을 개선할 수 있는 효율적인 시스템을 제안한다.

• 한국HCI학회논문지
• /
• 제10권2호
• /
• pp.21-26
• /
• 2015

NUI(Natural User Interface)는 사용자의 자연스러운 동작이나 동작 시 발생하는 생체 신호를 해석하여 기계에 명령을 내리는 것을 말한다. 물리적인 변화가 있어야 사용이 가능한 가속도 센서나 영상 기반의 NUI와는 달리 특정 동작과 관련된 근육의 표면 근전도(surface Electromyogram, sEMG)를 측정하면 실제 움직임이 발생하지 않아도(isometric contraction) 동작 의도를 예측할 수 있다. 본 연구에서는 근전도 기반으로 손목 동작 의도를 분류할 때 전극 개수에 따른 정확도를 확인하고, 키보드 등에 적용 가능한 인터페이스 기술을 제안한다. 손목의 동작 중 신전(extension, up), 굴곡(flexion, down), 외전(abduction, right), 내전(adduction, left)의 네 가지 동작 의도를 분류하는 실험을 진행하였다. 50ms 간격으로 계산된 제곱평균제곱근(Root Mean Square, RMS)을 특징으로 사용하였고, 동작 의도 인식을 위해 역전파 알고리즘으로 학습한 다층 퍼셉트론 분류기를 사용하였다. 전극 쌍의 개수를 네 개(91.9%), 세 개(87.0%), 두 개(78.9%)로 줄여가며 정확도를 확인했다. 전극 쌍의 개수가 네 개에서 두 개로 줄었을 때 정확도는 약 13% 감소하였다. 두 쌍의 전극만 사용하는 경우의 분류 정확도를 높이기 위하여 직전의 RMS를 특징에 추가하였다. 150 ms 이전까지의 정보를 사용하였을 때, 분류 정확도가 78.9%에서 83.6%로 4.6% 증가하였다. 전극 쌍의 개수가 감소함에 따라 정확도는 감소하였지만, 이전 데이터를 함께 사용한 경우 부분적으로 증가 시킬 수 있음을 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제20권8호
• /
• pp.1187-1199
• /
• 2017

In recent years, research about Natural User Interface (NUI) has become focused because NUI system can give natural feelings for users in virtual reality. Most important thing in NUI system is how to communicate with the computer system. There are many things to interact with users such as speech, hand gestures, body actions. Among them, hand gesture is suitable for the purpose of NUI because people often use a relatively high frequency in daily life and hand gesture have meaning only by itself. This hand gestures called multi-cultural hand gesture and we proposed the method to recognize this kind of hand gestures. Proposed method is composed of Histogram of Oriented Gradients (HOG) used for hand shape recognition and Histogram of Oriented Displacements (HOD) used for hand center point trajectory recognition.