• 한국컴퓨터정보학회논문지
• /
• 제21권2호
• /
• pp.17-23
• /
• 2016

NUI is a motion interface. It uses the body of the user without the use of HID device such as a mouse and keyboard to control the device. In this paper, we use a Pi Camera and sensors connected to it with small embedded board Raspberry Pi. We are using the OpenCV algorithms optimized for image recognition and computer vision compared with traditional HID equipment and to implement a more human-friendly and intuitive interface NUI devices. comparison operation detects motion, it proposed a more advanced motion sensors and recognition systems fused connected to the Raspberry Pi.

• 전기학회논문지
• /
• 제64권3호
• /
• pp.465-472
• /
• 2015

This paper presents a visual touch recognition for NUI(Natural User Interface) using Voronoi-tessellation algorithm. The proposed algorithms are three parts as follows: hand region extraction, hand feature point extraction, visual-touch recognition. To improve the robustness of hand region extraction, we propose RGB/HSI color model, Canny edge detection algorithm, and use of spatial frequency information. In addition, to improve the accuracy of the recognition of hand feature point extraction, we propose the use of Douglas Peucker algorithm, Also, to recognize the visual touch, we propose the use of the Voronoi-tessellation algorithm. Finally, we demonstrate the feasibility and applicability of the proposed algorithms through some experiments.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 춘계학술발표대회
• /
• pp.830-831
• /
• 2016

최근 다양한 NUI 장비들의 확산에 따라 각 장비에 관한 특성과 배치에 관한 연구가 활발히 진행되고 있다. 실제 환경에서 다양한 센서 장비들을 사용해 실험하기 위해서는 많은 비용이 소요된다. 본 논문에서는 센서 장비간 특성을 반영한 범용 소환현실 가상화 기술을 제안한다. 소환현실 시뮬레이터를 설계하고 구현한 결과, 여러 센서 장비들의 특성을 고려한 배치가 가능함을 확인하였다.

• Journal of Information Processing Systems
• /
• 제14권4호
• /
• pp.980-988
• /
• 2018

Motion estimation is a key Natural User Interface/Natural User Experience (NUI/NUX) technology to utilize motions as commands. HTC VIVE is an excellent device for estimating motions but only considers the positions of hands, not the orientations of arms. Even if the positions of the hands are the same, the meaning of motions can differ according to the orientations of the arms. Therefore, when the positions of arms are measured and utilized, their orientations should be estimated as well. This paper proposes a method for estimating the arm orientations based on the Bayesian probability of the hand positions measured in advance. In experiments, the proposed method was used to measure the hand positions with HTC VIVE. The results showed that the proposed method estimated orientations with an error rate of about 19%, but the possibility of estimating the orientation of any body part without additional devices was demonstrated.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 춘계학술발표대회
• /
• pp.445-446
• /
• 2018

최근 무인항공기 (Unmanned Aerial Vehicle, UAV)에 장착한 카메라를 활용하여 사용자의 눈높이가 아닌 새로운 시각에서 사용자를 촬영한 영상을 제공한다. 사용자를 추적하며 촬영하기 위해 저전력 블루투스 (Bluetooth Low Energy, BLE) 신호, 영상, 그리고 Natural User Interface/Natual User Experience(NUI/NUX) 기술을 활용한다. BLE 신호로 사용자를 추적하는 경우 사용자의 후방에서 추적하며 사용자만을 추적하며 촬영 가능한 문제가 있다. 하지만 복수의 사용자를 전방에서 추적하며 촬영하는 방법이 필요하다. 본 논문에서는 복수의 사용자를 추적하며 전방에서 촬영하기 위해 UAV의 비행방향을 결정하는 방법을 설명한다. 복수의 사용자로부터 측정 가능한 BLE 신호들을 UAV에서 측정한다. 복수개의 BLE 신호의 변화를 활용하여 UAV의 비행방향을 결정한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2013년도 추계학술발표대회
• /
• pp.1693-1696
• /
• 2013

현재까지, 사람과 컴퓨터간의 인터페이스로 키보드와 마우스를 사용하여 왔다. 최근, 유비쿼터스 시대가 도래하면서 스마트 폰의 활용이 대두 되었고, 각 디바이스들은 하나로 통합되고 있다. 이에 따라 인터페이스도 NUI로 발전하였고 터치, 모션 트래킹, 음성, 표정 인식과 같은 멀티 모달 형식으로 더욱 높은 인지 능력과 직관적인 인터페이스가 되도록 각 디바이스 단계에서 개발되고 있다. 본 논문에서는 키넥트를 이용한 마커 없는 직관적인 손동작 인식과 XML 클라우드 기반의 각종 디바이스 통합 인터페이스 구현 설계를 제안한다.

• 인터넷정보학회논문지
• /
• 제16권6호
• /
• pp.11-21
• /
• 2015

Human-Computer Interaction(HCI)에 대한 관심도가 높이지면서, HCI에 대한 연구도 활발히 진행되고 있다. 이와 더불어 사용자의 몸짓이나 음성을 이용하는 Natural User Interface/Natural User eXperience(NUI/NUX)에 대한 연구도 활발히 진행되고 있다. NUI/NUX의 경우, 제스처 인식이나 음성 인식 등의 인식 알고리즘이 필요하다. 하지만 이러한 인식 알고리즘은 전처리, 정규화, 특징 추출과 같은 단계를 거쳐야하기 때문에 구현이 복잡하고, 트레이닝에 많은 시간을 투자해야 한다는 단점이 있다. 최근에는 NUI/NUX 개발 도구로 Microsoft 사의 Kinect가 개발되어 개발자와 일반인들에게 많은 관심을 받고 있고, 이를 이용한 다양한 연구가 진행 중에 있다. 본 저자들의 이전 연구에서도 사용자의 신체적 특징을 이용하여 뛰어난 직관성을 가진 핸드 마우스를 구현하였다. 하지만 마우스의 움직임이 부자연스럽고 정확도가 낮아 사용자가 사용하기 다소 어려웠다는 단점이 있다. 본 연구에서는 Kinect를 통해 사용자의 신체적 특징을 실시간으로 추출하고, 이를 이용해 가상 모니터라는 새로운 개념을 추가한 핸드 마우스 인터페이스를 설계하고 구현하였다. 가상 모니터는 사용자의 손으로 마우스를 제어할 수 있는 가상의 공간을 의미한다. 이를 통해 가상 모니터 상의 손의 좌표를 실제 모니터 상의 좌표로 정확하게 매핑(mapping)이 가능하다. 가상 모니터를 사용함으로써 이전 연구의 장점인 직관성을 유지하고, 단점인 정확도를 높일 수 있다. 추가적으로 뇌파 집중 지표를 이용해 사용자의 불필요한 행동을 인식하여 핸드 마우스 인터페이스의 정확도를 높였다. 제안하는 핸드 마우스의 직관성과 정확성을 평가하기 위하여 10대부터 50대까지 50명에게 실험을 하였다. 직관성 실험 결과로 84%가 1분 이내에 사용방법을 터득하였다. 또한 동일한 피실험자에게 일반적인 마우스 기능(드래그, 클릭, 더블클릭)에 대해 정확성 실험을 한 결과로 드래그 80.9%, 클릭 80%, 더블 클릭 76.7%의 정확성을 보였다. 실험 결과를 통해 제안하는 핸드 마우스 인터페이스의 직관성과 정확성을 확인하였으며, 미래에 손으로 시스템이나 소프트웨어를 제어하는 인터페이스의 좋은 예시가 될 것으로 기대된다.

• 한국콘텐츠학회:학술대회논문집
• /
• 한국콘텐츠학회 2011년도 춘계 종합학술대회 논문집
• /
• pp.505-506
• /
• 2011

21세기 초까지 멀티터치 시스템은 많은 연구와 성능 향상에도 불구하고 대중적인 인기를 얻지 못하였다. 그러나 2007년 아이폰의 등장으로 멀티터치 인터페이스는 각광을 받기 시작하고 NUI(Natural User Interface)에 대한 관심도 폭발적으로 증가하였다. 2010년 전체 모바일 시장에서 스마트폰이 차지하는 비중은 약20% 수준이지만 그 성장 곡선은 가파르게 상승하고 있다. 본 논문에서는 NUI의 사용이 스마트폰 혹은 멀티터치 모니터에 치우친 경향을 가만하여 원격 멀티터치 인터페이스 시스템을 제안한다.

• 한국게임학회 논문지
• /
• 제16권4호
• /
• pp.69-78
• /
• 2016

게임기술의 발전에 따라 콘텐츠 분야에서 현실적인 그래픽 기술과 자유로운 인터페이스와 실감형 콘텐츠 서비스가 요구되고 있다. 인터페이스 방식은 CLI에서 GUI로 GUI을 지나 NUI로 발전되고 있다. NUI는 기존의 인터페이스와는 달리 인간의 자연스런 행동을 직관적이고 실감적으로 이용할 수 있는 인터페이스이다. 본 논문에서는 NUI 인터페이스 가운데 립 모션을 이용한 권투 시뮬레이션 게임을 제안하고자 한다. 개발된 VR 헤드셋 게임을 통하여 실감형 3D 실험환경을 제공하여 사용자가 제어하는 인터페이스 (주먹)가 내부의 목표물 (샌드백)을 타격하게 되면, 물리적 특성인 목표물의 충격 각도의 변화에 따라 점수를 계산하는 방법을 적용하였다.

• Imaging Science in Dentistry
• /
• 제44권2호
• /
• pp.155-160
• /
• 2014

Purpose: The purposes of this study were to develop a workstation computer that allowed intraoperative touchless control of diagnostic and surgical images by a surgeon, and to report the preliminary experience with the use of the system in a series of cases in which dental surgery was performed. Materials and Methods: A custom workstation with a new motion sensing input device (Leap Motion) was set up in order to use a natural user interface (NUI) to manipulate the imaging software by hand gestures. The system allowed intraoperative touchless control of the surgical images. Results: For the first time in the literature, an NUI system was used for a pilot study during 11 dental surgery procedures including tooth extractions, dental implant placements, and guided bone regeneration. No complications were reported. The system performed very well and was very useful. Conclusion: The proposed system fulfilled the objective of providing touchless access and control of the system of images and a three-dimensional surgical plan, thus allowing the maintenance of sterile conditions. The interaction between surgical staff, under sterile conditions, and computer equipment has been a key issue. The solution with an NUI with touchless control of the images seems to be closer to an ideal. The cost of the sensor system is quite low; this could facilitate its incorporation into the practice of routine dental surgery. This technology has enormous potential in dental surgery and other healthcare specialties.