• Proceedings of the Korea Contents Association Conference
• /
• 2011.05a
• /
• pp.505-506
• /
• 2011

21세기 초까지 멀티터치 시스템은 많은 연구와 성능 향상에도 불구하고 대중적인 인기를 얻지 못하였다. 그러나 2007년 아이폰의 등장으로 멀티터치 인터페이스는 각광을 받기 시작하고 NUI(Natural User Interface)에 대한 관심도 폭발적으로 증가하였다. 2010년 전체 모바일 시장에서 스마트폰이 차지하는 비중은 약20% 수준이지만 그 성장 곡선은 가파르게 상승하고 있다. 본 논문에서는 NUI의 사용이 스마트폰 혹은 멀티터치 모니터에 치우친 경향을 가만하여 원격 멀티터치 인터페이스 시스템을 제안한다.

• Smart Media Journal
• /
• v.8 no.1
• /
• pp.51-58
• /
• 2019

This paper describes a gesture application to controlling the special effects of physical devices for 4D contents using the PWM (Pulse Width Modulation) method. The user operation recognized by the infrared sensor is interpreted as a command for 3D content control, several of which manipulate the device that generates the special effect to display the physical stimulus to the user. With the content controlled under the NUI (Natural User Interface) technique, the user can be directly put into an immersion experience, which leads to provision of the higher degree of interest and attention. In order to measure the efficiency of the proposed method, we implemented a PWM-based real-time linear control system that manages the parameters of the motion recognition and animation controller using the infrared sensor and transmits the event.

• Journal of Korea Game Society
• /
• v.16 no.4
• /
• pp.69-78
• /
• 2016

With the development of game technology, the realistic game graphics, interface technology, and various content services with immersion are being required in the content area. NUI has been developed through CLI and GUI. Unlike the conventional methods, it is an interface that could be the intuitive and realistic interface for human as a natural action realized. we propose a boxing simulation game using leap motion of it. Providing a realistic 3D experimental environment through VR headsets game, we also propose a method that can be calculated the scores if the user-controlled interface (fist) could be to punch the target (sandbag) of the internal in accordance with changes of the angle of target impact with the physical characteristics.

• Journal of Information Processing Systems
• /
• v.14 no.4
• /
• pp.980-988
• /
• 2018

Motion estimation is a key Natural User Interface/Natural User Experience (NUI/NUX) technology to utilize motions as commands. HTC VIVE is an excellent device for estimating motions but only considers the positions of hands, not the orientations of arms. Even if the positions of the hands are the same, the meaning of motions can differ according to the orientations of the arms. Therefore, when the positions of arms are measured and utilized, their orientations should be estimated as well. This paper proposes a method for estimating the arm orientations based on the Bayesian probability of the hand positions measured in advance. In experiments, the proposed method was used to measure the hand positions with HTC VIVE. The results showed that the proposed method estimated orientations with an error rate of about 19%, but the possibility of estimating the orientation of any body part without additional devices was demonstrated.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.10a
• /
• pp.768-770
• /
• 2016

현재 NUI(Natural User Interface)는 차세대 입력 방식으로 주목을 받고 있다. 이미 한글 입력에 관한 NUI가 다양하게 연구 및 개발되고 있지만, 한글 입력 NUI는 직관성과 정확도의 부족과 불완전한 인식률 등의 한계점이 존재한다. 본 연구에서는 사용자의 핸드 제스처를 인식하기 위해 Leap Motion 장치를 사용하고, 한글의 글자 조합 원리를 바탕으로 자음과 모음 입력의 제스처를 분리하여 인식의 정확도를 높인다. 그리고 모음의 방향성을 참고하여 한글 입력에 직관성을 향상할 수 있는 핸드 제스처를 연구한다. 이를 통해 사용자가 NUI 환경의 디바이스를 좀 더 정확하고 빠르게 조작할 수 있도록 돕는다.

• Imaging Science in Dentistry
• /
• v.44 no.2
• /
• pp.155-160
• /
• 2014

Purpose: The purposes of this study were to develop a workstation computer that allowed intraoperative touchless control of diagnostic and surgical images by a surgeon, and to report the preliminary experience with the use of the system in a series of cases in which dental surgery was performed. Materials and Methods: A custom workstation with a new motion sensing input device (Leap Motion) was set up in order to use a natural user interface (NUI) to manipulate the imaging software by hand gestures. The system allowed intraoperative touchless control of the surgical images. Results: For the first time in the literature, an NUI system was used for a pilot study during 11 dental surgery procedures including tooth extractions, dental implant placements, and guided bone regeneration. No complications were reported. The system performed very well and was very useful. Conclusion: The proposed system fulfilled the objective of providing touchless access and control of the system of images and a three-dimensional surgical plan, thus allowing the maintenance of sterile conditions. The interaction between surgical staff, under sterile conditions, and computer equipment has been a key issue. The solution with an NUI with touchless control of the images seems to be closer to an ideal. The cost of the sensor system is quite low; this could facilitate its incorporation into the practice of routine dental surgery. This technology has enormous potential in dental surgery and other healthcare specialties.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2013.11a
• /
• pp.1689-1692
• /
• 2013

NUI(Natural User Interface)는 사용자가 신체부위를 사용하여 인터페이스 할 수 있는 기술이다. 본 연구에서는 NUI 공간에서 체감형 게임을 시행하였다. 게임은 태권도게임으로 사용자와 컴퓨터간의 대련이며, 게임 시 사용자의 심전도 신호를 측정하였다. 사용자는 심전도데이터를 게임 시에 사용자 프로파일로 전송한다. 전송받은 심전도신호로 사용자의 심박변이도를 분류하여 분류기 실험을 시행하고 정확도를 측정하였다. 실험은 체감형 게임 시행 전과 시행 후의 상태로 나누어 실험하였으며, 분류기는 Decision Tree를 사용하였다. 실험결과 심박변이율은 게임 시행 후 정확도가 4.16% 높게 도출되었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2009.11a
• /
• pp.339-340
• /
• 2009

현대의 PC 환경에서 사용자 인터페이스의 변화는 계속하여 발전할 것으로 기대된다. HCI 전용 인터페이스는 종래의 CLI; Command Line Interface의 시대에서 MS-Windows 기반의 Graphic User Interface의 시대로 전환되어 왔으며, 가까운 미래에는 NUI; Natural User Interface의 시대로 도래함은 부정할 수 없는 현실이다. 미래에는 전통적인 표준 입력 장치인 키보드, 마우스를 탈피하여 새로운 개념의 입력 장치들이 개발되고, 터치 방식과 같이 인간의 직관적 인지능력을 흉내 낸 인터페이스로 발전할 것이다. 본 논문에서는 NUI의 사례 연구로서 닌텐도 WiiRemote를 Bluetooth와 함께 PC에 연동하여 차세대 인터페이스인 PC Controller를 설계, 사람 제스처를 통한 자연스런 한글입력의 가능성을 제안한다.

• Journal of Information Processing Systems
• /
• v.14 no.6
• /
• pp.1457-1463
• /
• 2018

In recent times, Natural User Interface/Natural User Experience (NUI/NUX) technology has found widespread application across a diverse range of fields and is also utilized for controlling unmanned aerial vehicles (UAVs). Even if the user controls the UAV by utilizing the NUI/NUX technology, it is difficult for the user to easily control the UAV. The user needs an autopilot to easily control the UAV. The user needs a flight path to use the autopilot. The user sets the flight path based on the waypoints. UAVs normally fly straight from one waypoint to another. However, if flight between two waypoints is in a straight line, UAVs may collide with obstacles. In order to solve collision problems, flight records can be utilized to adjust the generated path taking the locations of the obstacles into consideration. This paper proposes a natural path generation method between waypoints based on flight records collected through UAVs flown by users. Bayesian probability is utilized to select paths most similar to the flight records to connect two waypoints. These paths are generated by selection of the center path corresponding to the highest Bayesian probability. While the K-means algorithm-based straight-line method generated paths that led to UAV collisions, the proposed method generates paths that allow UAVs to avoid obstacles.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.05a
• /
• pp.445-446
• /
• 2018

최근 무인항공기 (Unmanned Aerial Vehicle, UAV)에 장착한 카메라를 활용하여 사용자의 눈높이가 아닌 새로운 시각에서 사용자를 촬영한 영상을 제공한다. 사용자를 추적하며 촬영하기 위해 저전력 블루투스 (Bluetooth Low Energy, BLE) 신호, 영상, 그리고 Natural User Interface/Natual User Experience(NUI/NUX) 기술을 활용한다. BLE 신호로 사용자를 추적하는 경우 사용자의 후방에서 추적하며 사용자만을 추적하며 촬영 가능한 문제가 있다. 하지만 복수의 사용자를 전방에서 추적하며 촬영하는 방법이 필요하다. 본 논문에서는 복수의 사용자를 추적하며 전방에서 촬영하기 위해 UAV의 비행방향을 결정하는 방법을 설명한다. 복수의 사용자로부터 측정 가능한 BLE 신호들을 UAV에서 측정한다. 복수개의 BLE 신호의 변화를 활용하여 UAV의 비행방향을 결정한다.