• Journal of Internet Computing and Services
• /
• v.15 no.3
• /
• pp.11-19
• /
• 2014

The natural user interface/experience (NUI/NUX) is used for the natural motion interface without using device or tool such as mice, keyboards, pens and markers. Up to now, typical motion recognition methods used markers to receive coordinate input values of each marker as relative data and to store each coordinate value into the database. But, to recognize accurate motion, more markers are needed and much time is taken in attaching makers and processing the data. Also, as NUI/NUX framework being developed except for the most important intuition, problems for use arise and are forced for users to learn many NUI/NUX framework usages. To compensate for this problem in this paper, we didn't use markers and implemented for anyone to handle it. Also, we designed multi-modal NUI/NUX framework controlling voice, body motion, and facial expression simultaneously, and proposed a new algorithm of mouse operation by recognizing intuitive hand gesture and mapping it on the monitor. We implement it for user to handle the "hand mouse" operation easily and intuitively.

• The Journal of the Korea institute of electronic communication sciences
• /
• v.18 no.6
• /
• pp.1313-1320
• /
• 2023

This paper presents the development of a smart mirror that allows control of its display through glove gestures and integrates voice recognition functionality. The hardware configuration of the smart mirror consists of an LCD monitor combined with an acrylic panel, onto which a semi-mirror film with a reflectance of 37% and transmittance of 36% is attached, enabling it to function as both a mirror and a display. The proposed smart mirror eliminates the need for users to physically touch the mirror or operate a keyboard, as it implements gesture control through glove gesture sensors. Additionally, it incorporates voice recognition capabilities and integrates Google Assistant to display results on the screen corresponding to voice commands issued by the user.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2024.01a
• /
• pp.281-282
• /
• 2024

본 논문에서는 사용자들의 운동 능력과 영어 학습 능력 향상을 위한 앱을 개발한다. 지정한 시간에 알람을 울리고, 운동 및 학습을 완료하는 경우에만 알람이 종료한다. 알람이 활성화되면 사용자가 강제적으로 종료할 수 없는 기능을 선택할 수 있다. TTS 기능을 적용하여 알람이 활성화되었을 때, 안내 음성이 나오도록 설계하였다. 학습 기능에 STT를 적용하여 영어 단어와 문장을 마이크에 인식하는 방식의 영어 문제를 제시하였다. 또한, OpenAI를 활용하여 매일 자정 새로운 영어 문제를 생성하고 서버에 저장한다. 이러한 기능들은 사용자의 선택권을 보장하며 건강 증진 및 자기 주도적인 학습에 도움을 줄 것이다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.06a
• /
• pp.109-111
• /
• 2014

본 논문에서는 비접촉 동작 인식 기기를 활용한 동영상 콘텐츠 검색 시스템을 소개한다. 제안하는 시스템은 스마트 TV와 같은 인터넷이 가능한 디스플레이의 동영상 콘텐츠를 대상으로 하며, 콘텐츠 자체 또는 콘텐츠 내의 객체에 대한 정보를 검색 결과로 제공한다. 시스템 구현에 앞서 영상 콘텐츠의 검색 요구 사항에 따라 시나리오 및 기능을 수립하고, 각각의 기능은 비접촉 동작 인식 기기인 립모션을 기반으로 손 동작을 지정하였다. 따라서, 제안하는 시스템은 사용자의 손가락 동작에 의해 선택된 영역을 모바일 비주얼 검색 서버에 전송하게 되고, 검색 결과는 모바일 기기를 통해 최종적으로 전달된다. 본 논문에서는 시스템을 실제로 구현하고 다양한 콘텐츠에 대하여 실험하였다. 개발된 시스템을 통해서 사용자는 손을 이용한 간단한 동작에 의해 콘텐츠 정보, 콘텐츠 내 객체의 정보를 실시간으로 모바일을 통해 제공받을 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.10a
• /
• pp.768-770
• /
• 2016

현재 NUI(Natural User Interface)는 차세대 입력 방식으로 주목을 받고 있다. 이미 한글 입력에 관한 NUI가 다양하게 연구 및 개발되고 있지만, 한글 입력 NUI는 직관성과 정확도의 부족과 불완전한 인식률 등의 한계점이 존재한다. 본 연구에서는 사용자의 핸드 제스처를 인식하기 위해 Leap Motion 장치를 사용하고, 한글의 글자 조합 원리를 바탕으로 자음과 모음 입력의 제스처를 분리하여 인식의 정확도를 높인다. 그리고 모음의 방향성을 참고하여 한글 입력에 직관성을 향상할 수 있는 핸드 제스처를 연구한다. 이를 통해 사용자가 NUI 환경의 디바이스를 좀 더 정확하고 빠르게 조작할 수 있도록 돕는다.

• Journal of the Institute of Convergence Signal Processing
• /
• v.19 no.4
• /
• pp.180-185
• /
• 2018

We have developed an interactive signage system based on floating hologram by combining hologram technology and ICT technology, which can be competitive to small businesses that have excellent products and services. The developed interactive signage system can be used for publicity and marketing of small business owners at low cost, introducing menus with 3D hologram images, and providing various contents responding to user's hand movements. The developed system is able to detect 10 finger movements at a rate of 290 frames per second in a range of 60cm and a range of 150 degrees. We also confirmed that the virtual touch function operates normally by dividing the user's motion recognition into the hover zone and the touch zone by the physical motion experiment of the leap motion object.

• KIPS Transactions on Software and Data Engineering
• /
• v.10 no.10
• /
• pp.429-438
• /
• 2021

In recent, realistic content has been applied in various ways due to the development of display technology and hologram, the final realistic content technology, have been used limitedly in accordance with the growing public demand. However, most realistic content requires additional devices of HMD (head mounted device) or glasses type, and other realistic content display technologies deliver a single image plane in the experience space to the user, providing a monotonous content experience. Various realistic contents with hologram technology are introduced in this work. In addition, we propose an interaction based realistic hologram service based that combines projection mapping and floating holograms. Projection-mapped screens and multi-floating hologram device provide a three-dimensional volumetric space with extended depth orientation from the user's point of view, while allowing users' entire and partial motions to be recognizable through multiple sensors.

• Journal of the HCI Society of Korea
• /
• v.11 no.1
• /
• pp.5-10
• /
• 2016

This paper aims at providing a shooter game interface which enhances the game's realism by recognizing user's hand gestures using the Leap Motion. In this paper, we implemented the functions such as shooting, moving, viewpoint change, and zoom in/out, which are necessary in shooter games, and confirmed through user test that the game interface using familiar and intuitive hand gestures is superior to the conventional mouse/keyboard in terms of ease-to-manipulation, interest, extendability, and so on. Specifically, the user satisfaction index(1~5) was 3.02 on average when using the mouse/keyboard interface and 3.57 on average when using the proposed hand gesture interface.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.260-262
• /
• 2020

본 논문은 6DOF 위치기반 자기장 센서(Liverty Latus, Pollhemus)를 사용한 가상현실 방송제작에서 사용할 수 있는 인터랙티브 증강현실 시스템, K-Pointer를 제안한다. 우리는 방송에서 추적 및 인식의 정확성을 높이기 위해 Pollemus사의 6DOF 자기장기반 위치 추적 센서 리버티(수신부,소스)와 라투스(송신부,마커), 그리고 4입력 버튼장치를 결합한 인터페이스를 가지고 기존 방송용 증강현실 시스템과 통합하여 새로운 인터랙티브 증강현실 시스템을 개발하였다. 본 시스템은 방송용 증강현실 그래픽 합성 시스템(수신부)과 센서의 위치정보와 버튼 이벤트를 전송하는 시스템(송신부)으로 구성되며, 센서추적정보와 버튼이벤트 정보는 UDP로 실시간으로 수신부로 전송된다. 우리는 사용자 손의 모션과 버튼이벤트로 그래픽 정보를 인터랙티브하게 제어할 수 있게 하였다. 결과적으로 본 시스템은 기존의 합성중심의 방송용 증강현실 시스템을 사용자의 모션 기반 그래픽을 제어할 수 있는 인터랙티브 증강현실시스템으로 그 기능을 확장 시킬 수 있게 한다. 제안된 시스템은 광학식 추적을 하지 않기 때문에 조명의 변화에 영향이 없으며, 라투스 수신기가 작기 때문에 손에 쥐었을 때 거의 보이지 않고 가려도 추적이 강인하여 버튼장치를 통해 사용자가 정확한 이벤트로 직접 그래픽을 그리거나 쉽게 제어할 수 있는 장점이 있다.

• Journal of the Korea Academia-Industrial cooperation Society
• /
• v.15 no.9
• /
• pp.5738-5743
• /
• 2014

This paper evaluated an electric wheelchair control algorithm by slope recognition on uneven terrain. Nowadays, the population using wheelchair has been increasing rapidly due to increases in the elderly population. On the other hand, most wheelchairs are directly controlled by the user without any device capable of securing the safety of the user. This causes difficulties in wheelchair control from the influence of gravity on the slope. This paper proposes a vehicle control algorithm that can move a wheelchair similar to moving on a plane. At that time, sensors are not used to recognize the degree of the slope. All processes were verified by simulation.