• Proceedings of the Korean Society of Computer Information Conference
• /
• 2017.01a
• /
• pp.49-50
• /
• 2017

PC 또는 모바일 기기를 이용한 검색을 위해서는 키보드 또는 터치패드를 이용하여 키워드를 입력하는 고전적인 방식이 현재까지 널리 사용되고 있다. 음성, 이미지, 제스처 등을 이용한 새로운 검색 기술들이 등장하고 있지만, 관련 검색엔진의 문제로 검색 결과가 다소 미흡한 상태이다. 본 논문에서는 기존의 포털 검색의 키워드 입력 방식과는 달리, 검색하고자 하는 대상을 스마트폰과 같은 모바일 기기의 카메라로 촬영하면 해당 촬영 이미지가 사용자 입장에서는 검색 키워드와 같이 동일한 역할을 할 수 있도록 CNN기법을 사용하여 Image-to-Text 형태의 모바일 비주얼 검색 서비스에 대해 제안한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2012.06c
• /
• pp.371-373
• /
• 2012

기존의 스마트폰 음악 플레이어는 이어폰을 끼고 장소를 이동할 때 주변의 경고소리를 잘 듣지 못하는 위험함이 있고, 플레이어 컨트롤을 위해서는 화면을 보아야만 하는 불편함이 많았기 때문에 이를 해결하고자 멀티모달 자동제어 기법을 사용한 새로운 플레이어를 제안하였다. 주변의 dB(데시벨)을 입력받아 자동으로 볼륨을 제어해주며, 음성 명령과 터치 제스처 모드를 통해 화면을 보지 않고도 플레이어의 일부 기능을 제어할 수 있도록 하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2009.11a
• /
• pp.339-340
• /
• 2009

현대의 PC 환경에서 사용자 인터페이스의 변화는 계속하여 발전할 것으로 기대된다. HCI 전용 인터페이스는 종래의 CLI; Command Line Interface의 시대에서 MS-Windows 기반의 Graphic User Interface의 시대로 전환되어 왔으며, 가까운 미래에는 NUI; Natural User Interface의 시대로 도래함은 부정할 수 없는 현실이다. 미래에는 전통적인 표준 입력 장치인 키보드, 마우스를 탈피하여 새로운 개념의 입력 장치들이 개발되고, 터치 방식과 같이 인간의 직관적 인지능력을 흉내 낸 인터페이스로 발전할 것이다. 본 논문에서는 NUI의 사례 연구로서 닌텐도 WiiRemote를 Bluetooth와 함께 PC에 연동하여 차세대 인터페이스인 PC Controller를 설계, 사람 제스처를 통한 자연스런 한글입력의 가능성을 제안한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.938-939
• /
• 2023

코로나-19로 인해 비접촉 서비스의 중요성이 더욱 대두되고 있다. 키보드나 마우스와 같은 기존 입력 장치를 대체하기 위해 사람들은 디지털 기기에서 손을 사용하여 자연스럽고 간단한 입력을 할 수 있게 되었다. 본 논문에서는 미디어파이프(MediaPipe)와 LSTM(Long Short-Term Memory) 딥러닝을 활용하여 손 제스처를 학습하고 비접촉 입력 장치로 구현하는 방법을 제시한다. 이러한 기술은 가상현실(VR; Virtual Reality), 증강현실(AR; Augmented Reality), 메타버스, 키오스크 등에서 활용 가능성이 크다.

• The Journal of the Korea Contents Association
• /
• v.11 no.5
• /
• pp.194-204
• /
• 2011

Tabletop display can take the benefits of the interactive device due to its possible user friendly input and display facilities simultaneously. Using this device, immersive edutainment content is effectively implemented with the convenient interactive interface. So considering this usefulness, tabletop display can be a very efficient device for constructing the edutainment system. In this paper, we describe a digitalized cooking edutainment contents based on the tabletop display interface. Enjoying our contents, we use the intuitive touch gestures for handling a variety of cooking actions. In the education effects such as the immersive strengthening and co-operation, the proposed system is more efficient interface than any other existing system. We implement the contents with the tabletop display and make sure about the efficiency of our proposed system. In the future, we will add more gestures to enhance the applicability of the intuitive interactive interface.

• The Journal of the Korea Contents Association
• /
• v.9 no.6
• /
• pp.117-125
• /
• 2009

In this paper, we propose user-centric immersible and interactive electronic book based on the interface of tabletop display. Electronic book is usually used for users that want to read the text book with multimedia contents like video, audio, animation and etc. It is based on tabletop display platform then the conventional input device like keyboard and mouse is not essentially needed. Users can interact with the contents based on the gestures defined for the interface of tabletop display using hand finger touches then it gives superior and effective interface for users to use the electronic book interestingly. This interface supports multiple users then it gives more diverse effects on the conventional electronic contents just made for one user. In this paper our method gives new way for the conventional electronics book and it can define the user-centric gestures and help users to interact with the book easily. We expect our method can be utilized for many edutainment contents.

• Journal of the Korea Convergence Society
• /
• v.10 no.11
• /
• pp.111-116
• /
• 2019

With recent rapid development of computer capabilities, various technologies that can facilitate the interaction between humans and computers are being studied. The paradigm tends to change to NUI using the body such as 3D motion, haptics, and multi-touch with GUI using traditional input devices. Various studies have been conducted on transferring human movements to computers using sensors. In addition to the development of optical sensors that can acquire 3D objects, the range of applications in the industrial, medical, and user interface fields has been expanded. In this paper, I provide a model that can execute other programs through gestures instead of the mouse, which is the default input device, and control Windows based on the lip motion. To propose a model which converges with an Android application and can be controlled by various media and voice instruction functions using voice recognition and buttons through connection with a main client. It is expected that Internet media such as video and music can be controlled not only by a client computer but also by an application at a long distance and that convenient media viewing can be performed through the proposal model.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.18 no.1
• /
• pp.23-28
• /
• 2018

In this work, we developed a platform that can monitor status and manage events of factory workplaces by providing events and data collected from various types of multi-touch technology based sensors installed in the workplace. By using the image recognition technology, faces of the people in the factory workplace are recognized and the customized contents for each worker are provided, and security of contents is enhanced by the authenticating an individual worker through face recognition. Contents control function through gesture recognition is constructed, so that workers can easily search documents. Also, it is possible to provide contents for workers by implementing face recognition function in mobile devices. The result of this work can be used to improve workplace safety, convenience of workers, contents security and can be utilized as a base technology for future smart factory construction.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.06a
• /
• pp.54-55
• /
• 2016

개인이 실시간 방송을 할 수 있는 개인방송은 게임, 스포츠, 교육을 비롯하여 시대의 흐름을 고려한 요리, 다이어트 등과 같은 광범위한 미디어 콘텐츠를 생산하고 있다. 최근에는 실감형 콘텐츠를 위해 360도 카메라와 이를 마우스, 터치스크린, 자이로센서를 이용하여 제어하는 방식들이 소개되고 있다. 하지만 이러한 기술들을 활용해 더 많은 콘텐츠를 생산하기 위해서는 기술을 쉽게 사용할 수 있도록 제작자의 편리성을 고려한 기술 서비스의 제공이 필요하다. 본 논문에서는 실감 콘텐츠 제작 편리성을 위한 개인방송용 NUI 기술 서비스에 대해 논하고자 한다. 콘텐츠의 다양성과 빠르게 변화하는 IoT 기기 확장성을 고려하여 이와 연동 가능한 제스처 인식, 음성 인식 등과 같은 비 접촉식 NUI 서비스 기술과 이를 활용해 방송 제공자가 편리하게 다양한 콘텐츠를 제공할 수 있는 서비스 개념도를 제안하고, 관련 API 설계에 대해 보인다. 본 연구를 통해 개인방송을 접하는 사람들의 편의성, 흥미를 만족시켜 다채로운 서비스를 제공할 수 있고 나아가 편리성을 고려한 NUI 서비스 가이드라인을 마련할 수 있을 것으로 기대된다.

• 한국HCI학회:학술대회논문집
• /
• 2008.02b
• /
• pp.60-63
• /
• 2008

The sony Eytoy is developed on Playstation 2 using webcam for detecting human. A user see his appearance in television and become real gamer in the game. It is very different interface compared with ordinary video game which uses joystick. Although Eyetoy already was made for commercial products but the interface method still is interesting and can be added with many techniques like gesture recognition. In this paper, we have developed game interface with image processing for human hand and face detection and with game graphic module. And we realize one example game for busting balloons and demonstrated the game interface abilities. We will open this project for other developers and will be developed very much.