• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.26 no.3
• /
• pp.396-402
• /
• 2022

User interactions are being developed in various forms, and in particular, interactions using human gestures are being actively studied. Among them, hand gesture recognition is used as a human interface in the field of realistic media based on the 3D Hand Model. The use of interfaces based on hand gesture recognition helps users access media media more easily and conveniently. User interaction using hand gesture recognition should be able to view images by applying fast and accurate hand gesture recognition technology without restrictions on the computer environment. This paper developed a fast and accurate user hand gesture recognition algorithm using the open source media pipe framework and machine learning's k-NN (K-Nearest Neighbor). In addition, in order to minimize the restriction of the computer environment, a stereoscopic image control system based on user hand gesture recognition was designed and implemented using a web service environment capable of Internet service and a docker container, a virtual environment.

• Information and Communications Magazine
• /
• v.29 no.7
• /
• pp.25-30
• /
• 2012

멀티터치 스크린 상에서의 접촉식 제스처 UI(User Interface)는 사용자가 안정적으로 손을 사용할 수 있는 정적인 상황에서 편리하게 사용할 수 있다. 하지만, 조깅을 한다거나 운전을 하는 등의 동적인 상황에서는 접촉식의 제스처 인터페이스는 심각한 사용성 문제를 야기 시킬 수 있다. 이에 본 연구에서는 정지 및 운동 상황 모두에서 사용할 수 있는 비접촉성 제스처 기반 인터랙션을 개발하고자 하였다. 비접촉성 제스처 UI 인식 방식은 컴퓨터 센서 제스처, 멀티 터치 제스처, 자이로 센서 세 가지로 제한하였다. 그리고 본 연구를 통해 정지 상황과 운동 상황에서 MP3 플레이어를 시용할 수 있는 제스처의 어휘 목록을 개발하였다. 마지막으로 본 연구의 제한점과 시사점을 논의하였다.

• The Journal of the Korea Contents Association
• /
• v.14 no.11
• /
• pp.519-532
• /
• 2014

The emerging technologies for the natural computer interaction can give manufacturers new opportunities of product innovation. This paper is the study on a method of human communication about a finger gestures interaction. As technological advance has been so rapid over the last few decades, the utilizing products or services will be soon popular. The purpose of this experiment are as follows; What is the usefulness of gesture interaction? What is the cognitive impact on gesture interaction users. The finger gestures interaction consist of poking, picking and grasping. By measuring each usability in 2D and 3D space, this study shows the effect of finger gestures interaction. The 2D and 3D experimental tool is developed by using LeapMotion technology. As a results, the experiments involved 48 subjects shows that there is no difference in usability between the gestures in 2D space but in 3D space, the meaningful difference has been found. In addition, all gestures express good usability in 2D space rather than 3D space. Especially, there are the attractive interest that using uni-finger is better than multi-fingers.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2010.11a
• /
• pp.803-806
• /
• 2010

본 논문에서는 스크린을 터치를 하지 않고 또한 스크린의 영역의 크기에 상관없이 제스처를 이용하여 인터랙션이 가능한 제스쳐 인식 모듈을 이용한 대규모 멀티 인터랙티브 디스플레이 시스템을 제안한다. IR laser를 이용하여 인터랙션 영역을 생성하고 band pass filter를 장착한 적외선 카메라를 이용하여 인터랙션 영역 안의 영상을 획득한다. 획득되어진 영상은 제안하는 영상처리모듈을 이용하여 이진화->블랍-라벨링 과정을 거쳐 잡음을 제거한 후 인터랙션 영역 안에서 이루어지는 인터랙션 좌표를 획득한 후 Packet으로 저장한다. 저장 된 Packet은 네트워크 통신 시스템을 이용하여 Server로 보내어지고 Server에서는 메타포분석모듈을 이용하여 분석하여 결과를 메타포이벤트로 저장한 후 콘텐츠에 보낸다. 콘텐츠에서는 받은 메타포이벤트에 따라서 콘텐츠 결과를 보여 줌으로써 스크린을 터치 하지 않아도 터치 인터랙션이 가능하며 스크린 영역에 제한 없이 많은 사용자가 동시에 사용이 가능한 시스템 사용이 가능하도록 한다. 본 시스템은 향후 보다 다양한 인터랙션과 시스템 크기의 확장으로 보다 많은 사용자가 동시에 사용가능하며 다양한 인터랙션을 사용할 수 있는 인식 디바이스로써 활용이 가능하다.

• Journal of Satellite, Information and Communications
• /
• v.9 no.1
• /
• pp.1-5
• /
• 2014

Recently, building is rapidly develop more intelligently because of the development of industries. And people seek such as comfort, efficiency, and convenience in office environment and the living environment. Also, people were able to use a variety of devices. Smart TV and smart phones were distributed widely so interaction between devices and human has been increase the interest. A various method study for interaction but there are some discomfort and limitations using controller for interaction. In this paper, a user could be easily interaction and control LED through using Kinect and gesture(hand gestures) without controller. we designed interface which is control LED using the joint information of gesture obtained from Kinect. A user could be individually controlled LED through gestures (hand movements) using the implementation of the interface. We expected developed interface would be useful in LED control and various fields.

• Design Convergence Study
• /
• v.16 no.5
• /
• pp.177-190
• /
• 2017

This research aims to suggest a multimodal non-touch gesture interface design to improve the usability of 3D sculpting task. The task and procedure of design sculpting of users were analyzed across multiple circumstances from the physical sculpting to computer software. The optimal body posture, design process, work environment, gesture-task relationship, the combination of natural hand gesture and arm movement of designers were defined. The preliminary non-touch 3D S/W were also observed and natural gesture interaction, visual metaphor of UI and affordance for behavior guide were also designed. The prototype of gesture based 3D sculpting system were developed for validation of intuitiveness and learnability in comparison to the current S/W. The suggested gestures were proved with higher performance as a result in terms of understandability, memorability and error rate. Result of the research showed that the gesture interface design for productivity system should reflect the natural experience of users in previous work domain and provide appropriate visual - behavioral metaphor.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.1011-1018
• /
• 2006

멀티모달 인터페이스는 인간의 제스처, 시선, 손의 움직임, 행동의 패턴, 음성, 물리적인 위치 등 인간의 자연스러운 행동들에 대한 정보를 해석하고 부호화하는 인지기반 기술이다. 본 논문에서는 제스처와 음성, 터치를 이용한 3D 오브젝트 기반의 멀티모달 인터페이스를 설계, 구현한다. 서비스 도메인은 스마트 홈이며 사용자는 3D 오브젝트 직접조작을 통해 원격으로 가정의 오브젝트들을 모니터링하고 제어할 수 있다. 멀티모달 인터랙션 입출력 과정에서는 여러 개의 모달리티를 병렬적으로 인지하고 처리해야 하기 때문에 입출력 과정에서 각 모달리티의 조합과 부호화 방법, 입출력 형식 등이 문제시된다. 본 연구에서는 모달리티들의 특징과 인간의 인지구조 분석을 바탕으로 제스처, 음성, 터치 모달리티 간의 입력조합방식을 제시하고 멀티모달을 이용한 효율적인 3D Object 인터랙션 프로토타입을 설계한다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02b
• /
• pp.409-415
• /
• 2006

컴퓨터와 인간사이의 원활한 의사소통 및 인터랙션을 위해 기존의 키보드, 마우스를 대체할 수 있는 다양한 입력장치들이 개발되고 있다. 하지만 정보를 탐색, 접근하는 데에 있어서 기존의 장치들은 클릭과 같은 제한적인 동작만을 입력 값으로 받아들이므로 이러한 방식에 익숙하지 않은 사용자의 입장에서는 부자연스러움을 느끼는 요인이 된다. 사용자의 제스처를 인식할 수 있는 인터페이스를 통해 일상에서 사물을 사용할 때의 행동양식을 그대로 가져올 수 있다면, 디지털 콘텐츠에 접근하는데 있어 보다 직관적이고 편리하게 컴퓨터와 의사소통 될 수 있다. 제스처는 동작의 자율성이 높고 때로 그 의미를 파악하기 모호하기 때문에 동작들을 정확히 인식하여 구분할 필요가 있다. 본 논문에서는 이를 바탕으로 효과적인 제스처 인터페이스의 구현을 위해 필요한 점들을 살펴보고, 기술적 구현을 통해 디지털 콘텐츠와의 인터랙션을 보여주고자 한다. 정보 접근에 있어 가장 익숙하고 전통적이라 할 수 있는 책의 메타포를 통해 페이지를 넘기는 행동양식을 인식할 수 있는 인터페이스를 개발하고 이를 입력장치로 사용한다. 사용자의 동작을 인식, 파악하여 책을 앞뒤로 넘기거나 탐색하며 원하는 정보에 접근할 수 있도록 유도하고 손 동작을 통한 인터페이스를 수단으로 컴퓨터와의 유연한 의사소통이 가능하도록 구현한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2011.04a
• /
• pp.540-543
• /
• 2011

최근 멀티 터치 인터랙션을 반영한 인터랙티브 인터페이스에 대하여 많은 연구가 진행중에 있다. 손을 이용한 터치 인터랙션은 여러 가지 제약이 따르므로 본 논문에서는 증강현실 기술의 하나인 마커인식 인터페이스와 멀티 터치 인터랙션 인터페이스를 이용한 체감형 적외선 멀티 카드 터치 기반 인식 시스템을 제안한다. 이를 위해 DI기반의 인식 알고리즘을 적용하여 카드의 고유한 정보와 위치정보, 각도 등을 인식 할 수 있도록 하였다. 또한 사용자의 손 제스처 정보를 트래킹 하여 다양한 인터랙션 메타포를 제공한다. 다양한 인터랙션 메타포는 시스템에 높은 몰입감을 제공하여서 아케이드 게임기기 에도 활용이 가능하다.

• Journal of Satellite, Information and Communications
• /
• v.9 no.1
• /
• pp.57-64
• /
• 2014

Recently, many human-friendly communication methods have been studied for human-machine interface(HMI) without using any physical devices. One of them is the vision-based gesture recognition that this paper deals with. In this paper, we define some gestures for interaction with objects in a predefined virtual world, and propose an efficient method to recognize them. For preprocessing, we detect and track the both hands, and extract their silhouettes from the low-resolution hand images captured by a webcam. We modeled skin color by two Gaussian distributions in RGB color space and use blob-matching method to detect and track the hands. Applying the foodfill algorithm we extracted hand silhouettes and recognize the hand shapes of Thumb-Up, Palm and Cross by detecting and analyzing their modes. Then, with analyzing the context of hand movement, we recognized five predefined one-hand or both-hand gestures. Assuming that one main user shows up for accurate hand detection, the proposed gesture recognition method has been proved its efficiency and accuracy in many real-time demos.