• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2006년도 하계종합학술대회
• /
• pp.379-380
• /
• 2006

As a result of growth sensor-enabled mobile devices such as PDA, cellular phone and other computing devices, in recent years, users can utilize the diverse digital contents everywhere and anytime. However, the interfaces of mobile applications are often unnatural due to limited resources and miniaturized input/output. Especially, users may feel this problem in some applications such as the mobile game. Therefore, Novel interaction forms have been developed in order to complement the poor user interface of the mobile device and to increase the interest for the mobile game. In this paper, we describe the demonstration of the gesture and posture input supported by an accelerometer. The application example we created are AM-Fishing game on the mobile device that employs the accelerometer as the main interaction modality. The demos show the usability for the gesture and posture interaction.

• 디지털콘텐츠학회 논문지
• /
• 제13권3호
• /
• pp.343-352
• /
• 2012

본 논문에서는 DID 시스템에서 사용할 수 있는 제스쳐 인식을 이용한 비접촉식 인터페이스를 구현하였다. 비접촉식 인터페이스는 별도의 부착물 없이 키넥트 카메라만을 사용함으로, 사용자의 편의와 공간적인 활용도를 높일 수 있다. 손 동작인식에는 사용자의 손 움직임의 기울기와 속력을 인식하는 방향성 기반의 인식 기법을 채용하였고 손 모양인식을 위해서 YCbCr 칼라모델을 이용한 손 영역 추출과 손 넓이의 원을 이용한 영상처리 기술로 손가락의 수를 인식하였다. 이러한 손 동작인식과 손 모양인식을 이용하여 다음 페이지, 이전 페이지, 화면 위로, 화면 아래로, 커서 움직임, 클릭 등의 이벤트를 발생시켜 DID 시스템 제어 명령으로 사용하였으며, 구현한 시스템을 갖고 동작 실험한 결과 93%의 명령 인식률을 보여 실용화의 가능성을 확인할 수 있었다.

• 한국정보통신학회논문지
• /
• 제19권5호
• /
• pp.1213-1220
• /
• 2015

최근 전자칠판 시스템, 스마트 기기의 보급과 더불어 다양한 디지털 콘텐츠가 등장하면서 종이 교과서를 활용하는 전통적인 교육에서 위 기기들을 활용하는 스마트 교육으로 진입하기 위한 작업이 정부 주도하에 진행 중에 있다. 스마트 교육을 활성화하기 위해서는 실제 현장의 강사들이 스마트 교육 인프라를 쉽게 활용할 수 있어야 한다. 특히, 전자칠판은 현장의 강사들이 가장 많이 활용할 것으로 예상되는 기기로 이 기기에서 동작하는 판서 소프트웨어는 복잡하지 않은 인터페이스를 제공하고 사용 방법이 간단해야 한다. 본 논문에서는 누구나 쉽게 활용할 수 있는 전자칠판용 판서 소프트웨어를 개발하였다. 개발된 판서 소프트웨어는 기본 판서 기능이외에 사용자의 제스처를 인식하여 그에 대응하는 기능을 수행하는 제스처 인식 기능과 판서 위치에 따른 동적 메뉴 배치 기능, 그리고 사용 빈도 기반의 자동 버튼 정렬 기능을 제공한다.

• 제어로봇시스템학회논문지
• /
• 제17권4호
• /
• pp.368-374
• /
• 2011

This paper proposes a robot control human interface using Markov model (HMM) based hand signal recognizer. The command receiving humanoid robot sends webcam images to a client computer. The client computer then extracts the intended commanding hum n's hand motion descriptors. Upon the feature acquisition, the hand signal recognizer carries out the recognition procedure. The recognition result is then sent back to the robot for responsive actions. The system performance is evaluated by measuring the recognition of '48 hand signal set' which is created randomly using fundamental hand motion set. For isolated motion recognition, '48 hand signal set' shows 97.07% recognition rate while the 'baseline hand signal set' shows 92.4%. This result validates the proposed hand signal recognizer is indeed highly discernable. For the '48 hand signal set' connected motions, it shows 97.37% recognition rate. The relevant experiments demonstrate that the proposed system is promising for real world human-robot interface application.

• 한국컴퓨터그래픽스학회논문지
• /
• 제25권2호
• /
• pp.1-9
• /
• 2019

본 연구는 몰입형 가상현실에서의 상호작용 과정에서 사용자의 몰입을 높여 향상된 현존감을 제공하는 손 기반 인터페이스에 대한 비교 실험을 진행한다. 몰입형 가상현실에서 사용자에게 장비의 부담을 최소화하면서 동시에 손을 보다 직접적으로 사용하여 가상 환경과 객체를 제어할 수 있는 몰입형 체험 환경을 제공하기 위하여 손 동작 인식 센서 기반 상호작용과 컨트롤러 기반 상호작용의 두 가지 실험 인터페이스를 설계한다. 손 동작 인식 센서 기반 상호작용은 VR (virtual reality) HMD (head mounted display) 외에 추가적인 장비를 사용하는 대신 정확한 손의 움직임과 직접적인 제스쳐 및 동작 표현을 가상 환경에 반영한다. 컨트롤러 기반 상호작용은 VR HMD와 함께 제공되는 컨트롤러를 쉽게 활용할 수 있도록 손의 제스쳐와 컨트롤러의 키를 매핑시킨 일반화된 인터페이스를 설계한다. 이러한 과정을 통해 본 연구는 손을 활용한 가상현실에서의 상호작용이 사용자의 편리함과 직관성에 측면에서 현존감에 미치는 영향을 비교 실험을 통해 확인한다.

• 한국CDE학회논문집
• /
• 제21권2호
• /
• pp.159-169
• /
• 2016

In order to realize the virtual prototyping (VP) of digital products, it is important to provide the people involved in product development with the appropriate visualization and interaction of the products, and the vivid simulation of user interface (UI) behaviors in an interactive 3D virtual environment. In this paper, we propose an approach to web-based 3D virtual experience using Unity and Leap Motion. We adopt Unity as an implementation platform which easily and rapidly implements the visualization of the products and the design and simulation of their UI behaviors, and allows remote users to get an easy access to the virtual environment. Additionally, we combine Leap Motion with Unity to embody natural and immersive interaction using the user's hand gesture. Based on the proposed approach, we have developed a testbed system for web-based 3D virtual experience and applied it for the design evaluation of various digital products. Button selection test was done to investigate the quality of the interaction using Leap Motion, and a preliminary user study was also performed to show the usefulness of the proposed approach.

• International journal of advanced smart convergence
• /
• 제10권4호
• /
• pp.30-37
• /
• 2021

Touch sensor interface has become the most useful input device in a smartphone. Unlike keypad/keyboard interfaces used in electronic dictionaries and feature phones, smartphone's touch interfaces allow for the recognition of various gestures that represent distinct features of each application's input. In this paper, we analyze application-specific input patterns that appear in smartphone's touch interfaces. Specifically, we capture touch input patterns from various Android applications, and analyze them. Based on this analysis, we observe a certain unique characteristics of application's touch input patterns. This can be utilized in various useful areas like user authentications, prevention of executing application by illegal users, or digital forensic based on logged touch patterns.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제10권5호
• /
• pp.2363-2374
• /
• 2016

Communication occurs through verbal elements, which usually involve language, as well as non-verbal elements such as facial expressions, eye contact, and gestures. In particular, among these non-verbal elements, gestures are symbolic representations of physical, vocal, and emotional behaviors. This means that gestures can be signals toward a target or expressions of internal psychological processes, rather than simply movements of the body or hands. Moreover, gestures with such properties have been the focus of much research for a new interface in the NUI/NUX field. In this paper, we propose a method for recognizing the number of fingers and detecting the hand region based on the depth information and geometric features of the hand for application to an NUI/NUX. The hand region is detected by using depth information provided by the Kinect system, and the number of fingers is identified by comparing the distance between the contour and the center of the hand region. The contour is detected using the Suzuki85 algorithm, and the number of fingers is calculated by detecting the finger tips in a location at the maximum distance to compare the distances between three consecutive dots in the contour and the center point of the hand. The average recognition rate for the number of fingers is 98.6%, and the execution time is 0.065 ms for the algorithm used in the proposed method. Although this method is fast and its complexity is low, it shows a higher recognition rate and faster recognition speed than other methods. As an application example of the proposed method, this paper explains a Secret Door that recognizes a password by recognizing the number of fingers held up by a user.

• 인터넷정보학회논문지
• /
• 제16권6호
• /
• pp.11-21
• /
• 2015

Human-Computer Interaction(HCI)에 대한 관심도가 높이지면서, HCI에 대한 연구도 활발히 진행되고 있다. 이와 더불어 사용자의 몸짓이나 음성을 이용하는 Natural User Interface/Natural User eXperience(NUI/NUX)에 대한 연구도 활발히 진행되고 있다. NUI/NUX의 경우, 제스처 인식이나 음성 인식 등의 인식 알고리즘이 필요하다. 하지만 이러한 인식 알고리즘은 전처리, 정규화, 특징 추출과 같은 단계를 거쳐야하기 때문에 구현이 복잡하고, 트레이닝에 많은 시간을 투자해야 한다는 단점이 있다. 최근에는 NUI/NUX 개발 도구로 Microsoft 사의 Kinect가 개발되어 개발자와 일반인들에게 많은 관심을 받고 있고, 이를 이용한 다양한 연구가 진행 중에 있다. 본 저자들의 이전 연구에서도 사용자의 신체적 특징을 이용하여 뛰어난 직관성을 가진 핸드 마우스를 구현하였다. 하지만 마우스의 움직임이 부자연스럽고 정확도가 낮아 사용자가 사용하기 다소 어려웠다는 단점이 있다. 본 연구에서는 Kinect를 통해 사용자의 신체적 특징을 실시간으로 추출하고, 이를 이용해 가상 모니터라는 새로운 개념을 추가한 핸드 마우스 인터페이스를 설계하고 구현하였다. 가상 모니터는 사용자의 손으로 마우스를 제어할 수 있는 가상의 공간을 의미한다. 이를 통해 가상 모니터 상의 손의 좌표를 실제 모니터 상의 좌표로 정확하게 매핑(mapping)이 가능하다. 가상 모니터를 사용함으로써 이전 연구의 장점인 직관성을 유지하고, 단점인 정확도를 높일 수 있다. 추가적으로 뇌파 집중 지표를 이용해 사용자의 불필요한 행동을 인식하여 핸드 마우스 인터페이스의 정확도를 높였다. 제안하는 핸드 마우스의 직관성과 정확성을 평가하기 위하여 10대부터 50대까지 50명에게 실험을 하였다. 직관성 실험 결과로 84%가 1분 이내에 사용방법을 터득하였다. 또한 동일한 피실험자에게 일반적인 마우스 기능(드래그, 클릭, 더블클릭)에 대해 정확성 실험을 한 결과로 드래그 80.9%, 클릭 80%, 더블 클릭 76.7%의 정확성을 보였다. 실험 결과를 통해 제안하는 핸드 마우스 인터페이스의 직관성과 정확성을 확인하였으며, 미래에 손으로 시스템이나 소프트웨어를 제어하는 인터페이스의 좋은 예시가 될 것으로 기대된다.

• 한국컴퓨터정보학회논문지
• /
• 제21권2호
• /
• pp.17-23
• /
• 2016

NUI is a motion interface. It uses the body of the user without the use of HID device such as a mouse and keyboard to control the device. In this paper, we use a Pi Camera and sensors connected to it with small embedded board Raspberry Pi. We are using the OpenCV algorithms optimized for image recognition and computer vision compared with traditional HID equipment and to implement a more human-friendly and intuitive interface NUI devices. comparison operation detects motion, it proposed a more advanced motion sensors and recognition systems fused connected to the Raspberry Pi.