• 인터넷정보학회논문지
• /
• 제15권3호
• /
• pp.11-19
• /
• 2014

내츄럴 유저 인터페이스는 마우스, 키보드, 펜과 마커를 이용하지 않는 신체를 이용한 자연스런 모션 인터페이스이다. 지금까지 대표적인 동작 인식 방법은 마커를 이용하는 방식이었고 그 인식 방법은 각 마커의 좌표를 상대적인 데이터로 입력 받아 데이터베이스에 각 좌표 값을 저장하는 것이었다. 그러나 정확한 동작을 인식하기 위해서는 더 많은 마커들이 필요하고 그 마커들을 붙이는 것과 데이터들을 처리하는 데에 상당한 시간이 걸린다. 또, NUI/NUX 프레임워크를 개발하면서, 가장 중요한 직관성을 배제한 개발로 사용상에 문제가 생겼고 계속해서 사용자에게 암기만을 강요하고 있다. 이 문제를 보완하기 위해, 본 논문에서는 마커를 이용하지 않았고 남녀노소 누구나 다룰 수 있도록 구현했다. 또, 목소리, 신체 동작, 얼굴 표정 등을 동시에 인식하는 멀티모달 NUI/NUX 프레임 워크를 설계했고, 직관적인 손동작을 인식하는 것과 모니터에 그것을 매핑하기 위해 새로운 마우스 이벤트 알고리즘을 제안했다. 우리는 사용자들이 쉽고 직관적으로 핸드마우스 이벤트를 다루도록 구현했다.

• Journal of Information Processing Systems
• /
• 제14권4호
• /
• pp.980-988
• /
• 2018

Motion estimation is a key Natural User Interface/Natural User Experience (NUI/NUX) technology to utilize motions as commands. HTC VIVE is an excellent device for estimating motions but only considers the positions of hands, not the orientations of arms. Even if the positions of the hands are the same, the meaning of motions can differ according to the orientations of the arms. Therefore, when the positions of arms are measured and utilized, their orientations should be estimated as well. This paper proposes a method for estimating the arm orientations based on the Bayesian probability of the hand positions measured in advance. In experiments, the proposed method was used to measure the hand positions with HTC VIVE. The results showed that the proposed method estimated orientations with an error rate of about 19%, but the possibility of estimating the orientation of any body part without additional devices was demonstrated.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 춘계학술발표대회
• /
• pp.445-446
• /
• 2018

최근 무인항공기 (Unmanned Aerial Vehicle, UAV)에 장착한 카메라를 활용하여 사용자의 눈높이가 아닌 새로운 시각에서 사용자를 촬영한 영상을 제공한다. 사용자를 추적하며 촬영하기 위해 저전력 블루투스 (Bluetooth Low Energy, BLE) 신호, 영상, 그리고 Natural User Interface/Natual User Experience(NUI/NUX) 기술을 활용한다. BLE 신호로 사용자를 추적하는 경우 사용자의 후방에서 추적하며 사용자만을 추적하며 촬영 가능한 문제가 있다. 하지만 복수의 사용자를 전방에서 추적하며 촬영하는 방법이 필요하다. 본 논문에서는 복수의 사용자를 추적하며 전방에서 촬영하기 위해 UAV의 비행방향을 결정하는 방법을 설명한다. 복수의 사용자로부터 측정 가능한 BLE 신호들을 UAV에서 측정한다. 복수개의 BLE 신호의 변화를 활용하여 UAV의 비행방향을 결정한다.

• 인터넷정보학회논문지
• /
• 제16권6호
• /
• pp.11-21
• /
• 2015

Human-Computer Interaction(HCI)에 대한 관심도가 높이지면서, HCI에 대한 연구도 활발히 진행되고 있다. 이와 더불어 사용자의 몸짓이나 음성을 이용하는 Natural User Interface/Natural User eXperience(NUI/NUX)에 대한 연구도 활발히 진행되고 있다. NUI/NUX의 경우, 제스처 인식이나 음성 인식 등의 인식 알고리즘이 필요하다. 하지만 이러한 인식 알고리즘은 전처리, 정규화, 특징 추출과 같은 단계를 거쳐야하기 때문에 구현이 복잡하고, 트레이닝에 많은 시간을 투자해야 한다는 단점이 있다. 최근에는 NUI/NUX 개발 도구로 Microsoft 사의 Kinect가 개발되어 개발자와 일반인들에게 많은 관심을 받고 있고, 이를 이용한 다양한 연구가 진행 중에 있다. 본 저자들의 이전 연구에서도 사용자의 신체적 특징을 이용하여 뛰어난 직관성을 가진 핸드 마우스를 구현하였다. 하지만 마우스의 움직임이 부자연스럽고 정확도가 낮아 사용자가 사용하기 다소 어려웠다는 단점이 있다. 본 연구에서는 Kinect를 통해 사용자의 신체적 특징을 실시간으로 추출하고, 이를 이용해 가상 모니터라는 새로운 개념을 추가한 핸드 마우스 인터페이스를 설계하고 구현하였다. 가상 모니터는 사용자의 손으로 마우스를 제어할 수 있는 가상의 공간을 의미한다. 이를 통해 가상 모니터 상의 손의 좌표를 실제 모니터 상의 좌표로 정확하게 매핑(mapping)이 가능하다. 가상 모니터를 사용함으로써 이전 연구의 장점인 직관성을 유지하고, 단점인 정확도를 높일 수 있다. 추가적으로 뇌파 집중 지표를 이용해 사용자의 불필요한 행동을 인식하여 핸드 마우스 인터페이스의 정확도를 높였다. 제안하는 핸드 마우스의 직관성과 정확성을 평가하기 위하여 10대부터 50대까지 50명에게 실험을 하였다. 직관성 실험 결과로 84%가 1분 이내에 사용방법을 터득하였다. 또한 동일한 피실험자에게 일반적인 마우스 기능(드래그, 클릭, 더블클릭)에 대해 정확성 실험을 한 결과로 드래그 80.9%, 클릭 80%, 더블 클릭 76.7%의 정확성을 보였다. 실험 결과를 통해 제안하는 핸드 마우스 인터페이스의 직관성과 정확성을 확인하였으며, 미래에 손으로 시스템이나 소프트웨어를 제어하는 인터페이스의 좋은 예시가 될 것으로 기대된다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2013년도 추계학술발표대회
• /
• pp.1693-1696
• /
• 2013

현재까지, 사람과 컴퓨터간의 인터페이스로 키보드와 마우스를 사용하여 왔다. 최근, 유비쿼터스 시대가 도래하면서 스마트 폰의 활용이 대두 되었고, 각 디바이스들은 하나로 통합되고 있다. 이에 따라 인터페이스도 NUI로 발전하였고 터치, 모션 트래킹, 음성, 표정 인식과 같은 멀티 모달 형식으로 더욱 높은 인지 능력과 직관적인 인터페이스가 되도록 각 디바이스 단계에서 개발되고 있다. 본 논문에서는 키넥트를 이용한 마커 없는 직관적인 손동작 인식과 XML 클라우드 기반의 각종 디바이스 통합 인터페이스 구현 설계를 제안한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 춘계학술발표대회
• /
• pp.682-685
• /
• 2016

최근 무인항공기(Unmanned Aerial Vehicle, UAV)가 많은 보급됨에 따라서 다양한 방법으로 이를 제어하기 위한 노력들이 이루어지고 있다. 그 중 NUI/NUX를 이용하여 UAV를 접목하려는 시도가 있다. 전통적인 NUI/NUX는 가상현실에서 시각적인 체감에 많이 의존하고 있지만 동작 인식 센서를 기반으로 가상 에이전트를 제어하는 기법들도 소개되고 있다. 이 논문에서는 모션 인식 센서인 Myo를 사용하여 UAV를 제어하는 시스템을 제안한다. 제안한 시스템은 지상 통제소(Ground Control Station, GCS)의 서브시스템이며 전통적인 드론 조종 방법과 같이 양팔로 제어하기 때문에 두 개의 Myo를 사용한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제10권5호
• /
• pp.2363-2374
• /
• 2016

Communication occurs through verbal elements, which usually involve language, as well as non-verbal elements such as facial expressions, eye contact, and gestures. In particular, among these non-verbal elements, gestures are symbolic representations of physical, vocal, and emotional behaviors. This means that gestures can be signals toward a target or expressions of internal psychological processes, rather than simply movements of the body or hands. Moreover, gestures with such properties have been the focus of much research for a new interface in the NUI/NUX field. In this paper, we propose a method for recognizing the number of fingers and detecting the hand region based on the depth information and geometric features of the hand for application to an NUI/NUX. The hand region is detected by using depth information provided by the Kinect system, and the number of fingers is identified by comparing the distance between the contour and the center of the hand region. The contour is detected using the Suzuki85 algorithm, and the number of fingers is calculated by detecting the finger tips in a location at the maximum distance to compare the distances between three consecutive dots in the contour and the center point of the hand. The average recognition rate for the number of fingers is 98.6%, and the execution time is 0.065 ms for the algorithm used in the proposed method. Although this method is fast and its complexity is low, it shows a higher recognition rate and faster recognition speed than other methods. As an application example of the proposed method, this paper explains a Secret Door that recognizes a password by recognizing the number of fingers held up by a user.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 춘계학술발표대회
• /
• pp.1077-1078
• /
• 2017

In this study, we implement a natural user interface/experience framework using multi-sensors: Microsoft Kinect, Leap Motion, and Myo Armband. The framework is designed for customers to use in various types of interactive applications. We integrate the functions of three sensors into an application and provide an interface for customers, who can use it to interact with a computer easily. The framework can track body information in real-time, and accurately recognize the motion of different body parts.

• Journal of Information Processing Systems
• /
• 제14권6호
• /
• pp.1457-1463
• /
• 2018

In recent times, Natural User Interface/Natural User Experience (NUI/NUX) technology has found widespread application across a diverse range of fields and is also utilized for controlling unmanned aerial vehicles (UAVs). Even if the user controls the UAV by utilizing the NUI/NUX technology, it is difficult for the user to easily control the UAV. The user needs an autopilot to easily control the UAV. The user needs a flight path to use the autopilot. The user sets the flight path based on the waypoints. UAVs normally fly straight from one waypoint to another. However, if flight between two waypoints is in a straight line, UAVs may collide with obstacles. In order to solve collision problems, flight records can be utilized to adjust the generated path taking the locations of the obstacles into consideration. This paper proposes a natural path generation method between waypoints based on flight records collected through UAVs flown by users. Bayesian probability is utilized to select paths most similar to the flight records to connect two waypoints. These paths are generated by selection of the center path corresponding to the highest Bayesian probability. While the K-means algorithm-based straight-line method generated paths that led to UAV collisions, the proposed method generates paths that allow UAVs to avoid obstacles.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 춘계학술발표대회
• /
• pp.479-480
• /
• 2018

최근 무인항공기(Unmanned Aerial Vehicle, UAV)에 부착된 카메라로 사용자를 촬영함으로써 레저 및 여행 중 영상을 기록하기 위해 활용하고 있다. UAV에 부착된 카메라로 사용자를 촬영하기 위해 사용자가 직접 조종하거나 NUI/NUX 기술을 활용한다. UAV가 비행해야 되는 비행경로를 미리 설정하거나 단일 사용자를 추적해서 자동적으로 UAV가 비행하며 UAV에 부착된 카메라로 단일 사용자 중심으로 촬영한다. 하지만 레저 및 여행 중 영상을 기록하는 과정에서 단일 사용자 중심이 아니라 복수의 사용자를 고려하여 촬영해야 되는 경우가 있다. UAV가 복수의 사용자 위치를 고려하여 복수의 사용자를 촬영하는 시스템이 필요하다. 본 논문에서는 복수의 사용자를 촬영하기 위한 촬영 시스템을 설계한다. 촬영 시스템은 복수의 사용자 위치의 변화를 기반으로 UAV를 제어한다.