• Smart Media Journal
• /
• v.4 no.1
• /
• pp.16-24
• /
• 2015

In this paper, we propose a method for multi-touch tracking using MRF-based particle filters and gesture likelihood estimation Each touch (of one finger) is considered to be one object. One of frequently occurring issues is the hijacking problem which means that an object tracker can be hijacked by neighboring object. If a predicted particle is close to an adjacent object then the particle's weight should be lowered by analysing the influence of neighboring objects for avoiding hijacking problem. We define a penalty function to lower the weights of those particles. MRF is a graph representation where a node is the location of a target object and an edge describes the adjacent relation of target object. It is easy to utilize MRF as data structure of adjacent objects. Moreover, since MRF graph representation is helpful to analyze multi-touch gestures, we describe how to define gesture likelihoods based on MRF. The experimental results show that the proposed method can avoid the occurrence of hijacking problems and is able to estimate gesture likelihoods with high accuracy.

• Proceedings of the Korean Information Science Society Conference
• /
• 2010.06b
• /
• pp.184-187
• /
• 2010

본 논문에서는 터치 제스처의 인식을 위해 시도된 여러 방법 중 테이블탑 디스플레이상에서 HMM을 이용한 제스처의 학습과 사용에 대해 제안한다. 터치 제스처는 제스처의 획(stroke)에 따라 single stroke와 multi stroke로 분류할 수 있다. 그러므로 제스처의 입력은 영상프레임에서 터치 궤적에 따라 변하는 방향 벡터를 이용하여 방향코드로 분석될 수 있다. 그리고 분석된 방향코드를 기계학습을 통하여 학습시킨 후, 인식실험에 사용한다. 제스처 인식 학습에는 총 10개의 제스처에 대하여 100개 방향코드 데이터를 이용하였다. 형태를 갖추고 있는 제스처는 미리 정의되어 있는 제스처와 비교를 통하여 인식할 수 있다. (4 방향 드래그, 원, 삼각형, ㄱ ㄴ 모양 >, < ) 미리 정의되어 있는 제스처가 아닌 경우에는 기계학습을 통하여 사용자가 의미를 부여한 후 제스처를 정의하여 원하는 제스처를 선택적으로 사용할 수 있다. 본 논문에서는 테이블탑 디스플레이 환경에서 사용자의 터치제스처를 인식하는 시스템을 구현하였다. 앞으로 테이블탑 디스플레이 환경에서 터치 제스처 인식에 적합한 알고리즘을 찾고 멀티터치 제스처를 인식하는 연구도 이루어져야 할 것이다.

• Information and Communications Magazine
• /
• v.29 no.7
• /
• pp.25-30
• /
• 2012

멀티터치 스크린 상에서의 접촉식 제스처 UI(User Interface)는 사용자가 안정적으로 손을 사용할 수 있는 정적인 상황에서 편리하게 사용할 수 있다. 하지만, 조깅을 한다거나 운전을 하는 등의 동적인 상황에서는 접촉식의 제스처 인터페이스는 심각한 사용성 문제를 야기 시킬 수 있다. 이에 본 연구에서는 정지 및 운동 상황 모두에서 사용할 수 있는 비접촉성 제스처 기반 인터랙션을 개발하고자 하였다. 비접촉성 제스처 UI 인식 방식은 컴퓨터 센서 제스처, 멀티 터치 제스처, 자이로 센서 세 가지로 제한하였다. 그리고 본 연구를 통해 정지 상황과 운동 상황에서 MP3 플레이어를 시용할 수 있는 제스처의 어휘 목록을 개발하였다. 마지막으로 본 연구의 제한점과 시사점을 논의하였다.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.12 no.2
• /
• pp.85-94
• /
• 2012

In this paper, we develop the new gestures of screen control with fingers on the FTIR multi touch table. It also describes recognition of mobile devices on the table using infrared camera. The FTIR multi touch table was incovenient to the existiog Bluetooth connection, because it is not provided with an HID(Human Input Device) interface. The proposed data transmission method using mobile device is to relieve the inconvenience of the data transfer and proceed more effectively. The new gestures and data transmission method is verified by FTIR multi touch table that is implemented for testing.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.553-560
• /
• 2007

본 논문에서는 양손의 터치를 인식하여 실시간 상호작용이 가능한 테이블 탑 디스플레이 시스템 및 구현 알고리즘에 대해 기술한다. 제안하는 시스템은 FTIR(Frustrated Total Internal Reflection) 메커니즘을 기반으로 제작되었으며 multi-touch, multi-user 방식의 손 제스처 입력이 가능하다. 시스템은 크게 영상 투영을 위한 빔-프로젝터, 적외선 LED를 부착한 아크릴 스크린, Diffuser 그리고 영상을 획득하기 위한 적외선 카메라로 구성되어 있다. 시스템 제어에 필요한 제스처 명령어 종류는 상호작용 테이블에서의 입력과 출력의 자유도를 분석하고 편리함, 의사소통, 항상성, 완벽함의 정도를 고려하여 규정하였다. 규정된 제스처는 사용자가 상호작용을 위해 스크린에 접촉한 손가락의 개수, 위치, 그리고 움직임 변화를 기준으로 세분화된다. 적외선 카메라를 통해 입력받은 영상은 잡음제거 및 손가락 영역 탐색을 위해 간단한 모폴로지 기법이 적용된 후 인식과정에 들어간다. 인식 과정에서는 입력 받은 제스처 명령어들을 미리 정의해놓은 손 제스처 모델과 비교하여 인식을 행한다. 세부적으로는 먼저 스크린에 접촉된 손가락의 개수를 파악하고 그 영역을 결정하며 그 후 그 영역들의 중심점을 추출하여 그들의 각도 및 유클리디언 거리를 계산한다. 그리고 나서 멀티터치 포인트의 위치 변화값을 미리 정의해둔 모델의 정보와 비교를 한다. 본 논문에서 제안하는 시스템의 효율성은 Google-earth를 제어하는 것을 통해 입증될 수 있다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.1011-1018
• /
• 2006

멀티모달 인터페이스는 인간의 제스처, 시선, 손의 움직임, 행동의 패턴, 음성, 물리적인 위치 등 인간의 자연스러운 행동들에 대한 정보를 해석하고 부호화하는 인지기반 기술이다. 본 논문에서는 제스처와 음성, 터치를 이용한 3D 오브젝트 기반의 멀티모달 인터페이스를 설계, 구현한다. 서비스 도메인은 스마트 홈이며 사용자는 3D 오브젝트 직접조작을 통해 원격으로 가정의 오브젝트들을 모니터링하고 제어할 수 있다. 멀티모달 인터랙션 입출력 과정에서는 여러 개의 모달리티를 병렬적으로 인지하고 처리해야 하기 때문에 입출력 과정에서 각 모달리티의 조합과 부호화 방법, 입출력 형식 등이 문제시된다. 본 연구에서는 모달리티들의 특징과 인간의 인지구조 분석을 바탕으로 제스처, 음성, 터치 모달리티 간의 입력조합방식을 제시하고 멀티모달을 이용한 효율적인 3D Object 인터랙션 프로토타입을 설계한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2012.04a
• /
• pp.1385-1387
• /
• 2012

터치 스크린은 모바일 기기에서 애플리케이션과 상호 작용할 수 있는 좋은 방법이다. 사용자들은 스크린 상에서 다양한 액션을 취할 수 있으며, 안드로이드 프레임워크는 다양한 제스처를 지원한다. 본 논문에서는 안드로이드 API 1.6부터 지원된 새로운 제스처에 대해 분석하고 간단한 프로그래밍 예도 소개하고자 한다.

• Journal of Digital Convergence
• /
• v.19 no.2
• /
• pp.409-414
• /
• 2021

In this paper, we investigated the touch gestures of the scroll direction of a small and long UI due to the characteristics of a device in a smartphone environment that has become popular and used. Touch gestures are touched and directed by triggers such as metaphors and affordances based on past experiences. Different types of touch gestures are used depending on the type of navigation, motion, and transformation gesture, but scrolling is the most frequently used among them. In general, the scroll is vertically scrolled, but recently, a design pattern that can be scrolled left and right inside is arranged to cause cognitive dissonance of users. In the use of an inner scroll that can scroll left and right by covering a part of the right content, the mixing of a non-scrollable design pattern becomes a factor that requires attention to the user. Therefore, it was found that the use of triggers and the use of consistent design patterns can enhance the user experience even in the inner scroll environment.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2014.01a
• /
• pp.295-298
• /
• 2014

본 연구는 안드로이드 스마트폰 시스템을 기반으로 하여 점점 증가하는 프레젠테이션의 중요성 및 필요성에 따라 프레젠테이션을 효율적으로 진행하도록 돕는 무선 프리젠터 애플리케이션 개발에 관한 연구이다. 최근의 스마트폰은 휴대하기 편리한 특징과 다양한 기능들로 인해 빠른 속도로 보급되고 있으며, 여러 가지 기능의 센서가 내장되어 있다. 이러한 특징을 활용하여 별다른 기기 없이 스마트폰 자체를 무선 프리젠터로 사용할 수 있으며, 이에 대한 연구 및 개발들이 진행되고 있다. 하지만 기존의 프리젠터 애플리케이션들은 인터페이스가가 너무 복잡해서 사용하기 불편하거나, 혹은 인터페이스가 너무 단순하여 제한된 기능만을 가지는 단점을 가진다. 본 논문에서는 이러한 단점을 극복하기 위해서 제스쳐 인식을 활용하여 직관적으로 애플리케이션 사용이 가능하며, 멀티터치 제스처를 활용함으로써 다양한 기능을 수용할 수 있는 무선 프리젠터를 제안한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2011.04a
• /
• pp.540-543
• /
• 2011

최근 멀티 터치 인터랙션을 반영한 인터랙티브 인터페이스에 대하여 많은 연구가 진행중에 있다. 손을 이용한 터치 인터랙션은 여러 가지 제약이 따르므로 본 논문에서는 증강현실 기술의 하나인 마커인식 인터페이스와 멀티 터치 인터랙션 인터페이스를 이용한 체감형 적외선 멀티 카드 터치 기반 인식 시스템을 제안한다. 이를 위해 DI기반의 인식 알고리즘을 적용하여 카드의 고유한 정보와 위치정보, 각도 등을 인식 할 수 있도록 하였다. 또한 사용자의 손 제스처 정보를 트래킹 하여 다양한 인터랙션 메타포를 제공한다. 다양한 인터랙션 메타포는 시스템에 높은 몰입감을 제공하여서 아케이드 게임기기 에도 활용이 가능하다.