• Proceedings of the Korean Information Science Society Conference
• /
• 2010.06b
• /
• pp.184-187
• /
• 2010

본 논문에서는 터치 제스처의 인식을 위해 시도된 여러 방법 중 테이블탑 디스플레이상에서 HMM을 이용한 제스처의 학습과 사용에 대해 제안한다. 터치 제스처는 제스처의 획(stroke)에 따라 single stroke와 multi stroke로 분류할 수 있다. 그러므로 제스처의 입력은 영상프레임에서 터치 궤적에 따라 변하는 방향 벡터를 이용하여 방향코드로 분석될 수 있다. 그리고 분석된 방향코드를 기계학습을 통하여 학습시킨 후, 인식실험에 사용한다. 제스처 인식 학습에는 총 10개의 제스처에 대하여 100개 방향코드 데이터를 이용하였다. 형태를 갖추고 있는 제스처는 미리 정의되어 있는 제스처와 비교를 통하여 인식할 수 있다. (4 방향 드래그, 원, 삼각형, ㄱ ㄴ 모양 >, < ) 미리 정의되어 있는 제스처가 아닌 경우에는 기계학습을 통하여 사용자가 의미를 부여한 후 제스처를 정의하여 원하는 제스처를 선택적으로 사용할 수 있다. 본 논문에서는 테이블탑 디스플레이 환경에서 사용자의 터치제스처를 인식하는 시스템을 구현하였다. 앞으로 테이블탑 디스플레이 환경에서 터치 제스처 인식에 적합한 알고리즘을 찾고 멀티터치 제스처를 인식하는 연구도 이루어져야 할 것이다.

• Smart Media Journal
• /
• v.4 no.1
• /
• pp.16-24
• /
• 2015

In this paper, we propose a method for multi-touch tracking using MRF-based particle filters and gesture likelihood estimation Each touch (of one finger) is considered to be one object. One of frequently occurring issues is the hijacking problem which means that an object tracker can be hijacked by neighboring object. If a predicted particle is close to an adjacent object then the particle's weight should be lowered by analysing the influence of neighboring objects for avoiding hijacking problem. We define a penalty function to lower the weights of those particles. MRF is a graph representation where a node is the location of a target object and an edge describes the adjacent relation of target object. It is easy to utilize MRF as data structure of adjacent objects. Moreover, since MRF graph representation is helpful to analyze multi-touch gestures, we describe how to define gesture likelihoods based on MRF. The experimental results show that the proposed method can avoid the occurrence of hijacking problems and is able to estimate gesture likelihoods with high accuracy.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2008.11a
• /
• pp.200-202
• /
• 2008

본 논문은 터치스크린기반의 CE기기에서 한글을 효과적으로 입력하는 새로운 형태의 터치 GUI 기반 인터페이스를 제시한다. 제시된 한글입력방식인 심플키(SimpleKey)는 기존의 한글입력방식인 천지인, EZ한글, 모아키 등과는 다른 터치 제스처 기반 자음 중심의 7~12인치 터치스크린에 최적화된 방식이다. 심플키는 터치제스처와 누르는 세기 구분을 포함하고, 자음 중심 키배열에 모음 빈도 분석을 통한 제스처 매핑을 적용한 것을 특징으로 한다. 제안된 방식은 현재 8.9 인치 크기의 포터블 디바이스에 적용 구현하였으며 실사용자를 대상으로 사용성 평가를 통해 심플키의 효과성을 검증했다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2010.11a
• /
• pp.807-810
• /
• 2010

본 논문에서는 복수 개의 터치 입력 장치를 통해 각각의 제스처를 입력하고, 입력된 제스처와 화면에 출력되는 제스처의 일치여부 및 정확도를 판단하는 제스처 기반의 게임 시스템을 제안한다. 구현된 시스템은 복수 개의 터치 패널과 Desktop 또는 Embedded Board 등의 프로세싱 장치의 하드웨어와 SDL(Simple Directmedia Layer) 라이브러리를 기반으로 한 소프트웨어로 구성된다. 시스템은 미리 정의된 방향을 가지는 3가지의 제스처를 제공하며 사용자의 제스처 입력을 받아 화면에 출력된 제스처와 비교해 일치여부, 정확도를 판단하여 4가지의 결과를 출력한다. 구현된 시스템에 기존의 콘텐츠를 변환 적용하거나 새로운 기획을 이용하여 새로운 게임 시스템을 개발할 수 있을 것으로 기대된다.

• Journal of Digital Convergence
• /
• v.19 no.2
• /
• pp.409-414
• /
• 2021

In this paper, we investigated the touch gestures of the scroll direction of a small and long UI due to the characteristics of a device in a smartphone environment that has become popular and used. Touch gestures are touched and directed by triggers such as metaphors and affordances based on past experiences. Different types of touch gestures are used depending on the type of navigation, motion, and transformation gesture, but scrolling is the most frequently used among them. In general, the scroll is vertically scrolled, but recently, a design pattern that can be scrolled left and right inside is arranged to cause cognitive dissonance of users. In the use of an inner scroll that can scroll left and right by covering a part of the right content, the mixing of a non-scrollable design pattern becomes a factor that requires attention to the user. Therefore, it was found that the use of triggers and the use of consistent design patterns can enhance the user experience even in the inner scroll environment.

• Information and Communications Magazine
• /
• v.29 no.7
• /
• pp.25-30
• /
• 2012

멀티터치 스크린 상에서의 접촉식 제스처 UI(User Interface)는 사용자가 안정적으로 손을 사용할 수 있는 정적인 상황에서 편리하게 사용할 수 있다. 하지만, 조깅을 한다거나 운전을 하는 등의 동적인 상황에서는 접촉식의 제스처 인터페이스는 심각한 사용성 문제를 야기 시킬 수 있다. 이에 본 연구에서는 정지 및 운동 상황 모두에서 사용할 수 있는 비접촉성 제스처 기반 인터랙션을 개발하고자 하였다. 비접촉성 제스처 UI 인식 방식은 컴퓨터 센서 제스처, 멀티 터치 제스처, 자이로 센서 세 가지로 제한하였다. 그리고 본 연구를 통해 정지 상황과 운동 상황에서 MP3 플레이어를 시용할 수 있는 제스처의 어휘 목록을 개발하였다. 마지막으로 본 연구의 제한점과 시사점을 논의하였다.

• Journal of Korea Society of Industrial Information Systems
• /
• v.21 no.1
• /
• pp.35-42
• /
• 2016

Various events of stop, playback, capture, and zoom-in/out in playing video is available in the monitor of a small size such as smart phones. However, if the size of the display increases, then the cost of the touch recognition is increased, thus provision of a touch event is not possible in practice. In this paper, we propose a video event control system that recognizes a touch inexpensively from the depth information, then provides the variety of events of the toggle, the pinch-in / out by the single or multi-touch. The proposed method finds a touch location and the touch path by the depth information from a depth camera, and determines the touch gesture type. This touch interface algorithm is implemented in a small single-board system, and can control the video event by sending the gesture information through the UART communication. Simulation results show that the proposed depth touch method can control the various events in a large screen.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.553-560
• /
• 2007

본 논문에서는 양손의 터치를 인식하여 실시간 상호작용이 가능한 테이블 탑 디스플레이 시스템 및 구현 알고리즘에 대해 기술한다. 제안하는 시스템은 FTIR(Frustrated Total Internal Reflection) 메커니즘을 기반으로 제작되었으며 multi-touch, multi-user 방식의 손 제스처 입력이 가능하다. 시스템은 크게 영상 투영을 위한 빔-프로젝터, 적외선 LED를 부착한 아크릴 스크린, Diffuser 그리고 영상을 획득하기 위한 적외선 카메라로 구성되어 있다. 시스템 제어에 필요한 제스처 명령어 종류는 상호작용 테이블에서의 입력과 출력의 자유도를 분석하고 편리함, 의사소통, 항상성, 완벽함의 정도를 고려하여 규정하였다. 규정된 제스처는 사용자가 상호작용을 위해 스크린에 접촉한 손가락의 개수, 위치, 그리고 움직임 변화를 기준으로 세분화된다. 적외선 카메라를 통해 입력받은 영상은 잡음제거 및 손가락 영역 탐색을 위해 간단한 모폴로지 기법이 적용된 후 인식과정에 들어간다. 인식 과정에서는 입력 받은 제스처 명령어들을 미리 정의해놓은 손 제스처 모델과 비교하여 인식을 행한다. 세부적으로는 먼저 스크린에 접촉된 손가락의 개수를 파악하고 그 영역을 결정하며 그 후 그 영역들의 중심점을 추출하여 그들의 각도 및 유클리디언 거리를 계산한다. 그리고 나서 멀티터치 포인트의 위치 변화값을 미리 정의해둔 모델의 정보와 비교를 한다. 본 논문에서 제안하는 시스템의 효율성은 Google-earth를 제어하는 것을 통해 입증될 수 있다.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.12 no.2
• /
• pp.85-94
• /
• 2012

In this paper, we develop the new gestures of screen control with fingers on the FTIR multi touch table. It also describes recognition of mobile devices on the table using infrared camera. The FTIR multi touch table was incovenient to the existiog Bluetooth connection, because it is not provided with an HID(Human Input Device) interface. The proposed data transmission method using mobile device is to relieve the inconvenience of the data transfer and proceed more effectively. The new gestures and data transmission method is verified by FTIR multi touch table that is implemented for testing.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2012.07a
• /
• pp.305-308
• /
• 2012

본 논문에서는 스마트폰 가속도 센서를 이용한 새로운 사용자 인터페이스인 모션 제스쳐 프레임워크를 제안한다. 최근 IT 패러다임의 변화를 주도하고 있는 스마트폰의 대표적인 특징 중의 하나가 터치 인터페이스이다. Apple 사의 iPhone은 세계 최초로 터치스크린으로 가능한 사용자 입력들을 체계적으로 정리하여 터치 제스처를 정의하고 상용화에 성공 하였다. 본 연구에서는 기존의 터치 인터페이스를 대체하거나 보완할 새로운 인터페이스로서 스마트폰의 가속도 센서를 이용한 모션 제스처 프레임워크를 설계하고, 실제 스마트폰 응용 프로그램의 사용자 인터페이스에 적용하여 활용 가능성을 보여준다.