• Korean Journal of Computational Design and Engineering
• /
• v.20 no.4
• /
• pp.337-347
• /
• 2015

This paper presents a dynamic association and natural interaction method for multi-displays composed of smart devices. Users can intuitively associate relations among smart devices by shake gestures, flexibly modify the layout of the display by tilt gestures, and naturally interact with the multi-display by multi-touch interactions. First of all, users shake their smart devices to create and bind a group for a multi-display with a matrix configuration in an ad-hoc and collaborative situation. After the creation of the group, if needed, their display layout can be flexibly changed by tilt gestures that move the tilted device to the nearest vacant cell in the matrix configuration. During the tilt gestures, the system automatically modifies the relation, view, and configuration of the multi-display. Finally, users can interact with the multi-display through multi-touch interactions just as they interact with a single large display. Furthermore, depending on the context or role, synchronous or asynchronous mode is available to them for providing a split view or another UI. We will show the effectiveness and advantages of the proposed approach by demonstrating implementation results and evaluating the method by the usability study.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.553-560
• /
• 2007

본 논문에서는 양손의 터치를 인식하여 실시간 상호작용이 가능한 테이블 탑 디스플레이 시스템 및 구현 알고리즘에 대해 기술한다. 제안하는 시스템은 FTIR(Frustrated Total Internal Reflection) 메커니즘을 기반으로 제작되었으며 multi-touch, multi-user 방식의 손 제스처 입력이 가능하다. 시스템은 크게 영상 투영을 위한 빔-프로젝터, 적외선 LED를 부착한 아크릴 스크린, Diffuser 그리고 영상을 획득하기 위한 적외선 카메라로 구성되어 있다. 시스템 제어에 필요한 제스처 명령어 종류는 상호작용 테이블에서의 입력과 출력의 자유도를 분석하고 편리함, 의사소통, 항상성, 완벽함의 정도를 고려하여 규정하였다. 규정된 제스처는 사용자가 상호작용을 위해 스크린에 접촉한 손가락의 개수, 위치, 그리고 움직임 변화를 기준으로 세분화된다. 적외선 카메라를 통해 입력받은 영상은 잡음제거 및 손가락 영역 탐색을 위해 간단한 모폴로지 기법이 적용된 후 인식과정에 들어간다. 인식 과정에서는 입력 받은 제스처 명령어들을 미리 정의해놓은 손 제스처 모델과 비교하여 인식을 행한다. 세부적으로는 먼저 스크린에 접촉된 손가락의 개수를 파악하고 그 영역을 결정하며 그 후 그 영역들의 중심점을 추출하여 그들의 각도 및 유클리디언 거리를 계산한다. 그리고 나서 멀티터치 포인트의 위치 변화값을 미리 정의해둔 모델의 정보와 비교를 한다. 본 논문에서 제안하는 시스템의 효율성은 Google-earth를 제어하는 것을 통해 입증될 수 있다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.678-683
• /
• 2006

A novel and intuitive way of accessing applications of mobile devices is presented. The key idea is to use grip-pattern, which is naturally produced when a user tries to use the mobile device, as a clue to determine an application to be launched. To this end, a capacitive touch sensor system is carefully designed and installed underneath the housing of the mobile terminal to capture the image of the user's grip-pattern. The captured data is then recognized by a recognizer with dedicated preprocessing and postprocessing algorithms. The recognition test is performed to validate the feasibility of the proposed user interface system.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2005.11a
• /
• pp.245-248
• /
• 2005

This paper presents a novel user interface system which aims at easy controlling of mobile devices. The fundamental concept of the proposed interface is to launch an appropriate function of the device by sensing and recognizing the grip-pattern when the user tries to use the mobile device. To this end, we develop a prototype system which employs capacitive touch sensors covering the housing of the system and a recognition algorithm for offering the appropriate function which suitable for the sensed grip-pattern. The effectiveness and feasibility of the proposed method is evaluated through the test of recognition rate with the collected grip-pattern database.

• Journal of Computational Design and Engineering
• /
• v.1 no.3
• /
• pp.153-160
• /
• 2014

As smartphones came into wide use recently, it has become increasingly popular not only among young people, but among middle-aged people as well. Most smartphones adopt capacitive full touch screen, so touch commands are made by fingers unlike the PDAs in the past that use touch pens. In this case, a significant portion of the smartphone's screen is blocked by the finger so it is impossible to see the screens around the finger touching the screen; this causes difficulties in making precise inputs. To solve this problem, this research proposes a method of using simple AR markers to improve the interface of smartphones. A marker is placed in front of the smartphone camera. Then, the camera image of the marker is analyzed to determine the position of the marker as the position of the mouse cursor. This method can enable click, double-click, drag-and-drop used in PCs as well as touch, slide, long-touch-input in smartphones. Through this research, smartphone inputs can be made more precise and simple, and show the possibility of the application of a new concept of smartphone interface.

• 한국HCI학회:학술대회논문집
• /
• 2008.02b
• /
• pp.262-267
• /
• 2008

애플의 iPhone 및 LG 의 프라다 폰 등을 기정으로 국내, 국외 제조사들은 전연 터치 스크린을 적용한 다양한 모바일 폰을 출시 또는 출시를 앞두고 있다. 모바일 폰에 적용되는 전면 터치 스크린은 4-방향키 기반의 일반적인 네비게이션의 제한에서 벗어나 보다 다양하고 진보된 스타일익 인터랙션을 가능하게 한다. 반면 이런 장점은 오히려 사용자에게 많은 학습을 요구하게 되며, 다른 제조사에서 제작된 하드웨어로 바꿀 때마다 또 다른 인터랙션 스타일을 학습하고 적응해야 하는 불편을 야기하게 만드는 원인이 될 수 있을 것이다. 따라서, 본 연구는 전면 터치 스크린 기반의 모바일 폰에 적용할 공통적이고 기본적인 인터랙션 스타일 가이드라인을 도출하는 것을 목적으로 한다. 이를 위해 기존에 출시된 터치 스크린이 일부 적용된 단말을 검토하여 기본적인 인터랙션 요소를 추출하였다. 그리고, 해당 요소에 적합한 인터랙션 스타일을 선정하기 위한 사용자 조사를 수행하고, 이를 기반으로 기본 인터랙션 가이드라인을 도출하였다. 본 연구에서 제안된 인터랙션 스타일 가이드라인은 다양한 제조사악 전면 터치 스크린 기반의 모바일 폰을 사용함에 있어 기본적인 요소에 대해서는 일관되고 예측이 가능한 사용 경험을 제공하도록 도움을 줄 수 있을 것이다.

• Proceedings of the Korean Society for Emotion and Sensibility Conference
• /
• 2009.05a
• /
• pp.245-248
• /
• 2009

본 연구는 사용자와 밀접한 인터랙션이 이루어지는 터치 모바일폰의 선행 연구 결과를 바탕으로 모바일폰에 적용한 터치 인터페이스의 행위 요소(Action type)와 작업수행 요소(task)를 분석하였다. 분석 결과 인터렉션 시 발생하는 행위 요소 17개, 작업수행 요소 27개를 도출하였으며, 도출된 각 요소들을 군집화 및 체계화하여 분석하였다. 행위 요소 17개 중 탭의 요소가 가장 많은 작업수행에 사용되었으며, 작업 수행에는 '조작하다' 요소가 총 52개 중 12개를 사용하여 가장 많은 행위 요소를 사용하였다. 또한 작업 수행시 '조작하다'와 같은 '탐색하다', '실행하다'의 의미적 요소가 수단적 요소보다 행위 요소를 더 많이 사용하는 것으로 나타났다. 연구결과를 통해 다양한 행위 요소와 작업수행 요소의 상관관계를 분석하였으며 차세대 모바일 인터랙션의 발전 가능성과 방향에 대해 분석하였다.

• Journal of the Korea Society of Computer and Information
• /
• v.24 no.4
• /
• pp.57-63
• /
• 2019

In this paper, we propose a new framework to control VR(Virtual reality) contents in real time using user's mouth-wind and acceleration sensor of mobile device. In VR, user interaction technology is important, but various user interface methods is still lacking. Most of the interaction technologies are hand touch screen touch or motion recognition. We propose a new interface technology that can interact with VR contents in real time using user's mouth-wind method with acceleration sensor. The direction of the mouth-wind is determined using the angle and position between the user and the mobile device, and the control position is adjusted using the acceleration sensor of the mobile device. Noise included in the size of the mouth wind is refined using a simple average filter. In order to demonstrate the superiority of the proposed technology, we show the result of interacting with contents in game and simulation in real time by applying control position and mouth-wind external force to the game.

• The Journal of the Korea Contents Association
• /
• v.10 no.2
• /
• pp.43-53
• /
• 2010

The interactive display is providing various interaction modes to users through various ubiquitous computing technologies. These methods were studied for their interactions, but the limits that it is provided to only single user and the device usability were generated. In this paper, we propose a new type of spatial multi interaction interface that provide the various spatial touch interactive to multi users in the ambient display environment. Therefore, we generate the interaction surface so that a user can interact through the IR-LEDs Array Bar installed in the ceiling of the ambient display environment. At this time, a user can experience the various interactions through the spatial touch in an interaction surface. Consequently, this system offers the interactive display and interface method that the users can interact through natural hand movement without the portable devices.

• Journal of the Korea Convergence Society
• /
• v.11 no.3
• /
• pp.45-52
• /
• 2020

In this study, we propose a new Relative position pattern unlocking solution based on blind interaction, which is a new unlocking method, and compared it with existing unlocking methods to verify usability and security improvement. And verified the practical value of the proposed new unlocking solution. The relative position pattern unlock method is easily remembered than the numeric code method and is worth practical enough to show a degree of learning ease similar to the drawing pattern method. The new method is safer to steal than other two methods. It can be manufactured at a low cost and can also be used by special users such as blind people. Therefore, the practical value is relatively high.