• 한국멀티미디어학회논문지
• /
• 제17권11호
• /
• pp.1263-1269
• /
• 2014

As rapid development of new hardware control interface technology, new concepts have been being proposed and emerged. In this paper, a new approach based on leap motion system is proposed. While we employ a position information from sensor, the hand gesture recognition is suggested with the pre-defined patterns. To do this, we design a recognition algorithm with hand gesture and finger patterns. We apply the proposed scheme to 3-dimensional avatar controling and editing software tool for making animation in the cyber space as a representative application. This proposed algorithm can be used to control computer systems in medical treatment, game, education and other various areas.

• 한국HCI학회논문지
• /
• 제11권1호
• /
• pp.5-10
• /
• 2016

본 논문은 립모션을 사용하여 사용자의 손동작을 인식함으로써 보다 현실감 있는 슈팅 게임 조작 방식을 제공한다. 슈팅 게임에서 필수적인 발사, 위치 이동, 시점 변화, 줌 인/아웃 등의 기능을 구현했으며, 사용자 평가를 통해 게임 인터페이스를 친숙하고 직관적인 손동작으로 대체함으로써, 기존 마우스/키보드 대비 조작의 용이성, 흥미, 확장성 등의 측면에서 우수함을 확인하였다. 구체적으로, 마우스/키보드를 이용한 인터페이스의 사용자 만족도(1~5)는 평균 3.02인 반면, 손동작을 이용한 인터페이스는 3.57이었다.

• 한국CDE학회논문집
• /
• 제21권2호
• /
• pp.159-169
• /
• 2016

In order to realize the virtual prototyping (VP) of digital products, it is important to provide the people involved in product development with the appropriate visualization and interaction of the products, and the vivid simulation of user interface (UI) behaviors in an interactive 3D virtual environment. In this paper, we propose an approach to web-based 3D virtual experience using Unity and Leap Motion. We adopt Unity as an implementation platform which easily and rapidly implements the visualization of the products and the design and simulation of their UI behaviors, and allows remote users to get an easy access to the virtual environment. Additionally, we combine Leap Motion with Unity to embody natural and immersive interaction using the user's hand gesture. Based on the proposed approach, we have developed a testbed system for web-based 3D virtual experience and applied it for the design evaluation of various digital products. Button selection test was done to investigate the quality of the interaction using Leap Motion, and a preliminary user study was also performed to show the usefulness of the proposed approach.

• 한국엔터테인먼트산업학회논문지
• /
• 제14권3호
• /
• pp.133-138
• /
• 2020

증강현실에 있어서 인터랙션은 중요한 요소이다. 하지만 현재 증강현실 콘텐츠에서 인터랙션 기능은 많이 부족한 실정이다. 현실 환경 정보를 많이 가져오는 것이 증강현실의 발전 방법 중 하나이며, 인터랙션도 자연스레 발전하게 된다. 본 논문에서는 인터페이스 도구로 널리 사용되는 손을 통해 증강현실 환경에서 자연스러운 인터랙션을 위해 Leap Motion을 이용하였고 기존의 디스플레이 터치방식의 한정적인 인터랙션에서 보다 확장시켜 자연스러운 인터랙션을 연출하였다. 이러한 인터랙션의 발전은 추후 증강현실 뿐만 아니라 여러 콘텐츠들의 발전에 기여할 것이다.

• 한국게임학회 논문지
• /
• 제15권1호
• /
• pp.27-34
• /
• 2015

본 논문은 기존 립모션 장비에 홀로그램과 햅틱 장비를 결합함으로써 향상된 몰입감과 사용 용이성을 제공할 수 있는 사용자 인터페이스를 제시한다. 립모션은 사용자 손동작의 물리적 행동이 직접 가상의 화면상에 영향을 주는 장치인데, 화면상의 가상 손모양을 제어해야 한다는 점과 가상환경에서의 영향을 사용자에게 전달할 수 없다는 한계를 가진다. 우리는 홀로그램을 립모션과 결합시켜 사용자로 하여금 실제 손과 가상 화면을 같은 공간에 배치함으로써 몰입감을 향상시킨다. 아울러 사용자의 손에 촉각을 전달할 수 있는 햅틱 장비를 장착하여 감각의 상호 작용을 실현하는 프로타입을 제시한다.

• 한국게임학회 논문지
• /
• 제16권4호
• /
• pp.69-78
• /
• 2016

게임기술의 발전에 따라 콘텐츠 분야에서 현실적인 그래픽 기술과 자유로운 인터페이스와 실감형 콘텐츠 서비스가 요구되고 있다. 인터페이스 방식은 CLI에서 GUI로 GUI을 지나 NUI로 발전되고 있다. NUI는 기존의 인터페이스와는 달리 인간의 자연스런 행동을 직관적이고 실감적으로 이용할 수 있는 인터페이스이다. 본 논문에서는 NUI 인터페이스 가운데 립 모션을 이용한 권투 시뮬레이션 게임을 제안하고자 한다. 개발된 VR 헤드셋 게임을 통하여 실감형 3D 실험환경을 제공하여 사용자가 제어하는 인터페이스 (주먹)가 내부의 목표물 (샌드백)을 타격하게 되면, 물리적 특성인 목표물의 충격 각도의 변화에 따라 점수를 계산하는 방법을 적용하였다.

• 한국CDE학회논문집
• /
• 제21권1호
• /
• pp.20-30
• /
• 2016

Recently immersive virtual reality (VR) becomes popular due to the advanced development of I/O interfaces and related SWs for effectively constructing VR environments. In particular, natural and intuitive manipulation of 3D virtual objects is still considered as one of the most important user interaction issues. This paper presents a comparative study on the manipulation and interaction of 3D virtual objects using different interfaces and interactions in three VR environments. The comparative study includes both quantitative and qualitative aspects. Three different experimental setups are 1) typical desktop-based VR using mouse and keyboard, 2) hand gesture-supported desktop VR using a Leap Motion sensor, and 3) immersive VR by wearing an HMD with hand gesture interaction using a Leap Motion sensor. In the desktop VR with hand gestures, the Leap Motion sensor is put on the desk. On the other hand, in the immersive VR, the sensor is mounted on the HMD so that the user can manipulate virtual objects in the front of the HMD. For the quantitative analysis, a task completion time and success rate were measured. Experimental tasks require complex 3D transformation such as simultaneous 3D translation and 3D rotation. For the qualitative analysis, various factors relating to user experience such as ease of use, natural interaction, and stressfulness were evaluated. The qualitative and quantitative analyses show that the immersive VR with the natural hand gesture provides more intuitive and natural interactions, supports fast and effective performance on task completion, but causes stressful condition.

• 한국음향학회지
• /
• 제36권2호
• /
• pp.130-135
• /
• 2017

본 논문에서는 가상 콘서트홀에서 사용자가 인터랙티브한 음향 체험을 할 수 있는 인터페이스에 대해 제안한다. 제안하는 인터페이스는 가상 콘서트홀을 기반으로 좌석 위치별 음향 체험 시스템과 악기 제어 및 음향 체험 시스템으로 구성된다. 제안하는 인터페이스의 각 시스템을 구현하기 위해 인공 잔향 알고리즘과 멀티채널 음원 분리, 머리전달함수를 적용하였다. 제안하는 인터페이스는 유니티(Unity)를 사용하여 구현되었으며 사용자는 가상현실기기인 오큘러스 리프트(Oculus Rift)를 통해 가상 콘서트홀을 체험할 수 있고 립 모션(Leap Motion)을 통해 별도의 입력 도구없이 손동작만으로 시스템을 제어할 수 있으며 헤드폰을 통해 시스템이 제공하는 음향을 체험할 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 추계학술발표대회
• /
• pp.768-770
• /
• 2016

현재 NUI(Natural User Interface)는 차세대 입력 방식으로 주목을 받고 있다. 이미 한글 입력에 관한 NUI가 다양하게 연구 및 개발되고 있지만, 한글 입력 NUI는 직관성과 정확도의 부족과 불완전한 인식률 등의 한계점이 존재한다. 본 연구에서는 사용자의 핸드 제스처를 인식하기 위해 Leap Motion 장치를 사용하고, 한글의 글자 조합 원리를 바탕으로 자음과 모음 입력의 제스처를 분리하여 인식의 정확도를 높인다. 그리고 모음의 방향성을 참고하여 한글 입력에 직관성을 향상할 수 있는 핸드 제스처를 연구한다. 이를 통해 사용자가 NUI 환경의 디바이스를 좀 더 정확하고 빠르게 조작할 수 있도록 돕는다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2013년도 추계학술발표대회
• /
• pp.1649-1652
• /
• 2013

최근 정보기술의 발전에 가속화되면서 기존의 키보드나 마우스 같은 전통적인 제어장치들과는 달리 새로운 하드웨어 인터페이스들이 등장하고, 그에 따른 새로운 시각에서의 제어 방법들 등장하고 있다. 본 논문에서는 Leap Motion이라는 새로운 하드웨어 인터페이스를 사용할 때 제공되는 단순한 위치 정보만 쓰는 것이 아니라 어떠한 위치에 있는지, 특정 동작을 취했을 때 모션 등과 같은 정보들도 함께 사용하기 위해 손과 손가락을 인식할 수 있도록 모션 인식방법을 제안하고, 제안된 기술을 기반으로 3D Avatar를 제어 및 편집 후 애니메이션을 만들어 공유할 수 있는 모션제어 저작SW를 개발하였다. 본 기술은 의료, 게임, 교육 등 다양한 분야에서 새로운 제어 기술로서 활용될 수 있으며, 기존의 공간 터치 기술과는 다른 장점을 제공할 것으로 예상된다.