• Journal of Korea Multimedia Society
• /
• v.14 no.9
• /
• pp.1210-1220
• /
• 2011

In this paper, we suggest a haptic mouse system as an immersive interface between virtual environment and a human operator. The proposed haptic mouse creates vibrotacitle and thermal sensation to increase the immersion. The vibrotactile module is composed of eccentric motors and a solenoid actuator, and the thermal module consists of a thin-film resistance temperature detector and a Peltier thermoelectric heat pump. In order to evaluate the proposed haptic mouse system, we develop a simple racing game and conduct an experiment. The result of the experiment shows that the proposed haptic mouse system can improve the sense of reality in virtual environment and can be used as an effective interface between virtual environment and a human operator.

• 한국HCI학회:학술대회논문집
• /
• 2009.02a
• /
• pp.1-5
• /
• 2009

In this paper, we develop a haptic mouse system for immersive human computer interaction. The proposed haptic mouse system can provide vibrotactile feedback as well as thermal feedback for realistic virtual experience. For vibrotactile and thermal feedback, we use eccentric motors, a solenoid, and a peltier actuator. In order to evaluate the proposed haptic mouse, we implement a racing game prototype system. The experimental result shows that our haptic mouse is expected to be useful in experiencing virtual world.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.07a
• /
• pp.205-207
• /
• 2010

본 논문에서는 버블포핑을 구현하는 증강현실 기법을 제안한다. 제안 기법은 진동촉각햅틱 마우스, 비디오 입력용 웹캠, 마커 패턴 영상, 그래픽 구 버블 객체, 그래픽 마우스 등으로 구성된다. 마우스의 이동에 따라 그래픽 마우스가 3차원 공간상에서 이동하면서 버블과의 충돌이 발생하게 되면, 충돌시 발생하는 버블의 이벤트로 fade-out과 diverge and fade-out의 버블 효과를 구현한다. 제안 시스템은 ARToolkit 및 OpenGL을 기반으로 제작되었으며, 시각적인 마커 기반 시스템으로 버블의 움직임과 사용자의 인터랙션을 통해, 버블 포핑의 증강현실을 전달한다.

• Journal of Broadcast Engineering
• /
• v.15 no.6
• /
• pp.715-722
• /
• 2010

As one of applications in augmented realities, this paper presents a bubble popping system utilizing a haptic vibro-tactile mouse. In this system, virtual bubbles randomly float in the 3D space. By using the vibro-tactile mouse grabbed by a user, the bubbles are popped when they are touched by the mouse in the 3D space. Then a bubble popping effect with addition mouse vibration is delivered to the user's hand through the mouse. The proposed system is developed on ARToolkit environment. Therefore, basic components such as a camera and a marker pattern are required. The systems is composed of a vibro-haptic mouse, a webcam, a marker pattern, a graphic bubble object, and graphic mouse. Mouse vibration as well as bubble fade-out effect is delivered. Therefore, the combination of visual and tactile bubble popping effects outperforms the usage of a single effect in the experience of augmented reality.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04c
• /
• pp.630-632
• /
• 2003

컴퓨터 가상현실 기술은 반복적인 교육과 훈련을 필요로 하는 의료 시뮬레이션 분야에 도입되어 시술 훈련, 수술 계획 및 수술 시뮬레이션 등의 영역에 응용되고 있다. 3차원적 가시화나 네비게이션에 치중하던 기존의 의료 시뮬레이션에 보다 현실감을 증진시키기 위해서는 인체 해부학적 기관의 변형성과 사용자와 대상 기관 사이의 물리적인 상호작용이 반영되어야 한다. 본 연구에서는 기존의 2차원 및 3차원 마우스만을 사용하던 상호작용 환경을 개선하여 시술 동작시 물리적인 역감을 전달받을 수 있는 햅틱 인터페이스를 도입하고. 보다 현실감 있는 시각적 디스플레이를 위해 햅틱 워크벤치를 사용하였다. 사용자의 햅틱 인터페이스 조작에 따른 가상 인체 기관의 물리적 변형 및 이에 따른 물리적 역감은 삼각메쉬를 이용한 매스-스프링 모델을 사용하여 구현하였고. 가상 시술 도구와 가상 인체 기관와의 빠른 충들 감지를 위해서는 OBBTree를 적용하였다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.219-224
• /
• 2006

3 차원 입력 장치는 키보드나 마우스 같은 일반적인 입력 장치로는 받아 들이기 어려운 3 차원 입력을 사용자로부터 간편하고 직관적인 방법으로 받아들일 수 있다는 측면에서 활발히 연구 및 사용되고 있다. 또한 햅틱 장치는 가상 물체의 조작에 따른 시각적인 피드백 외에 가상 물체의 느낌을 피드백 힘을 통해 사용자에게 전달해 줌으로써 컴퓨터와 사용자간의 상호 작용에 큰 도움을 준다. 본 논문은 햅틱 피드백이 적용된 실시간 가변형 모델과 효과적인 3 차원 입력에 대한 기반 연구를 하고자 한다. 그리고 이에 대한 한 가지 사례로써 햅틱 장치를 이용한 가상 판화 시스템을 제작 한다. 가상 판화 시스템은 시각 처리 부분과 촉각 처리 부분, 그리고 사용자의 3 차원 입력을 돕는 인터페이스 부분으로 구성되어 있다. 시각 처리 부분은 3 차원 공간 상에서 사용자의 조각에 따른 판화 표면의 변형을 처리하며 촉각 처리 부분은 실제 판화를 제작할 때 느끼는 촉각을 햅틱 인터페이스를 이용하여 사용자에게 전달한다. 이를 위해 먼저 시각 처리 부분에서는 NURBS 기반의 자유 형상 변형 (FFD)기법을 이용하였는데 가상 조각도에 의한 물체 표면의 지역적인 변형을 구현하기 위해 조각도가 닿는 부분에 대해 기조 격자점 (control point)을 증가시켜 원하는 부분에 대한 지역적인 변화를 용이하도록 하였고 다음으로 촉각 처리 부분에서는 S-chain 모델을 이용하였는데 S-chain 모델을 객체 전체에 적용하지 않고 접촉이 일어날 경우 그 접촉점을 기준으로 S-chain 모델을 지역적으로 적용하는 방법을 고안하여 실제 구현에 이용하였다. 인터페이스 적인 측면에서 사용자의 3 차원 입력장치를 통한 인터렉션은 사용자로 하여금 보다 자유로운 입력을 허용하지만 이에 따른 깊이 지각 문제를 발생시킨다. 이러한 문제를 최소화 시키고 사용자의 깊이 지각을 강화시키기 위해 사용자에게 제공되는 시각적 자극을 변형시키고 다양한 정보를 제공하도록 하였다. 가상 판화 시스템은 가상 환경에서 사용자의 조작에 따른 다양한 결과물을 제작 및 출력해 볼 수 있도록 해준다. 또한 가상 환경에서 이러한 기반을 제공함으로써 가상 환경의 장점인 복사, 이동 및 영구 보존 특성을 동시에 얻을 수 있다. 본 논문은 이러한 작업을 위한 기반 기술로써 햅틱 및 가변형 모델, 3 차원 입력 장치에 대한 시각적 인터페이스에 대해 다루고 이 기반 기술을 바탕으로한 가상 판화 시스템의 구현에 대하여 논하고자 한다.

• 한국HCI학회:학술대회논문집
• /
• 2008.02c
• /
• pp.25-29
• /
• 2008

A virtual prototyping (VP) system provides realistic 3D images of product. A virtual prototype, however, can only be operated using traditional input device like keyboards or mice and cannot present physical interface of the product. This paper describes a haptic dial system for virtual prototyping, which integrates haptic effects with virtual user interface to facilitate product development. A user can interface the virtual prototype with the motor-driven haptic dial with feeling like operating mechanical dial. This system will help product designers sketch user interfaces during the whole stage of product design.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2009.11a
• /
• pp.371-374
• /
• 2009

가상 현실과 현실 세계가 공존하는 증강 현실은 현재 및 향후 실감미디어 콘텐츠에 중요한 역할을 할 것으로 기대된다. 증강 현실은 게임, 엔터테인먼트, 교육 분야 등에서 응용에 따라 다양한 기술들의 결합이 요구된다. 본 논문에서는 교육적 효과를 주는 버블 포핑 증강 현실 기법을 제안한다. 버블 포핑 시스템은 비디오 입력용 웹캠, 마커 패턴 영상, 그래픽 구 버블 객체, 그래픽 마우스 등으로 구성된다. 일반 마우스의 이동에 따라 그래픽 마우스가 3차원 공간상에서 이동하면서 버블과의 충돌이 발생하게 되면, 충돌시 발생하는 버블의 이벤트로 동적 움직임, 터짐 등의 버블 효과를 구현할 수 있는 방법을 제안한다. 충돌 검출은 카메라와 마커 패턴의 좌표계 및 버블의 3차원 공간위치, 그리고 3차원 모델 데이터를 이용하여 구현한다. 제안 시스템은 ARToolkit을 기반으로 제작되었으며, 시각적인 마커 기반 시스템으로 버블의 움직임과 사용자의 인터랙션을 통해, 버블 포핑의 증강현실을 전달한다. 향후, 현재 개발 중인 포스 피드백 기능이 있는 진동촉각공간 햅틱 마우스와 접목하여 보다 실감적인 증강현실 기술을 개발할 예정이다.

• 한국HCI학회:학술대회논문집
• /
• 2008.02b
• /
• pp.323-328
• /
• 2008

Inflatable Mouse is a volume-adjustable user interface. It can be inflated up to the volume of a familiar mouse, but be deflated and stored flat in a PC card slot of a laptop computer when not in use. Inflatable Mouse functions just like a typical mouse; moreover, it provides new interaction techniques by sensing the air pressure in the balloon of the mouse. It also addresses some issues associated with pressure-sensing interactions such as the lack of bi-directional control and the lack of effective feedback. Moreover, it can be used as both a control tool and a display tool. In this paper, the design of an Inflatable Mouse prototype is described and potential application scenarios such as zooming in/out and fast scrolling using pressure control are explained. We also discuss the potential use of Inflatable Mouse as an emotional communication tool.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.373-378
• /
• 2007

최근 들어 햅틱 분야는 디지털 콘텐츠를 만질 수 있게 촉감을 제공함으로써 의학, 교육, 군사, 엔터테인먼트, 방송 분야 등에서 널리 연구되고 있다. 그러나 햅틱 분야가 사용자에게 시청각 정보와 더불어 추가적인 촉감을 제공함으로써 보다 실감 있고 자연스러운 상호작용을 제공하는 등 여러 가지 장점을 가진 것에 비해 아직은 일반 사용자들에게 생소한 분야다. 그 이유 중 하나로 촉감 상호작용이 가능한 콘텐츠의 부재를 들 수 있다. 또한 최근에 가상환경(Virtual Environment, VR)에 관심이 증가 되고, 가상환경에 햅틱이라는 기술을 접목시키는 시도가 많이 일어나고 있어서, 촉감 모델링에 대한 욕구 또한 증대 되고 있다. 일반적으로 촉감 모델링은 Material properties를 가지고 있는 그래픽 모델들로 구성이 된다. 그래픽 모델링은 일반적인 모델링툴 (MAYA, 3D MAX, 기타 등)으로 할 수 있다. 하지만 촉감 관련된 촉감 모델들은 콘텐츠를 제작한 이후에 일일이 수작업으로 넣어 주어야 한다. 그래픽 모델링에서는 사용자가 직접 눈으로 확인 하면서 작업을 이루어 지기 때문에 직관적으로 이루어질 수 있다. 이와 비슷하게 촉감 모델링은 직관적인 모델링을 하기 위해서 사용자가 직접 촉감을 느껴 보면서 진행이 되어야 한다. 또한 그래픽 모델링과 촉감 모델링이 동시에 진행이 되지 않기 때문에 촉감 콘텐츠를 만드는데 시간이 많이 걸리게 되고 직관적이지 못하는 단점이 있다. 더 나아가서 이런 촉감 모델링을 포함한 모델링 높은 생산성을 위해서 신속히 이루어져야 한다. 이런 이유들 때문에 촉감 모델링을 위한 새로운 인터페이스가 필요하다. 본 논문에서는 촉감 상호작용이 가능한 촉감 콘텐츠를 직관적으로 생성하고 조작할 수 있게 하는 촉감 모델러를 기술한다. 촉감 모델러에서 사용자는 3 자유도 촉감 장치를 사용하여 3 차원의 콘텐츠 (정적 이거나 동적이거나 Deformation이 가능한 2D, 2.5D, 3D Scene)를 실시간으로 만져보면서 생성, 조작할 수 있는 촉감 사용자 인터페이스 (Haptic User Interface, HUI)를 통해서 콘텐츠의 표면 촉감 특성을 직관적으로 편집할 수 있다. 촉감 사용자인터페이스는 마우스로 조작하는 기존의 2 차원 그래픽 사용자 인터페이스를 포함하여 3 차원으로 사용자 인터페이스도 추가되어 있고 그 형태는 촉감 장치로 조작할 수 있는 버튼, 라디오버튼, 슬라이더, 조이스틱의 구성요소로 이루어져있다. 사용자는 각각의 구성요소를 조작하여 콘텐츠의 표면 촉감 특성 값을 바꾸고 촉감 사용자 인터페이스의 한 부분을 만져 그 촉감을 실시간으로 느껴봄으로써 직관적으로 특성 값을 정할 수 있다. 또한, XML 기반의 파일포맷을 제공함으로써 생성된 콘텐츠를 저장할 수 있고 저장된 콘텐츠를 불러오거나 다른 콘텐츠에 추가할 수 있다. 이러한 시스템은 햅틱이라는 분야를 잘 모르는 사람들도 직관적으로 촉감 모델링을 하는데 큰 도움을 줄 수 있을 것이다.