Virtual Object Weight Information with Multi-modal Sensory Feedback during Remote Manipulation

다중 감각 피드백을 통한 원격 가상객체 조작 시 무게 정보 전달

Abstract

As virtual reality technology became popular, a high demand emerged for natural and efficient interaction with the virtual environment. Mid-air manipulation is one of the solutions to such needs, letting a user manipulate a virtual object in a 3D virtual space. In this paper, we focus on manipulating a remote virtual object while visually displaying the object and providing tactile information on the object's weight. We developed two types of wearable interfaces that can provide cutaneous or vibrotactile feedback on the virtual object weight to the user's fingertips. Human perception of the remote virtual object weight during manipulation was evaluated by conducting a psychophysics experiment. The results indicate a significant effect of haptic feedback on the perceived weight of the virtual object during manipulation.

가상현실 기술의 대중화에 따라 가상환경과 사용자 간의 자연스럽고 효율적인 상호작용에 대한 수요가 높아지고 있다. 이러한 수요에 대응하는 솔루션 중 하나인 공중 조작(mid-air manipulation)은 사용자가 객체와 접촉하지 않은 상태에서 3차원 공간의 가상객체를 조작할 수 있도록 한다. 본 논문에서는 시각적으로 객체를 표현하고 객체의 무게에 대한 촉감 정보를 제공하면서 원격의 가상객체를 조작하는 데 초점을 맞췄다. 본 연구진은 사용자 손끝에 가상객체 무게에 대한 촉감 또는 진동 촉감 피드백을 제공할 수 있는 두 가지 유형의 착용 가능한 인터페이스를 개발했다. 가상객체 조작 중에 원격 객체 무게에 대한 지각을 평가하기 위해 인지 실험을 수행했다. 실험 결과는 촉감 정보 전달이 원격 가상객체 조작 중 무게 인지에 유의한 영향을 미친다는 것을 나타낸다.

1. 서론

가상현실(Virtual Reality, VR)의 관점에서 볼 때 지난 10년은 일부 실험실에서나 연구되던 VR기술을 일반 대중이 소비하게 된 시기라고 할 수 있다. 한 때 고가의 장비였던 HMD(Head-Mounted Display)는 스마트폰 한 대보다도 낮은 가격으로 판매될 정도이다. 이제 VR 기술은 단순히 3D객체를 디스플레이하는 수준을 넘어서 사용자가 가상환경과 효과적으로 상호작용을 하는 단계로 나아가고 있다. 이와 관련하여 등장한 기술 중 하나가 가상객체와 접촉을 하지 않고도 조작할 수 있는 공중 상호작용(mid-air interaction)이다. 물리 기반 애니메이션과 3차원 가상객체 조작 기술을 활용하여 사용자는 가상환경과의 상호작용을 실시간으로 볼 수 있고 느낄 수 있다. 그러나 현재까지 개발된 가상 공중 상호작용 기술은 객체의 무게와 같은 물리적 특성을 전달할 수는 없었다. 본 논문은 이 문제에 대응하기 위해서 사용자가 원격 가상객체를 조작하면서 해당 객체의 무게를 느낄 수 있는 기술에 초점을 맞춘다.

본 논문은 원격 가상객체의 공중 조작(mid-air manipulation) 중 가상객체 무게 전달 기술을 제안하고 이를 통한 사용자의 인지를 분석하고자 한다. 그간 공중 상호작용 연구의 주요 연구 주제 중 하나는 접촉을 하지 않고도 가상객체의 위치를 효율적으로 변경하는 방법을 제시하는 것이었다. 가상객체의 물리 정보를 전달하기 위해서는 사용자가 객체를 손으로 쥐고 조작하는 직접 조작(direct manipulation)이 일반적인 접근방법이다. 그러나 이것은 달리 말하면 사용자가 가까운 거리의 객체만을 조작할 수 있다는 뜻이며 이는 공중 상호작용의 장점인 거리에 제약이 없는 상호작용과 반대되는 속성이다 [1]. 반면, 가상객체 공중조작을 위해서 사용되는 간접/원격 조작(indirect/remote manipulation)은 컨트롤러에서 나온 레이(ray)가 도달하는 한 거리와 상관없이 객체를 조작할 수 있는 이점이 있다. 다만, 지금까지는 원격 가상객체 조작 시 물리 정보를 전달하는 것은 공중 상호작용의 주요 주제가 아니었다. 이에 주목하여, 본 논문에서는 원격 객체를 조작하면서 사용자에게 무게 정보를 전달할 수 있는 시촉감 피드백 기술을 제안한다. 아울러 이를 평가하기 위해서 인간 대상인지 실험을 통해 시각에 더해진 추가적인 촉감 정보가 객체 무게 지각(weight perception)에 미치는 영향을 정량적으로 평가한다.

2. 배경 및 동향 분석

가상현실 분야에서 주변 환경과의 자연스러운 상호작용은 중요 주제 중 하나로 특히, 객체를 자연스럽게 조작하기 위한 다양한 방법론이 제시되어왔다. 그 중, 현재 상용화된 가상현실 시스템에서 일반적으로 사용되는 방식은 가상객체와 직접 접촉하지 않은 상태에서 객체를 조작하는 공중 상호작용 방식이다 [2]. 공중 상호작용은 사용자의 위치를 추적하기 위한 센서 유형에 따라 분류할 수 있으며 이 중 가장 자주 사용되는 센서로 카메라와 RGB-D 센서를 들 수 있다. 가상 상호작용에서 흔히 사용되는 RGB-D 센서로는 Microsoft Kinect나 LeapMotion 센서 등이 있다 [3]. 사용자의 위치 정보를 추적하는 또 다른 방법은 스마트 기기의 센서 정보를 활용하는 것이다[4]. 스마트폰과 태블릿 등 최신 스마트 기기는 카메라, IMU와 터치 센서를 포함한 다양한 센서 정보를 통해 3D 공간에서 사용자와 가상객체의 위치를 추정할 수 있다. 또한, Meta, Steam VR, Sony 등 VR 기기는 사용자가 손에 들고 사용하는 핸드헬드 컨트롤러에 내장된 센서를 통해 사용자 위치를 추적하는 솔루션을 사용한다 [5]. 이와 같은 사용자 위치 추적 인터페이스와 더불어 앞서 언급한 공중 상호작용을 통해 사용자의 위치 정보를 3D 가상객체 조작에 활용할 수 있다. 그러나 현재까지 제안된 가상객체 조작 솔루션들은 대부분 객체의 무게와 같은 물리 특성을 전달하는 수단은 제공하지 못한다는 한계가 있다.

햅틱스(haptics)는 촉감 정보를 통해 가상 환경과의 상호작용 사실감을 향상시킨다는 점에서 분야 초창기부터 VR 연구자들의 관심을 끌어왔다. 이 중 햅틱 렌더링(haptic rendering)은 사용자와 가상객체 간의 촉감 물리적인 상호작용을 실시간으로 효과적으로 계산하여 표현하는 하위 분야이다 [6]. 그간 햅틱 렌더링 연구의 주요 흐름은 사용자의 손 아바타와 직접 접촉하는 가상객체와의 물리 상호작용 시, 더 사실적인 감각을 사용자에게 전달하는 것이었다. 예를 들어, 가상객체와의 물리 상호작용을 다루는 햅틱 피드백 시스템에서 사용자에게 역감(kinesthetic) 피드백에 더해 촉감(cutaneous) 피드백도 제공하여 가상객체에 대한 현실감을 증가시키고자 하였다 [7, 8]. 공중 상호작용과 관련하여 햅틱스 분야의 일부 연구에서는 3D 공간에서 손을 자유롭게 사용할 수 있게 해주는 초음파 햅틱 피드백 어레이를 활용한 바 있다 [9]. 그러나 이를 활용한 연구는 대부분 여전히 직접 조작 관점에서 촉감 정보를 제공하는 데 주안점을 두고 있었고, 원격 가상객체 조작에 미치는 영향에 대해서는 심도 있게 논의되지 않았다.

3. 연구 목표

이 논문에서는 아래의 두 가지 문제에 답하는 것을 목표로 한다.

(1) 원격의 가상객체를 공중 조작하는 중 시각 및 촉각 정보를 통해 렌더링 된 객체의 무게를 사용자가 어떻게 지각(perceive)하는가?

(2) 촉감 정보의 유형이 가상객체의 무게 지각에 영향을 미치는가?

위의 질문에 답하기 위해, 본 연구에서는 사용자의 손 위치를 추적하면서 손끝에 촉감 정보를 제공할 수 있는 두 가지 유형의 착용형 인터페이스를 개발했다. 사용자의 손이 물체를 잡는 동작을 취하면 원격 가상객체가 사용자 쪽으로 이동하는 동시에 해당 객체의 무게 정보가 손끝으로 전달된다.

4. 착용형 인터페이스 및 시촉각 렌더링

본 연구에서는 가상객체 원격 조작 중 사용자에게 객체의 무게 정보를 손끝에 제공하기 위해 두 가지 유형의 촉감 인터페이스를 제안한다. 그림 1은 사용자의 손가락 피부에 직접 접촉으로 촉감 정보를 전달하는 촉감 인터페이스(cutaneous haptic interface)를 보여준다. 그림 1의 왼쪽 그림은 사용자의 피부와 직접 접촉하는 접촉체(contact element)의 위치가 사용자의 손끝 크기에 맞게 조절될 수 있음을 나타낸다(황색 화살표). 접촉체 하우징 내부에는 손끝과 접촉체가 밀착되도록 스프링이 설치되어 있다. 그림 1의 오른쪽 그림은 손가락에 착용된 촉감 인터페이스를 나타낸다. 접촉체 위치(녹색 점)는 서보 모터(모델 HV75K, MKS Servo Tech, Ilan, Taiwan)의 회전 각도로 조절할 수 있다. 그림 2는 사용자의 손끝에 진동 촉감을 렌더링하는 진동 촉감 인터페이스(vibrotactile haptic interface)이다. 인터페이스 내부에는 선형공진 액추에이터(Linear Resonance Actuator or LRA, VG1036, Vybronics, Inc, USA, 공진주파수 175 Hz)가 설치되어 있다. 또한 촉감 인터페이스와 마찬가지로 액추에이터가 피부에 밀착되도록 스프링을 설치했다(청색 화살표).

(그림 1) 가상객체 무게를 렌더링하는 손끝 촉감 인터페이스. (왼쪽) 등축 뷰. (오른쪽) 측면 뷰

(Figure 1) A cutaneous fingertip haptic interface to render virtual object weight. (left) isometric view. (right) side view

(그림 2) 가상 객체 무게를 렌더링하는 손끝 진동촉감 인터페이스. (왼쪽) 등축 뷰. (오른쪽) 측면 뷰.

(Figure 2) A vibrotactile fingertip haptic interface to render virtual object weight. (left) isometric view. (right) side view

그림 3은 손 동작으로 원격 가상객체를 공중 조작하는 과정을 보여준다. 사용자의 손이 가상객체 쪽으로 향할 때 레이캐스팅(ray casting)을 통해 가상객체가 선택된다(그림 3 상단). 이 때, 사용자가 객체를 잡는 동작을 취하면 굽힘센서(flex sensor, SparkFun Electronics, CO, USA)가 움직임을 감지하고(청색 화살표) 가상객체가 사용자 쪽으로 움직이기 시작한다(그림 3 하단). 가상 객체의 무게는 햅틱 피드백을 통해 사용자의 손끝에 렌더링된다. 조작 중에 손끝에서의 측면 상호작용 힘은 일반적으로 객체의 무게와 비례하는 경향이 있다 [8, 10]. 이 연관성을 고려하여 햅틱 피드백의 강도 I_h를 가상 객체 무게 W에 비례하도록 모델링했다:

(그림 3) 원격 가상객체 공중 조작 과정. (상단) 레이캐스팅으로 조작을 위한 가상객체 선택. (하단) 손이 잡는 동작을 취하면 가상객체가 사용자 쪽으로 이동.

(Figure 3) Remote virtual object mid-air manipulation. (top) A virtual object is selected for manipulation with ray casting (bottom). The virtual object moves toward the user when the grasping motion is detected.

\(\begin{align}I_{h}=I_{h, \max } \frac{W}{W_{\max }}\end{align}\)       (1)

여기서, I_h,max와 W_max는 각각 최대 햅틱 피드백 강도와 최대 렌더링 가능한 무게를 나타낸다.

5. 실험 평가: 시촉각 정보 전달에 따른 원격 가상 객체 이동 시 무게 정보 전달

실험은 피험자가 원격 가상객체를 공중 조작을 통해 끌어올 때 느껴지는 무게 지각을 평가한다. 피험자는 가상객체의 움직임과 무게에 대한 시각 정보와 촉감 정보를 동시에 전달받는다. 실험에 앞서 본 연구진은 촉감 피드백 유형이 조작 중에 가상객체 무게에 대한 인간 지각에 영향을 미칠 수 있다고 가설을 세웠다.

5.1 실험 구성

실험은 가상객체 무게에 대한 피드백 유형에 따라 세 가지 조건에서 진행되었다: 시각 정보 (V), 시각 및 촉감 정보 (V+C), 시각 및 진동촉감 정보 (V+Vib) 조건. 피험자가 원격 가상 객체 무게를 조작하는 동안 무게를 지각하는 능력을 평가하기 위해 민감도 지수(sensitivity index) d′ 및 최소식별차(just noticeable difference, JND)를 계산했다. 정규 분포 모델을 기반으로 매개 변수를 계산하기 위해 1I-2AFC (one-interval two-alternative forced-choice) 실험 패러다임을 사용했다 [11].

참조 자극 α₀와 비교 자극 Δα가 주어진 경우, 민감도 지수 d′은 적중률(H, hit ratio) 및 거짓 경보 비율 (F, false alarm rate)로부터 계산되며, d′ = z(H) - z(F)을 사용한다 (z(·)는 표준점수). JND는 복수의 측정을 통해 d′ = 1을 위한 자극 증가량 (α)₀를 추정하는 것으로 다음과 같이 계산된다:

\(\begin{align}(\alpha)_{0}=\frac{1}{\bar{\delta}}\end{align}\)       (2)

여기서 \(\begin{align}{\bar{\delta}}\end{align}\)는 d′와 Δα사이의 평균 기울기를 나타낸다. 그 후, 참조 자극 α₀가 주어질 때 베버 소수(Weber's fraction) σ₀는 σ₀ = (Δα)₀/α₀로 계산된다.

본 연구에서 사용된 촉감 인터페이스의 접촉체 최대 이동 거리와 진동촉감 인터페이스의 LRA의 최대 가속도는 각각 1.53cm 및 1.6G(1G=9.8 m/s²)이다. 실험에 사용된 참조 무게는 100g이며 Δα값은 20g 및 40g였다. 촉감 자극의 강도는 가상객체 무게에 비례하도록 조정되었다. 가상객체는 반경이 2cm인 구체로 선정했다. 참조 객체의 속도는 5m/s였으며 비교 객체는 참조 객체를 기준으로 하여 무게에 반비례한 속도로 움직이도록 설정하였다. 이에 따라 두 참조 자극의 속도는 각각 4.17 및 3.33 m/s였다.

5.2 실험 구성

실험에는 시촉각을 포함한 감각에 문제가 없는 12명의 건강한 피험자(남성 6명, 여성 6명)가 참여했다. 실험에 앞서 조사한 설문에서 모든 참가자는 오른손잡이이며, 연령 분포는 18~25세였다.

실험이 시작되면 감독관이 피험자를 실험 컴퓨터 앞에 앉도록 안내하고 실험 절차에 대해 설명했다. 피험자는 안내에 따라 실험 참여 동의서에 서명하고 그림 4와 같이 촉감 인터페이스와 헤드폰을 착용했다.

(그림 4) 실험 셋업.

(Figure 4) Experimental setup

본 실험 이전에 피험자가 참조 및 비교 가상객체를 눈으로 보고 조작할 수 있는 훈련 세션이 마련되었다. 훈련 세션은 피험자가 본 실험을 시작할 준비가 되었다는 것을 실험 감독관에게 알리면 종료되었다. 본 실험에서는 무게가 참조 자극 α 또는 테스트 자극 α⁺Δα중 하나인 가상객체가 무작위로 결정되어 시각적으로 표시되었다. 4장에서 설명한 바와 같이 피험자가 손을 가상객체 쪽으로 움직이고 잡는 동작을 취하면 객체가 피험자 방향으로 이동하였다. 그 후 피험자가 인지한 가상객체 무게가 참조 객체 또는 비교 객체에 대한 것인지를 판단하기 위해 "1"(참조 자극) 또는 "2"(비교 자극)를 입력하도록 안내하는 문구가 모니터에 디스플레이되었다. 실험은 실험 조건에 따라 세 블록으로 진행되었으며, 각 실험 블록은 20회의 시행(trial)으로 구성되었다.

5.3 실험 결과

그림 5는 세 가지 실험 조건에 대한 베버 소수의 평균을 나타낸다. 실험 조건을 인자로 베버 소수에 대한 반복 측정 분산분석(repeated measure ANOVA)를 수행한 결과, 실험 조건의 유의한 영향이 관찰되었다(F(2,22)=15.76, p < 0.0001, η² = 0.59; η²는 독립변인이 종속변인에 미치는 영향력의 크기를 나타내는 지표). 이후에는 본페로니 교정 사후 검정의 결과, V 조건의 베버 소수는 V+C와 V+Vib 조건보다 모두 유의하게 크다는 결과가 관찰되었다. (V와 V+C에 대한 p = 0.004; V와 V+Vib에 대한 p = 0.012). 또한, V+Vib 조건의 베버 소수는 V+C 조건보다 유의하게 크다는 결과도 관찰되었다(V+C와 V+Vib에 대한 p = 0.023). 베버 소수가 참조자극 α₀에 대비해 비교 자극을 얼마나 잘 구분하는지에 대한 상대 지표라는 점을 감안할 때, 실험 결과는 촉감 인터페이스를 통해서 무게 정보가 전달되었을 때(V+C) 사용자가 무게를 가장 잘 구분할 수 있었다는 것을 나타낸다. 반대로 V 조건에서 베버 소수가 가장 크다는 것은 촉감 정보 없이 구체가 움직이는 시각적인 속도 정보만 사용자에게 전달된 경우에는 상대적으로 무게를 구분하기 어렵다는 것을 보여준다. 종합적으로 실험 결과는 촉감 정보의 추가로 시각 정보만 주어진 경우보다 피실험자가 가상객체 무게를 더 잘 인지했다는 것을 보여준다.

(그림 5) 실험 조건에 따른 베버 소수의 평균. 오차 막대는 표준 오차(standard error)를 나타냄.

(Figure 5) Mean Weber fractions for the three experimental conditions. Error bars indicate the standard errors.

6. 토의 및 결론

이 연구는 각기 다른 시촉각 조건에서 원격 가상 객체의 공중 조작 중 객체의 무게 지각을 측정하였다. 실험 결과는 촉감 정보가 가상객체 무게 지각에 유의미하게 영향을 미쳤음을 나타낸다. 그리고 피험자들이 진동 촉감 피드백보다 촉감 피드백이 시각 정보에 더해졌을 때 가상객체 무게를 더 잘 인식할 수 있었다는 점도 주목할 만 하다.

실험 결과에서 눈에 띄는 특징 중 하나는 시각 정보만 주어진 경우보다 촉감 정보를 추가하는 것이 무게에 대한 민감도를 높였다는 것이다. 이 결과에 대한 가능한 설명은 다중 감각 통합 모델, 즉 시각 및 촉감 정보의 최적 통합 모델에서 찾을 수 있다. 이전 연구에 따르면 인간 감각은 독립적인 다중 감각 입력을 통계적으로 최적화된 방식으로 통합한다 [12]. 마찬가지로 조작 중 가상객체의 무게 지각은 시각 정보에 촉감 정보가 추가됨으로써 향상된 것으로 설명할 수 있다.

실험 결과는 참가자들이 진동 촉감 피드백보다 촉감 피드백으로 가상객체 무게를 더 잘 인식했음을 나타낸다. 이는 두 가지 종류의 촉감 피드백에 대한 인간 민감성으로 부분적으로 설명될 수 있다. 인간의 촉감은 100 ㎛ 단위의 위치 차이를 지각할 수 있지만 진동 강도의 변화에 대해서는 상대적으로 둔감하다 [13]. 그리고 본 연구에서는 착용형 인터페이스라는 디자인적인 제약으로 인해 촉감 피드백의 최대 강도가 고정되어 있었으며, 이로 인해 진동 촉감 피드백의 참조 자극이 상대적으로 크게 지각되어 두 가지 다른 유형의 햅틱 피드백에 대한 실험 결과의 차이가 발생했을 가능성이 있다.

이 연구의 결과는 가상환경에서 사용자 인터페이스 디자인의 참고 자료로 활용될 수 있다. 실험 결과는 객체 조작을 위한 다중 모달 피드백은 사용자의 가상객체 물리 정보에 대한 지각을 향상시킬 수 있다는 것을 시사한다. 그리고 피험자들이 진동 촉감 피드백보다 촉감 피드백에 더 민감하다는 결과는 효과적인 촉감 인터페이스 디자인을 위한 정보를 제공한다.

본 연구에서는 원격 가상객체 공중 조작 중 객체의 무게 지각을 조사하고 다양한 시촉각 정보에 대한 무게 지각을 평가했다. 실험 결과는 촉감 정보가 가상 객체 무게 지각에 미치는 유의미한 영향을 보여준다는 점에서 의의가 있으나 결과의 일반화를 위해서는 향후에 추가적인 연구가 필요하다. 우선, 앞서 언급했듯이 햅틱 피드백의 범위는 무게 인식에 영향을 미칠 수 있기 때문에 다양한 자극 강도 범위에 대한 연구가 필요하다. 시각 정보 피드백 또한 본 연구에서는 일정 속도 범위에 대해서만 테스트 되었다는 한계가 있다. 향후 이를 고려하여 실험 조건을 확장한 연구를 수행할 예정이다.