• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.52-55
• /
• 2009

최근 가상현실 기술이 발전하면서 몰입적인 상호작용을 위한 사용자 인터페이스가 활발히 연구되고 있다. 몰입형 사용자 인터페이스는 다양한 서비스를 제공하는 가상환경에서 사용자의 작업 효율성이나 정보처리능력을 향상시킬 뿐만 아니라 유비쿼터스나 모바일 컴퓨팅 등 다양한 응용 분야에서 효과적인 상호작용을 제공한다. 본 논문에서는 몰입형 사용자 인터페이스를 이용하여 3차원의 확장된 가상 작업 공간을 제공하는 가상현실 플랫폼인 "MyWorkspace"를 제안한다. 광학 투시 HMD, Wii 리모트 컨트롤러와 적외선 LED가 부착된 헬멧을 통합하여 몰입형 사용자 인터페이스를 개발하고 사용자 머리의 움직임 모형을 설계하여 시선의 상하 각도와 좌우 각도를 계산한다. MyWorkspace는 모니터 기반의 기존 2차원 작업 공간을 레이어 기반 3차원 작업 공간으로 확장하고, 사용자가 바라보는 3차원 가상 작업 공간의 부분을 렌더링하여 HMD를 통해 사용자에게 출력한다. 사용자는 가상 작업 공간에서 여러 작업을 배치하고 머리를 움직임으로써 작업을 전환할 수 있다. 본 논문에서는 개발된 몰입형 사용자 인터페이스의 동작성능을 분석하고 사용성 평가를 통해 MyWorkspace의 유용성을 평가하고자 한다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제9권4호
• /
• pp.420-430
• /
• 2003

본 논문에서는 멀티모달(multi-modal) 인터페이스를 통해 지능적 가상검객과 체감형 검도게임을 할 수 있는 시스템을 제안한다. 제안된 검도게임 시스템은 멀티모달 인터페이스(시각과 청각), 인공지능(AI), 피드백(스크린과 사운드) 등 크게 세 가지 모듈로 구성된다. 첫 번째로, 멀티모달 인터페이스는 시각기반, 3차원 인터페이스를 이용하여 사용자가 자유롭게 3차원 공간에서 움직일 수 있도록 하고, 음성기반 인터페이스를 이용하여 사용자가 현실감 있는 검도게임을 즐길 수 있도록 한다. 두 번째, 인공지능은 가상검객에게 멀티모달 인터페이스에서 입력되는 시각과 음성을 인식하여 가상검객의 반응을 유도한다. 마지막으로, 대형 스크린과 스피커를 통한 시청각 피드백은 체감형 상호작용을 통하여 사용자가 몰입감을 느끼며 검도게임을 경험할 수 있도록 한다. 따라서 제안된 시스템은 전신의 움직임으로 사용자에게 몰입감의 검도게임을 제공한다. 제안된 시스템은 오락 외에 교육, 운동, 예술행위 등 다양한 분야에 적용될 수 있다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.406-410
• /
• 2009

사람과 로봇간 인터페이스 연구가 활발히 진행되어감에 따라 원격으로 로봇을 조종하고 그 로봇을 통해 환경정보를 제공받는 텔레프레전스 시스템에 관심이 증가하고 있다. 로봇이 움직임 따라 자연스러운 텔레프레전스 서비스를 제공하기 위해서는 사용자 행동인식이 매우 중요하다. 이전에 제안되었던 텔레프레전스의 사용자의 이동 인식 시스템은 개발이 어려우며 많은 비용이 요구되고 사용자와 로봇간의 상호작용에 많은 한계를 보여왔다. 본논문에서는 닌텐도의 게임기 WII 의 적외선 리모콘을 이용하여 사용자의 이동 및 시선을 파악하고 그 정보를 바탕으로 원거리의 로봇(Sony 의 AIBO)을 움직여 사용자가 원하는 정보를 HMD를 통해 수신할 수 있는 시스템을 제안한다.

• Educational Technology International
• /
• 제18권1호
• /
• pp.49-71
• /
• 2017

The purpose of the study was to identify key design features of virtual reality with head-mounted displays (HMD) and touchless interface for the hearing-impaired and hard-of-hearing learners. The virtual reality based training program was aimed to help hearing-impaired learners in machine operating learning, which requires spatial understanding to operate. We developed an immersive virtual learning environment prototype with an HMD (Oculus Rift) and a touchless natural user interface (Leap Motion) to identify the key design features required to enhance virtual reality for the hearing-impaired and hard-of-hearing learners. Two usability tests of the prototype were conducted, which revealed that several features in the system need revision and that the technology presents an enormous potential to help hearing-impaired learners by providing realistic and immersive learning experiences. After the usability tests of hearing-impaired students' exploring the 3D virtual space, interviews were conducted, which also established that further revision of the system is needed, which would take into account the learners' physical as well as cognitive characteristics.

• 한국컴퓨터그래픽스학회논문지
• /
• 제30권1호
• /
• pp.1-10
• /
• 2024

본 연구는 혼합현실과 가상현실을 포함하는 몰입형 가상환경에서 OpenAI의 ChatGPT를 활용한 가상 보조 에이전트의 인터페이스 응용에 관한 새로운 방법을 제안한다. 제안하는 응용 방법은 사용자의 질의에 응답하는 정보 에이전트와 사용자의 요구에 맞춰 가상 객체, 환경 등을 제어하는 제어 에이전트로 구성된다. 이를 위해, Unity 3D 엔진, OpenAI, 그리고 가상현실과 혼합현실 사용자 참여를 위한 패키지 및 개발 도구를 통합하는 개발환경을 설정한다. 그리고 음성 입력으로부터 질문 쿼리에서 답변 쿼리, 또는 제어 요구 쿼리에서 제어 스크립트로 생성으로 연결되는 작업 흐름을 설정한다. 이를 기반으로 혼합현실, 가상현실 체험 환경을 직접 제작하고 에이전트의 성능 확인을 위한 실험을 정보 에이전트의 반응 시간, 제어 에이전트의 정확도로 나누어 진행하였다. 결과적으로 제안하는 인터페이스 응용을 통해 사용자 친화적이고 단순하고 반복적인 작업에서의 효율을 높이는데 유용할 수 있음을 확인하였다. 우리는 새롭게 제안하는 인터페이스를 통해 몰입형 가상환경에서 인터페이스로의 응용에 관한 새로운 방향성을 제시하고 발견된 문제점과 현재까지의 한계점을 분명히 밝힌다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제25권2호
• /
• pp.1-9
• /
• 2019

본 연구는 몰입형 가상현실에서의 상호작용 과정에서 사용자의 몰입을 높여 향상된 현존감을 제공하는 손 기반 인터페이스에 대한 비교 실험을 진행한다. 몰입형 가상현실에서 사용자에게 장비의 부담을 최소화하면서 동시에 손을 보다 직접적으로 사용하여 가상 환경과 객체를 제어할 수 있는 몰입형 체험 환경을 제공하기 위하여 손 동작 인식 센서 기반 상호작용과 컨트롤러 기반 상호작용의 두 가지 실험 인터페이스를 설계한다. 손 동작 인식 센서 기반 상호작용은 VR (virtual reality) HMD (head mounted display) 외에 추가적인 장비를 사용하는 대신 정확한 손의 움직임과 직접적인 제스쳐 및 동작 표현을 가상 환경에 반영한다. 컨트롤러 기반 상호작용은 VR HMD와 함께 제공되는 컨트롤러를 쉽게 활용할 수 있도록 손의 제스쳐와 컨트롤러의 키를 매핑시킨 일반화된 인터페이스를 설계한다. 이러한 과정을 통해 본 연구는 손을 활용한 가상현실에서의 상호작용이 사용자의 편리함과 직관성에 측면에서 현존감에 미치는 영향을 비교 실험을 통해 확인한다.

• 한국HCI학회논문지
• /
• 제6권1호
• /
• pp.1-8
• /
• 2011

최근 가상현실에 대한 관심이 높아짐에 따라 다양한 서비스와 어플리케이션이 개발되고 있으며, 이와 더불어 몰입형 상호작용을 위한 제스처 기반 사용자 인터페이스가 활발히 연구되고 있다. 본 논문에서는 가상현실 환경 내 사용자 움직임을 효과적으로 반영하고 몰입감을 높이기 위해 제스처 인식 기반 착용식 사용자 인터페이스를 제안한다. 제안하는 인터페이스는 적외선 LED가 부착되어 있는 헬멧과 적외선 수신기를 이용하여 사용자의 머리 움직임을 인식하며, 양 손에 착용한 데이터 글로브로부터 사용자의 손 제스처를 인식한다. 또한, 헤드 마운트 디스플레이 장치(HMD)를 이용하여 직접 사용자의 시점 변화와 가상환경의 시점 변화를 일치시킨다. 손 제스처의 경우 다수의 관절로 이루어져 있는 손의 특성상 다양한 동작이 가능하며 손 크기나 손동작이 사람마다 모두 다르기 때문에 다양한 사용자들을 대상으로 할 때, 일반적인 모델로는 정확한 인식이 어렵다. 본 논문에서는 다양한 사용자를 대상으로 정확히 손 제스처를 인식하기 위해 Mixture-of-Experts 기반 인식 방법을 적용하였다. 제안하는 인터페이스의 유용성을 평가하기 위해 가상 오케스트라 지휘 환경을 구현하여 인터페이스의 동작 성능을 분석하고 사용성 평가를 수행하였다. 그 결과, 사용자들이 쉽고 직관적으로 사용할 수 있으며 흥미를 유발함을 확인하였다.

• 로봇학회논문지
• /
• 제3권2호
• /
• pp.137-145
• /
• 2008

We present the initial results of on-going research for building a novel Mobile Haptic Interface (MHI) that can provide an unlimited haptic workspace in large immersive virtual environments. When a user explores a large virtual environment, the MHI can sense the position and orientation of the user, place itself to an appropriate configuration, and deliver force feedback, thereby enabling a virtually limitless workspace. Our MHI (PoMHI v0.5) features with omnidirectional mobility, a collision-free motion planning algorithm, and force feedback for general environment models. We also provide experimental results that show the fidelity of our mobile haptic interface.

• 한국HCI학회논문지
• /
• 제3권1호
• /
• pp.27-32
• /
• 2008

사람과 로봇간 인터페이스 연구가 활발히 진행되어감에 따라 원격으로 로봇을 조종하고 그 로봇을 통해 환경 정보를 제공받는 텔레프레전스 시스템에 관심이 증가하고 있다. 로봇이 움직임 따라 자연스러운 텔레프레전스 서비스를 제공하기 위해서는 사용자 행동인식이 매우 중요하다. 이전에 제안되었던 텔레프레전스의 사용자의 이동 인식시스템은 개발이 어려우며 많은 비용이 요구되고 사용자와 로봇간의 상호작용에 많은 한계를 보여왔다. 본논문에서는 닌텐도의 게임기 WII의 적외선 리모콘을 이용하여 사용자의 이동 및 시선을 파악하고 그 정보를 바탕으로 원거리의 로봇(Sony의 AIBO)을 움직여 사용자가 원하는 정보를 HMD를 통해 수신할 수 있는 시스템을 제안한다.

• 스마트미디어저널
• /
• 제8권1호
• /
• pp.51-58
• /
• 2019

본 논문은 펄스폭 변조(PWM, Pulse Width Modulation) 방법을 이용하여 4D 콘텐츠의 특수효과용 물리장치들을 제어하는 제스처 응용 방법에 대해 기술한다. 적외선 센서를 통해 인식되는 사용자 동작은 3D 콘텐츠 제어를 위한 명령어로 해석되고 특수효과를 발생시키는 장치를 제어하여 물리적인 자극을 사용자에게 재현한다. 이와 같이 NUI(Natural User Interface) 기법을 이용하여 콘텐츠를 제어하게 되면 사용자의 콘텐츠에 대한 직접적인 몰입감이 증대되어 사용자에게 고도의 흥미와 관심을 제공할 수 있다. 제안하는 방법의 효율성을 측정하기 위해 적외선 센서를 이용한 모션인식과 애니메이션 컨트롤러의 파라미터를 제어하여 이벤트를 전달하는 PWM 기반 실시간 선형제어 시스템을 구현하였다.