• 한국콘텐츠학회논문지
• /
• 제19권11호
• /
• pp.270-277
• /
• 2019

오늘날의 미디어는 디지털 방송이 본격적으로 발전하고 또 우리의 삶에 녹아들고 있다. 특히 인터랙티브 미디어는 컴퓨터를 기반으로, 기존처럼 시간에 맞춰 주어진 미디어를 눈으로만 시청하기보다, 미디어를 직접 따라 하거나 미디어의 선택지를 고르는 등 사용자와 미디어의 상호 작용을 통해 차별화된 콘텐츠를 체험할 수 있는 형태로 확장된 미디어이다. 최근에는 이를 활용해, 특정 센서 및 디바이스가 부착된 옥외 광고나 전시관 등에 사용자의 자연스러운 참여를 유도할 수 있는 콘텐츠 개발이 활발히 진행되고 있다. 그리고 저가의 모션 인식 디바이스가 개발되어, 신체에 접촉하지 않으면서 사용자의 모션 정보를 인식하여 다양한 인터랙션을 적용한 미디어를 체험할 수 있게 되었다. 본 논문은 특정 프로그램 설치가 없이 웹서비스 환경에서 사용자의 동작을 인식하고 영상을 제어할 수 있는 인터랙티브 미디어 플레이어를 개발하였다. 그리고 키오스크 형태에서 탑재된 립모션(Leap Motion) 장비에 맞는 다양한 사용자 동작 인식 범위를 설정하고 사용자 동작 인식 알고리즘을 개발하였다. 이러한 연구 결과는 인터랙티브 관광·교육·영화 콘텐츠등 다양한 인터랙티브 미디어를 공공의 장소에 설치 가능한 키오스크에 탑재하여 체험할 수 있다.

• 방송공학회논문지
• /
• 제22권1호
• /
• pp.87-94
• /
• 2017

본 논문에서는 게임 엔진(Unity3D) 상에서 헤드 마운트 디스플레이(HMD)와 손 동작 인식 기술을 이용한 가상 환경 운영 체제(VROS) 프로토타입을 제안한다. 제안하는 OS는 Unity3D에서 제공하는 실시간 환경 상에 간단한 멀티태스킹 스레드 메커니즘을 구축한 형태로 제작되었다. 제안하는 가상 환경 운영 체제는 손 동작 인식 장치(Leap Motion)로부터 입력을 받아서 키보드와 마우스 역할을 수행하며 헤드 마운트 디스플레이((Oculus Rift DK2)를 통해 출력을 제공한다. 테스트 결과, 제안하는 시스템은 360도 가상 공간 내에서 보다 넓고 몰입도가 높은 작업 환경을 제공하였다.

• 한국게임학회 논문지
• /
• 제16권4호
• /
• pp.69-78
• /
• 2016

게임기술의 발전에 따라 콘텐츠 분야에서 현실적인 그래픽 기술과 자유로운 인터페이스와 실감형 콘텐츠 서비스가 요구되고 있다. 인터페이스 방식은 CLI에서 GUI로 GUI을 지나 NUI로 발전되고 있다. NUI는 기존의 인터페이스와는 달리 인간의 자연스런 행동을 직관적이고 실감적으로 이용할 수 있는 인터페이스이다. 본 논문에서는 NUI 인터페이스 가운데 립 모션을 이용한 권투 시뮬레이션 게임을 제안하고자 한다. 개발된 VR 헤드셋 게임을 통하여 실감형 3D 실험환경을 제공하여 사용자가 제어하는 인터페이스 (주먹)가 내부의 목표물 (샌드백)을 타격하게 되면, 물리적 특성인 목표물의 충격 각도의 변화에 따라 점수를 계산하는 방법을 적용하였다.

• 한국정보통신학회논문지
• /
• 제19권9호
• /
• pp.2006-2013
• /
• 2015

청각 장애인은 소리를 듣고 음성으로 표현하는 의사소통에 어려움이 있기 때문에 주로, 구화, 수화, 필담 등을 이용하여 의사소통을 진행한다. 청각 장애인과 건청인과의 의사소통을 위해서는 수화가 가장 좋은 방법이지만 수화 사용방법을 이해해야만 하는 어려움이 따른다. 본 논문은 청각 장애인과 건청인간의 의사소통을 위한 수단으로 지화 번역 시스템을 설계 및 구현하였다. 지화 입력 수단으로 손가락 모양과 손동작을 추적할 수 있는 립 모션을 사용하였다. 입력된 정보를 처리하고 번역하기 위해서 저전력 싱글 보드 컴퓨터인 라즈베리 파이를 활용하였다. 시스템 개발을 위하여 Node.js와 MongoDB를 활용하여 플랫폼에 구애받지 않고 다양한 환경에서 사용할 수 있도록 구현하였다. 클라이언트용 애플리케이션은 HTML5를 기반으로 구현하여 웹 브라우징이 가능한 스마트 디바이스를 지원한다.

• 전자공학회논문지
• /
• 제53권12호
• /
• pp.169-174
• /
• 2016

본 연구에서는 실제적인 환자의 모델을 바탕으로 가상현실 기반의 수술환경을 제작하는 방법에 대한 고찰과 함께 치과 임플란트 수술 술기를 배울 수 있는 가상현실을 활용한 수술 모델에 대한 평가를 시행하고자 한다. 환자의 안면 해부학적 모델은 실제 환자의 CT 데이터를 바탕으로 안면부위 골에 대한 삼차원 모델을 먼저 완성한 후 각각의 근육을 표현하고 안면부에 대한 삼차원 스캔 그리고 치아의 3차원 스캔 후 모델링을 통해 각각의 해부학적 구조물을 표현하였다. Unity3D를 활용해 단계별 시나리오를 게임으로 구성하였다. 처음 절개를 시행하는 단계에서부터 환자의 현재 상태에 필요한 상악동 거상술에 대한 술기를 표현하고, 임플란트 식립과정 그리고 골이식술을 하는 과정을 단계별로 포함하였다. 단계별로 중요한 과정의 효과적인 습득을 위해 HMD(Head Mount Display) 및 Leap motion과 연동하여 3차원 모델에 기구를 위치시키고 수술행위를 재현해볼 수 있게하여 몰입감을 높이면서 실제 수술을 하고있는 느낌을 재현하고자 하였다. 총 20명의 수련의를 대상으로 가상현실 시뮬레이션을 수행한 후에 설문조사를 시행하였다. 임플란트 수술 교육 프로그램은 치과 대학생들과 수련의들의 교육 도구로서 수술 술기를 습득하고 평가하는데 사용할 수 있는 가능성을 보여주었다. 통상적으로 수술 술기 교육 방법이 많지 않은 현실에서 HMD 와 Leap motion이라는 비교적 저렴한 기기를 이용하여 몰입감을 높일 수 있는 가상현실 기반의 수술 교육은 장점이 있다고 말할 수 있다.

• 한국게임학회 논문지
• /
• 제17권3호
• /
• pp.53-62
• /
• 2017

VR 콘텐츠 조작 장비는 높은 가격을 요구하기 때문에 개인이 접하기 쉽지 않다. 특히 VR 콘텐츠 중 사용자의 모션을 추적하는 시스템의 경우 일반적으로 적외선 카메라를 사용하는 별도의 광학 센서 장비를 사용한다. 광학 센서 장비들은 단일기기만 사용할 경우 회전 동작 추적을 할 때 측정 가능한 범위가 측정 방향에 의존적이라는 단점이 있다. 위와 같은 문제들을 해결하기 위해 본 논문에서는 별도의 광학 센서 장비 없이 일반적으로 대중이 보유하고 있는 장비인 스마트폰의 관성센서를 사용하여 측정 방향에 구애 받지 않고 사용자의 회전 동작을 추적할 수 있음을 보인다. 그리고 립모션을 사용한 시스템을 참조 시스템으로, 스마트폰을 사용한 시스템을 평가 시스템으로 정하여 두 시스템의 사용자 만족도를 비교하여 평가 시스템의 유용성을 검증한다.

• 한국전자거래학회지
• /
• 제21권2호
• /
• pp.97-119
• /
• 2016

가상현실 상황에서 모션인식 사용자 인터페이스는 사용자 경험의 현실감을 향상시킨다. 본 연구는 모션인식 인터페이스로 활용되는 제품인 '립모션'에 대한 잠재고객들의 혁신저항 및 수용 메커니즘을 지각된 위험 이론을 기반으로 연구하였다. 기존 혁신저항 및 제품 수용에 관련된 연구들은 지각된 위험의 결과 또는 지각된 가치가 수용의도에 미치는 영향을 단면적으로 다루어 왔다. 본 연구는 수용과 저항의 다차원적 관점을 기반으로 선행연구를 종합적으로 검토하여 지각된 위험 및 가치에 영향을 미치는 선행요인들을 제시하고 지각된 위험과 가치가 혁신저항에 미치는 복합적인 역학관계를 다루고자 하였다. 분석 결과, 기존의 수용 관점 모형에 포함되었던 선행요인들이 지각된 위험을 감소시킬 수 있고, 지각된 가치가 높으면 혁신저항이 감소한다는 점을 발견하였다.

• 한국융합학회논문지
• /
• 제10권11호
• /
• pp.111-116
• /
• 2019

최근 컴퓨터 능력의 급속한 발전으로 인간과 컴퓨터간의 상호 작용을 편리하게 연결할 수 있는 많은 기술들이 연구되고 있는 상황으로, 전통적인 입력장치를 사용한 GUI에서 3D 모션, 햅틱, 멀티 터치와 같은 신체를 이용한 NUI로 패러다임이 변화되고 있는 추세이다. 인간의 동작을 센서를 이용하여 컴퓨터에 전달하는 많은 연구가 이루어지고 있으며, 3D 객체를 획득할 수 있는 광학 센서의 개발과 더불어 산업 및 의료 분야, 사용자 인터페이스 분야 등으로 응용 범위가 확장되고 있다. 본 논문에서는 립모션을 기반으로 사용자의 손동작에 따라 기본 입력장치인 마우스를 대신하여 제스처를 통한 타 프로그램 실행 및 윈도우즈 제어가 가능하며, 안드로이드 앱과 융합하여 메인 클라이언트와 연결을 통하여, 음성인식과 버튼을 사용해 각종 미디어와 음성 명령 기능을 통한 제어가 가능한 모델을 제안한다. 제안 모델을 통하여 영상, 음악과 같은 인터넷 미디어를 클라이언트 컴퓨터 뿐만 아니라 앱을 통한 원거리 제어가 가능하여, 편리하게 미디어를 시청할 수 있을 것으로 기대된다.

• 한국음향학회지
• /
• 제36권2호
• /
• pp.130-135
• /
• 2017

본 논문에서는 가상 콘서트홀에서 사용자가 인터랙티브한 음향 체험을 할 수 있는 인터페이스에 대해 제안한다. 제안하는 인터페이스는 가상 콘서트홀을 기반으로 좌석 위치별 음향 체험 시스템과 악기 제어 및 음향 체험 시스템으로 구성된다. 제안하는 인터페이스의 각 시스템을 구현하기 위해 인공 잔향 알고리즘과 멀티채널 음원 분리, 머리전달함수를 적용하였다. 제안하는 인터페이스는 유니티(Unity)를 사용하여 구현되었으며 사용자는 가상현실기기인 오큘러스 리프트(Oculus Rift)를 통해 가상 콘서트홀을 체험할 수 있고 립 모션(Leap Motion)을 통해 별도의 입력 도구없이 손동작만으로 시스템을 제어할 수 있으며 헤드폰을 통해 시스템이 제공하는 음향을 체험할 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2019년도 추계학술발표대회
• /
• pp.552-554
• /
• 2019

농아는 청각장애인과 언어장애인을 말하며 청각장애인과 언어장애인은 음성으로 의사소통하는 것에 어려움이 있기 때문에 수화나 구화 등을 이용하여 의사소통을 한다. 그러나 수화는 모든 사람들이 사용하는 통신 수단이 아니기 때문에 수화를 알지 못하는 사람과의 의사소통하는 데 있어 한계가 생길 수밖에 없다. 본 논문에서는 장애인과 비장애인이 어려움 없이 의사소통할 수 있는 수단으로 지화 번역 시스템을 제안하고 설계 및 구현하였다. 립 모션으로 지화를 인식하였고 인식률을 높이기 위해 머신 러닝 기술을 이용하여 지화 데이터를 스스로 학습시켰다. 구현 및 실험 결과를 통해 제안한 알고리즘 적용으로 인식률 개선이 이뤄졌음을 확인하였다.