• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2016년도 추계학술대회
• /
• pp.644-646
• /
• 2016

본 논문에서는 청각 장애인은 소리를 듣고 음성으로 표현하는 의사소통에 어려움이 있기 때문에 주로, 구화, 수화, 필담 등을 이용하여 의사소통을 진행한다. 청각 장애인과 건청인과의 의사소통을 위해서는 수화가 가장 좋은 방법이지만 수화 사용방법을 이해해야만 하는 어려움이 따른다. 청각 장애인과 건청인간의 의사소통을 위한 수단으로 지화번역 시스템을 설계 및 구현 하였다. 지화 입력 수단 으로는 손가락 모양과 손동작을 추적 할 수 있는 립 모션을 사용하였다. 입력된 정보를 처리하고 번역하기 위해서 저전력 싱글 보드 컴퓨터인 라즈베리 파이를 활용 하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제29권3호
• /
• pp.149-158
• /
• 2023

최신 기술이 적용된 HMD는 고해상도 디스플레이와 빠른 모션인식으로 멀미를 최소화하며 위치와 동작을 정확히 추적할 수 있다. 이는 가상의 삼차원 공간에 몰입할 수 있는 환경을 제공해 줄 수 있으며 이러한 특징을 활용하여 재난 시뮬레이터나 고위험 장비 학습 공간 등의 가상현실 콘텐츠가 발전하고 있다. 이러한 장점은 기초과학 교육 분야에서도 적용 가능하다. 특히 기존 2차원 자료로 설명되는 물리학의 전기장과 자기장의 개념을 삼차원 공간으로 확장하여 실시간으로 시각화한다면 학습 이해도 향상에 큰 도움이 될 수 있다. 본 논문에서는 삼차원 가상현실 기반의 실감형 물리 교육 환경 및 콘텐츠를 개발하고 개발된 학습 콘텐츠를 실제 학습 대상자에게 체험시켜 효과를 증명한다. 학습 대상자는 총 46명의 중학생과 대학생이며 가상현실 환경에서 삼차원으로 표현되는 전기장과 자기장을 실시간으로 경험하고 학습하였다. 설문 조사 결과 85% 이상의 긍정적인 반응을 얻을 수 있었으며 삼차원 가상공간 기반의 물리 학습이 효과적으로 적용될 수 있다는 긍정적인 결과를 얻었다.

• 방송공학회논문지
• /
• 제25권4호
• /
• pp.545-559
• /
• 2020

본 논문에서는 사용자의 제스처에 따라 반응하는 인터랙티브 미디어 콘텐츠를 프로그래밍 경험이 없는 사용자가 쉽게 제작할 수 있도록 하는 콘텐츠 제작 프레임워크를 제안한다. 제안 프레임워크에서 사용자는 사용하는 제스처와 이에 반응하는 미디어의 효과를 번호로 정의하고, 텍스트 기반의 구성 파일에서 이를 연결한다. 제안 프레임워크에서는 사용자의 제스처에 따라 반응하는 인터랙티브 미디어 콘텐츠를 사용자의 위치를 추적하여 프로젝션 시키기 위하여 동적 프로젝션 맵핑 모듈과 연결하였다. 또한, 제스처 인식을 위한 처리 속도와 메모리 부담을 줄이기 위하여 사용자의 움직임을 그레이 스케일(gray scale)의 모션 히스토리 이미지(Motion history image)로 표현하고, 이를 입력 데이터로 사용하는 제스처 인식을 위한 합성곱 신경망(Convolutional Neural Network) 모델을 설계하였다. 5가지 제스처를 인식하는 실험을 통하여 합성곱 신경망 모델의 계층수와 하이퍼파라미터를 결정하고 이를 제안 프레임워크에 적용하였다. 제스처 인식 실험에서 97.96%의 인식률과 12.04 FPS의 처리속도를 획득하였고, 3가지 파티클 효과와 연결한 실험에서 사용자의 움직임에 따라 의도하는 적절한 미디어 효과가 실시간으로 보임을 확인하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제26권3호
• /
• pp.9-19
• /
• 2020

최근 다양한 종류의 가상 현실 기기가 개발되면서 고전적인 사용자 입력 방식 이외에도 사용자의 신체 동작을 인식하여 현실감을 높이려는 기술에 관한 연구가 활발하게 진행되고 있다. 이러한 장치 중의 하나인 립모션 컨트롤러는 사용자의 손동작을 인식하여 가상 현실 환경에서 사용자의 손 모양을 실시간으로 나타낼 수 있다. 하지만 인식한 사용자의 손을 사용하여 가상 현실의 물체를 조작하면 종종 손이 물체를 통과하게 되는데, 이러한 상호작용은 실제 현실과는 거리감이 있다. 본 연구에서는 가상 현실에서 사용자의 손과 물체 간의 상호작용 현실감을 높이기 위한 시각적 피드백 시스템의 구축 방법을 제시한다. 가상의 현실에서 사용자의 손과 가상 물체가 충돌하는지 광선 추적법을 활용하여 정밀하게 검사하고, 충돌하였을 때 부호 거리 장과 역기구학을 통해 물체 내부로 들어간 사용자의 손가락 말단의 위치를 물체 표면 밖으로 이동시켜 사용자의 손을 재구성하는 과정을 통해 시각적 피드백을 준다. 이를 통해 실시간으로 가상 현실에서 현실감 있는 상호작용을 할 수 있다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제27권1호
• /
• pp.9-17
• /
• 2021

본 논문에서는 확률적 모델예측제어(model predictive control) 기법을 이용하여 예제 동작 데이터가 주어지면 물리 기반 시뮬레이션 환경에서 그 동작을 모방할 수 있는 캐릭터 동작 제어기를 빠르게 학습할 수 있는 간편한 지도 학습(supervised learning) 프레임워크를 제안한다. 제안된 프레임워크는 크게 학습 데이터 생성과 오프라인 학습의 두 컴포넌트로 구성된다. 첫번째 컴포넌트는 예제 동작 데이터가 주어지면 확률적 모델예측제어를 통해 그 동작 데이터를 추적하기 위한 최적 제어기를 캐릭터의 현재 상태로부터 시작하여 가까운 미래 상태까지의 시간 윈도우에 대해 주기적으로 업데이트하면서 그 최적 제어기를 통해 캐릭터의 동작을 확률적으로 제어한다. 이러한 주기적인 최적 제어기의 업데이트와 확률적 제어는 주어진 예제 동작 데이터를 모방하는 동안 캐릭터가 가질 수 있는 다양한 상태들을 효과적으로 탐색하게 하여 지도 학습에 유용한 학습 데이터를 수집할 수 있게 해준다. 이렇게 학습 데이터가 수집되면, 오프라인 학습 컴포넌트에서는 그 수집된 데이터를 정규화 시켜서 데이터에 내제된 크기와 단위의 차이를 조정하고 지도 학습을 통해 제어기를 위한 간단한 구조의 인공 신경망을 학습시킨다. 걷기 동작과 달리기 동작에 대한 실험은 본 논문에서 제안한 학습 프레임워크가 물리 기반 캐릭터 동작 제어기를 빠르고 효과적으로 생성할 수 있음을 보여준다.