• Journal of Korea Game Society
• /
• v.21 no.5
• /
• pp.41-48
• /
• 2021

This paper introduces a mobile augmented visualization technology that augments a three-dimensional virtual human body on a mannequin model using two pose(position and rotation) tracking sensors. The conventional camera tracking technology used for augmented visualization has the disadvantage of failing to calculate the camera pose when the camera shakes or moves quickly because it uses the camera image, but using a pose tracking sensor can overcome this disadvantage. Also, even if the position of the mannequin is changed or rotated, augmented visualization is possible using the data of the pose tracking sensor attached to the mannequin, and above all there is no load for camera tracking.

• Journal of the Korea Computer Graphics Society
• /
• v.29 no.5
• /
• pp.11-20
• /
• 2023

In this paper, we propose a novel deep learning-based motion reconstruction approach that facilitates the generation of full-body motions, including finger motions, while also enabling the online adjustment of motion generation delays. The proposed method combines the Vive Tracker with a deep learning method to achieve more accurate motion reconstruction while effectively mitigating foot skating issues through the use of an Inverse Kinematics (IK) solver. The proposed method utilizes a trained AutoEncoder to reconstruct character body motions using tracker data in real-time while offering the flexibility to adjust motion generation delays as needed. To generate hand motions suitable for the reconstructed body motion, we employ a Fully Connected Network (FCN). By combining the reconstructed body motion from the AutoEncoder with the hand motions generated by the FCN, we can generate full-body motions of characters that include hand movements. In order to alleviate foot skating issues in motions generated by deep learning-based methods, we use an IK solver. By setting the trackers located near the character's feet as end-effectors for the IK solver, our method precisely controls and corrects the character's foot movements, thereby enhancing the overall accuracy of the generated motions. Through experiments, we validate the accuracy of motion generation in the proposed deep learning-based motion reconstruction scheme, as well as the ability to adjust latency based on user input. Additionally, we assess the correction performance by comparing motions with the IK solver applied to those without it, focusing particularly on how it addresses the foot skating issue in the generated full-body motions.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.07a
• /
• pp.517-518
• /
• 2021

본 논문에서는 게임 개발 플랫폼인 언리얼 엔진 4을 사용하여 가상현실기술을 활용한 복싱 게임을 개발하였다. 복싱 게임을 더욱 실감나게 즐길 수 있도록 하기 위해 양 손에 부착한 VIVE 트래커로 복싱 동작을 모션 트래킹하여 아바타를 제어하였다. 게임 모드의 경우 연습모드와 스파링모드로 구성하였다. 연습모드에서 튜토리얼을 진행하여 게임플레이를 익힌 후 스파링모드에서 AI와 복싱 대결을 하도록 구현하였다. 스파링모드는 AI와 플레이어가 대결을 하며 먼저 체력을 소모시키면 승리하게 된다. 그리고 AI 캐릭터의 애니메이션 재생 속도에 따라 4가지 난이도를 설정할 수 있다. 가상현실 복싱게임은 VR기술을 이용하여 가정에서 간편하게 복싱 운동을 즐길 수 있으며, 더 많은 VIVE 트래커를 활용하면 정밀한 모션 트래킹이 가능하여 현실감을 높일 수 있다.

• The Journal of Korea Institute of Information, Electronics, and Communication Technology
• /
• v.16 no.5
• /
• pp.247-255
• /
• 2023

In order to create a virtual reality space in the metaverse, accurate tracking sensors and implementation are required. Most government agencies and corporations performs tracking to use their own tracking sensors and a base stations, such as VIVE. The VIVE method may have tracking problems due to spatial constraints and obstacles or nearby structures, and it is also that the number of people that can be accommodated within the space is also limited. In this paper, we designed and implemented metaverse using an IR sensor tracking system to freely track the spatial virtual reality metaverse, and we experimented contents in metaverse by placing IR sensors additionally on the floor and ceiling if needed in order to flexibly configure the metaverse space. As a result of the experiment, the tracking stability of the IR-tracking system was approximately 12% higher than the VIVE method. Additionally, adding more tracking sensors on the floor increases tracking stability and allows for a stable representation of virtual space.

• Journal of the Semiconductor & Display Technology
• /
• v.18 no.4
• /
• pp.116-119
• /
• 2019

User interface/experience and realistic game manipulation play an important role in virtual reality first-person-shooting game. This paper presents an intuitive hands-free interface of gaming interaction scheme for FPS based on user's gesture recognition and VR controller. We focus on conventional interface of VR FPS interaction, and design the player interaction wearing head mounted display with two motion controllers; leap motion to handle low-level physics interaction and VIVE tracker to control movement of the player joints in the VR world. The FPS prototype system shows that the design interface helps to enjoy playing immersive FPS and gives players a new gaming experience.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.19-22
• /
• 2021

본 논문은 군과 경찰 등에서 수행하는 시뮬레이션 사격 훈련 중 스크린 사격과 VR 사격이 혼합된 복합 훈련 환경에서 사용할 수 있는 일체형 시뮬레이션 사격 서비스에 대해 연구하였다. 이 서비스는 스크린과 HMD에 투사되는 목표물에 대해 사격 훈련이 가능하도록 설계한 서비스로 하나의 가상공간에서 사용할 경우 스크린을 이용한 개인 사격 훈련과 VR을 이용한 팀 사격 훈련이 동시에 가능하다. 일체형 시뮬레이션 총기의 총구에 비가시 적외선 레이저 모듈을 장착하여 스크린 사격이 가능하도록 하고, 총열 상단에 HTC Vive Tracker를 장착하여 VR 사격에서 훈련자의 자세 및 위치를 인식하게 한다. 총열 하단에는 사용자의 행동을 제어하는 손잡이 형태의 인터페이스 모듈을 장착한다. 비가시 적외선 레이저 모듈과 인터페이스 모듈에서 발생한 신호는 일체형 시뮬레이션 총기의 총열에 장착한 무선 통신 모듈에 의해 블루투스 방식으로 통합 제어 장치로 전달되어 처리함으로써 혼합 환경에서 사용이 가능하다. 스크린 사격과 VR 사격이 동시에 가능한 혼합 환경에서 시험한 결과 운용이 가능한 것을 확인하였다. 일체형 시뮬레이션 사격 서비스는 기존 사람 중심의 훈련 서비스에서 자동차 또는 함정 등과 같은 조종 훈련 플랫폼과 연동하여 운용할 수 있는 기술 발전이 필요하다.