• ETRI Journal
• /
• 제44권1호
• /
• pp.62-72
• /
• 2022

In this study, we propose a multi-GPU-based 8KVR stitching system that operates in real time on both local and cloud machine environments. The proposed system first obtains multiple 4 K video inputs, decodes them, and generates a stitched 8KVR video stream in real time. The generated 8KVR video stream can be downloaded and rendered omnidirectionally in player apps on smartphones, tablets, and head-mounted displays. To speed up processing, we adopt group-of-pictures-based distributed decoding/encoding and buffering with the NV12 format, along with multi-GPU-based parallel processing. Furthermore, we develop several algorithms such as equirectangular projection-based color correction, real-time CG overlay, and object motion-based seam estimation and correction, to improve the stitching quality. From experiments in both local and cloud machine environments, we confirm the feasibility of the proposed 8KVR stitching system with stitching speed of up to 83.7 fps for six-channel and 62.7 fps for eight-channel inputs. In addition, in an 8KVR live streaming test on the 5G MEC/cloud, the proposed system achieves stable performances with 8 K@30 fps in both indoor and outdoor environments, even during motion.

• 방송공학회논문지
• /
• 제25권2호
• /
• pp.265-274
• /
• 2020

자유 시점 비디오 서비스는 사용자와의 상호작용을 통해 원하는 임의의 각도나 위치, 거리에서 시청할 수 있게 하는 기술이다. 본 논문에서는 사용자가 선택하여 시청할 수 있는 자유 시점 비디오 서비스를 Inward view, Outward view, 3D object view, First person view의 네 가지 시청 모드로 정의하였으며 하나의 플레이어에서 시청이 가능한 새로운 통합 프로그램을 개발 및 구현하였다. 아이돌 공연과 농구 경기 콘텐츠에 대해 각 시청 모드에 적합한 다시점 카메라를 설치하여 데이터를 확보하였으며, 서버에 저장된 데이터가 네트워크를 통해 스트리밍 됨으로써 시청이 가능하도록 하였다. 사용자는 자유롭게 네 가지의 시청 모드와 공간상의 위치, 각도 등을 선택할 수 있으며, 선택된 시점에 맞는 영상과 음향이 렌더링 되어 통합 플레이어에 표출된다. 이는 기존의 자유 시점 비디오 서비스를 포함한 다양한 시청 형태를 결합함으로써 사용자에게 몰입감과 현장감을 제공할 수 있을 뿐만 아니라 확장성이 있는 자유 시점 비디오 서비스 플레이어가 될 것으로 기대된다.