• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2017.11a
• /
• pp.3-5
• /
• 2017

가상 현실 시장은 꾸준한 성장을 하고 있다. 가상 현실 시장이 성장함에 따라 게임 엔진을 이용한 가상 현실콘텐츠 뿐만 아니라 실제 특수 디바이스를 이용하여 촬영한 $360^{\circ}$ 비디오 콘텐츠 시장도 성장하고 있다. 하지만 실제로 촬영한 $360^{\circ}$ 비디오같은 경우 4D 가상 현실 콘텐츠를 즐기기 위해서는 먼저 특수 장치와 $360^{\circ}$ 비디오 간의 이벤트를 정의해야 하는 성가심이 있다. 이러한 불편함을 극복하기 위해 물리적 감각 효과를 일으키는 객체를 인식하고 서술하는 기법을 제시한다. $360^{\circ}$비디오 내의 감각 효과를 일으키는 객체를 인식하고 좌표계 내에 위치를 설정하여 사용자와의 거리가 임계값 이하면 효과를 일으키게 하여 사전에 콘텐츠를 확인하고 감각 효과를 미리 설정하는 번거로움을 없앨 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1241-1244
• /
• 2022

최근 K-Pop 을 위시한 예술공연 콘텐츠에 몰입형 미디어를 접목한 온택트 (Ontact) 미디어 스트리밍 서비스가 주목받고 있는 가운데, 본 논문은 일반적으로 사용되는 2D 디스플레이 또는 HMD (Head-Mounted Display) 기반 VR (Virtual Reality, VR) 서비스에서 탈피하여, 대형 가상현실 공연장을 위한 360 도 VR 비디오 스트리밍 시스템을 제안한다. 제안된 시스템은 Phase 1, 2, 3 의 연구개발 단계를 밟아 6DoF (Degrees of Freedom) 시점 자유도를 지원하는 360 도 VR 비디오 스트리밍 시스템을 개발하는 것을 최종목표로 하고 있으며, 현재는 Phase 1: 대형 가상현실 공연장을 위한 3DoF 360 도 VR 비디오 스트리밍 시스템 프로토타입의 개발까지 완료되었다. 구현된 스트리밍 시스템 프로토타입은 서브픽처 기반 Viewport-dependent 스트리밍 기술이 적용되어 있으며, 기존 방식과 비교하였을 때 약 80%의 비트율 감소, 약 543%의 영상 디코딩 속도 향상을 확인하였다. 또한, 단순 구현 및 성능평가에서 그치지 않고, 실제 미국 UCSB 에 위치한 대형 가상현실 공연장 AlloSphere 에서의 시범방송을 수행하여, 향후 Phase 2, 3 연구단계를 위한 연구적 기반을 마련하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.06a
• /
• pp.1-4
• /
• 2018

최근 360 도 가상현실을 지원하기 위한 비디오 시스템은 다양한 프로젝션에 대한 처리를 필요로 한다. 이를 위해 Moving Picture Experts Group (MPEG) 비디오 표준화 기술은 비디오에 대한 추가적인 정보들로 프로젝션을 처리하는 기술을 표준 채택하였다. 즉, 다양한 프로젝션의 비디오에 대응하는 비디오 메타데이터 처리를 H.265/HEVC(High Efficiency Video Coding)에서 제안된 Supplemental Enhancement Information(SEI) 메세지를 사용하여 지원한다. 본 논문은 비디오의 인코딩, 디코딩 시에 비디오 프로젝션 타입에 따라 다르게 처리하는 시스템의 구현 기술을 소개한다. 이를 위해 본 논문은 SEI 메시지 구문 분석기를 구현 시 HEVC Test Model(HM)을 이용하고, 디코더 구현 시 FFmpeg 라이브러리를 이용한다. 최종적으로 구현된 시스템은, 본 기관의 또 다른 구현 물인 실시간 360 비디오 플레이어에 통합되어 실시간 디코딩 및 다양한 프로젝션의 전/후처리를 문제 없이 지원하였다.

• Journal of Broadcast Engineering
• /
• v.27 no.6
• /
• pp.848-859
• /
• 2022

This paper presents a novel 360-degree video streaming system for large-scale immersive displays and its ongoing implementation. Recent VR systems aim to provide a service for a single viewer on HMD. However, the proposed 360-degree video streaming system enables multiple viewers to explore immersive contents on a large-scale immersive display. The proposed 360-degree video streaming system is being developed in 3 research phases, with the final goal of providing 6DoF. Currently, the phase 1: implementation of the 3DoF 360-degree video streaming system prototype is finished. The implemented prototype employs subpicture-based viewport-dependent streaming technique, and it achieved bit-rate saving of about 80% and decoding speed up of 543% compared to the conventional viewport-independent streaming technique. Additionally, this paper demonstrated the implemented prototype on UCSB AlloSphere, the large-scale instrument for immersive media art exhibition.

• Journal of Korea Game Society
• /
• v.17 no.6
• /
• pp.19-28
• /
• 2017

There exist a variety of VR(Virtual Reality) contents that have been developed by the use of the latest VR technologies. Unlike the rapid advances in the recent VR devices however, the development of VR based game contents that fully utilize such cutting-edge devices has been lackluster. Using more accessible form of smartphone-based HMDs(Head-Mounted Displays), we compare two popular VR presentation methods(a realistic 3D VR karaoke room and a 360 degree video karaoke room) and analyze their users' immersion and realistic perception. We expect that our study can be utilized as a supporting guideline for future smartphone-based VR content developments.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.11a
• /
• pp.170-173
• /
• 2018

최근 360 비디오를 지원하는 가상현실 시스템에 대한 수요가 높아지면서, 사용자의 편의를 위해 다양한 방법이 제안되고 있다. Moving Picture Experts Group (MPEG) 에서는 제한적인 사용자 경험을 제공하는 3DoF 를 넘어 3DoF+, 6DoF 표준을 진행하고 있고, 이에 따른 많은 연구도 활발히 진행되고 있다. 사용자가 앉아있는 상태에서 머리의 움직임에 따라 제한적인 자유도를 제공하는 3DoF+ 시스템은 여러 고해상도의 360 비디오 전송을 요구하여 네트워크 대역폭에 상당한 부담을 준다. 본 논문은 3DoF+ 360 비디오 전송 시 대역폭의 효율적 사용을 위한 비트레이트 절감 방안을 제안한다. 이를 위해, 본 논문은 360 비디오의 프로젝션을 변경하여 해상도를 줄이면서도 정보 손실을 최소화할 수 있는 방법을 제시하고 결과를 설명한다. 프로젝션 변경을 위해 360 라이브러리를 사용하였고, 인코딩과 디코딩 시 효율 측정을 위해 HEVC Test Model (HM)을 사용하였다. 최종적으로 구현된 시스템은 360 비디오를 최적의 프로젝션으로 변환 후 인코딩, 디코딩을 거치고 다시 360 비디오로 변환하는 과정을 지원한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.06a
• /
• pp.92-95
• /
• 2018

가상 현실을 위한 360 영상 비디오 전송기술이 활발히 연구되고 있다. 그러나 현재 가상현실 기기의 컴퓨팅 연산능력과 대역폭은 고화질 360 영상을 재생하기에 한계가 있다. 이 한계를 극복하기 위해 본 논문은 High Efficiency Video Coding (HEVC)와 Scalability Extension of HEVC (SHVC)를 활용하여 타일 기반의 360 도 영상 전송 기법을 제안한다. 제안하는 HEVC 와 SHVC 인코더는 타일을 독립적으로 전송 할 수 있는 비트 스트림을 생성한다. 제안하는 추출기는 사용자 시점에 해당하는 타일의 비트 스트림을 추출한다. 제안하는 기법에 의해 추출된 SHVC 비트스트림의 기본계층은 전체화면을 나타내며, 강화계층은 사용자 시점에 해당하는 타일로 구성된다. 제안하는 HEVC 인코더를 사용할 때에는 저화질과 고화질을 따로 인코딩하여 고화질만 사용자 시점에 해당하는 타일을 추출한다. 전체화면을 고화질로 보내는 대신에 전체화면을 저화질로, 사용자화면을 고화질로 보내기 때문에 제안하는 기법은 디코더의 컴퓨팅 연산과 네트워크 bitrate 를 대폭 줄일 수 있다. 본 제안 기법의 실험 결과는 전체화면 전송 대비 47%이상의 bitrate 를 줄인다.

• Journal of the Korea Convergence Society
• /
• v.10 no.12
• /
• pp.43-52
• /
• 2019

360 Virtual Reality(VR) service is getting attention in the domestic streaming market as 5G era is upcoming. However, existing IPTV-based 360 VR video services use upto 4K 360 VR video which is not enough to satisfy customers. It is generally required that over 8K resolution is necessary to meet users' satisfaction level. The bit rate of 8K resolution video exceeds the bandwidth of single QAM channel(38.817mbps), which means that it is impossible to provide 8K resolution video via the IPTV broadcast network environment. Therefore, we suggest and implement the edge streaming system for low-latency streaming to the display devices in the local network. We conducted experiments and confirmed that 360 VR streaming with a viewport switching delay less than 500ms can be achieved while using less than 100mbps of the network bandwidth.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2017.11a
• /
• pp.8-10
• /
• 2017

지상파 UHD 방송은 시청자에게 기존 HD 방송화면보다 4배 더 선명한 영상 서비스를 제공하며, 광대역 통신망과 결합한 홈포탈(Home Portal) 서비스를 통해서 다양한 부가서비스를 지상파 방송과 함께 제공할 수 있다. 본 논문에서는 지상파 UHD TV 방송과 연계된 360도 가상현실(VR; Virtual Reality) 부가서비스 시스템과 이를 효과적으로 시청하기 위한 사용자환경을 제안한다. 방송의 ESG(Electronic Service Guide)를 통해 시청자는 VR 부가서비스임을 확인하고 스마트 단말기 또는 HMD(Head Mount Display) 등을 이용하여 마치 현장에 있는 듯한 체험을 즐길 수 있다. 제안한 부가서비스는 앱 형태로 스마트 단말기에 설치하여 실행하며 지상파 UHD TV의 ESG 정보로부터 프로그램 편성과 VR 지원여부를 확인한다. 이를 통해, 실시간 방송 뿐 아니라 VOD 형태로 제공되는 다양한 비디오 및 오디오 콘텐츠를 극장에서 보는 것과 같은 빅스크린 모드, 360도 VR 모드, 오디오 청취모드 등 다양한 시청환경에서 감상할 수 있다. 제안한 사용자 환경은 게임엔진을 기반으로 개발되어 가상의 시청 공간에서 장소를 이동하며 영상, 음향 등 미디어 콘텐츠를 감상할 수 있다. 전용컨트롤러를 이용하면 다양한 인터액티브 콘텐츠를 효과적으로 운용하여 감상할 수 있으며, 일반적으로 통용되는 VR 기기 제어 모드도 지원하여 HMD나 일반 스마트 단말기 어느 것을 이용해서도 용이하게 사용자 메뉴를 선택할 수 있다. 제안된 시스템의 시제품은 IBC 2017 및 평창 ICT 체험관을 통해 발표되었다.

• Journal of Advanced Navigation Technology
• /
• v.27 no.3
• /
• pp.306-313
• /
• 2023

Realistic and graphics-based virtual reality content is based on 360-degree videos, and viewport extraction through the viewer's intention or automatic recommendation function is essential. This paper designs a viewport extraction system based on multiple object tracking in 360-degree videos and proposes a parallel computing structure necessary for multiple viewport extraction. The viewport extraction process in 360-degree videos is parallelized by composing pixel-wise threads, through 3D spherical surface coordinate transformation from ERP coordinates and 2D coordinate transformation of 3D spherical surface coordinates within the viewport. The proposed structure evaluated the computation time for up to 30 viewport extraction processes in aerial 360-degree video sequences and confirmed up to 5240 times acceleration compared to the CPU-based computation time proportional to the number of viewports. When using high-speed I/O or memory buffers that can reduce ERP frame I/O time, viewport extraction time can be further accelerated by 7.82 times. The proposed parallelized viewport extraction structure can be applied to simultaneous multi-access services for 360-degree videos or virtual reality contents and video summarization services for individual users.