• Journal of Broadcast Engineering
• /
• v.24 no.6
• /
• pp.948-955
• /
• 2019

As interests in 360-degree VR (Virtual Reality) video services enormously grow, compression and streaming technologies for VR video data have been rapidly developed. Quality Emphasized Region (QER) based streaming scheme has been developed as a kind of viewport-adaptive 360-degree video streaming technology for maintaining immersive experience and reducing bandwidth waste. For selecting a QER corresponding to the user's gaze coordinate, QER-based streaming scheme requires the calculation of Quality Emphasis Center (QEC) distance and signaling message delivery for requesting QER switching. QEC distance calculations require high computational complexity because of repeated calculations as many times as the number of QERs. Furthermore, the signaling message interval results in a trade-off relationship between efficient bandwidth usage and flexible QER switching. In this paper, we propose an improved QER selection algorithm based on MMT protocol to solve this problem. The proposed algorithm could achieve computational complexity reduction by using preprocessed QER_ID_MAP. Also, flexible QER switching could be achieved, as well as efficient bandwidth utilization by an adaptive adjustment of the signaling interval.

• Journal of Broadcast Engineering
• /
• v.27 no.2
• /
• pp.216-227
• /
• 2022

The MPEG-I (Immersive) group is working on a standardization project for immersive video that provides 6 degrees of freedom (6DoF). The MPEG Immersion Video (MIV) standard technology is intended to provide limited 6DoF based on depth map-based image rendering (DIBR) technique. Many efficient coding methods have been suggested for MIV, but efficient transmission strategies have received little attention in MPEG-I. This paper proposes group-based adaptive rendering method for immersive video streaming. Each group can be transmitted independently using group-based encoding, enabling adaptive transmission depending on the user's viewport. In the rendering process, the proposed method derives weights of group for view synthesis and allocate high quality bitstream according to a given viewport. The proposed method is implemented through the Test Model for Immersive Video (TMIV) test model. The proposed method demonstrates 17.0% Bjontegaard-delta rate (BD-rate) savings on the peak signalto-noise ratio (PSNR) and 14.6% on the Immersive Video PSNR(IV-PSNR) in terms of various end-to-end evaluation metrics in the experiment.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.11a
• /
• pp.230-232
• /
• 2019

최근 360 미디어 콘텐츠의 수요가 높아지면서 360 영상을 효율적으로 전송하기 위한 다양한 압축 및 전송 기법들이 연구되고 있다. 360 영상의 스트리밍 기법 중 하나인 타일 기반 적응적 스트리밍 기법은 360 비디오를 타일 그리드로 나누어 부호화 하고, 뷰포트(Viewport)에 해당하는 타일만 스트리밍 할 수 있도록 한다. 기존의 타일 기반 스트리밍 기법은 뷰포트가 전환될 때 서버에 새로운 인트라 프레임을 요구하고, 지연 시간을 줄이기 위해 빈번한 RAP(Random Access Point)가 요구된다는 단점이 있다. 본 논문은 기존의 타일 기반 스트리밍 방법에서 인트라 프레임의 공유를 통해 비트율의 효율을 높이는 IFS(Intra Frame Sharing) 알고리즘을 제안한다. 제안된 IFS 방법은 낮은 화질의 인트라 프레임을 높은 화질의 인트라 프레임 부호화 시 공유하여, 뷰포트 스위칭 시점에서 다른 화질 간의 뷰포트 전환 작업이 필요 없어 비트율의 증가를 최소화한다. 실험에서, IFS 방법은 기존의 MCTS 기반의 적응적 스트리밍 방식과 비교했을 때 BD-rate(%)가 약 13% 절감되었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.06a
• /
• pp.176-177
• /
• 2019

360 도 VR (Virtual Reality) 영상을 기존의 비디오처럼 재생하고 전송하기 위해서는 아직까지도 논의 되어야할 많은 문제들이 존재한다. 특히 보는 장면에 비하여 전방위의 영상을 보내야하는 VR 영상은 매우 큰 용량을 가질 수 밖에 없다. 그럼에도 불구하고 사용자의 불편함을 덜기 위해서는 HMD (Head-Mounted Displays) 의 빠른 반응 속도가 필요하다. 따라서 QER (Quality Emphasized Region)기반의 전송 기법은 영역별로 차별화된 화질의 영상을 전송하여 실감미디어의 몰입감을 유지하고 대역폭의 낭비를 줄이는 뷰포트 적응적 360 도 비디오 스트리밍 시스템 (Viewport-Adaptive 360-Degree Video Streaming System)의 일종으로 제안되었다. 그러나, 사용자의 시점 정보를 계산하기 위해서는 매 프레임마다 차원 변환을 위한 복잡하고 많은 계산이 필요하고, 이러한 중복된 계산은 시스템의 성능을 저하시키는 요인이 될 수 있다. 본 논문에서는 이러한 차원 변환에 따른 자원낭비를 줄이기 위하여 QER 선택을 위한 개선 방법을 제안한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.839-842
• /
• 2022

실감적인 가상 현실을 위해서는 고화질의 360 도 영상 스트리밍이 필요하다. 그러나 이는 높은 대역폭과 연산량을 요구하기 때문에 일반적인 가상 현실 기기로는 감당하기 힘들다. 이를 보완하기 위한 360 도 영상 부호화 및 전송 기술이 활발히 연구되고 있으며, 대표적으로 사용자 시점 기반 타일 스트리밍 기법 등이 있다. 본 논문은 기존의 CTU 기반 스트리밍과 타일 기반 스트리밍과 함께 복호기 적응적인 단일 계층 타일 바인딩을 활용한 타일기반 스트리밍의 부호화 및 복호화 성능을 비교한다. 수행된 실험결과, 단일 계층 타일 바인딩을 활용한 타일 스트리밍 방법이 기존의 타일 스트리밍 기법에 비해 유사한 비트율 성능에 대비하여 복호화 시간에서 큰 이득을 볼 수 있음을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.11a
• /
• pp.77-80
• /
• 2018

360 VR 콘텐츠는 기존의 선형적인 일반 영상에 비해 사용자에게 더 많은 정보와 높은 몰입감을 제공할 수 있어 의학, 군사, 교육, 게임 등 다양한 분야에서 활용되고 있다. 최근에는 모바일 기기의 성능 향상과 통신기술의 발달에 힘입어 모바일 네트워크를 사용한 360 VR 콘텐츠 소비가 증가하는 추세이다. 모바일 네트워크는 대역폭이 한정적이고 가변적인 특성이 있어 이를 통해 용량이 큰 360 VR 콘텐츠 전송 시 초기 접속 지연 및 재생 끊김이 발생하여 사용자의 만족도를 감소시킬 수 있다. 이에 본 논문은 위에 언급한 문제를 해결하기 위해 360 VR 콘텐츠 전송 시 전체 요구대역폭을 감소시키고 사용자 초기 접속 속도를 향상시키는 것을 목표로, 360 VR 콘텐츠의 지오메트리 값과 사용자의 요(i.e. yaw)값을 활용하여 각도 기반으로 사용자의 현재 시점에 해당하는 타일을 확인하고 해당 타일에 높은 비트율을 할당하는 방법 및 웹 기반 전송에 대해 연구 개발하였다. 이를 위하여 웹 기반 3D 렌더링 API 인 WebVR API, HTTP Adaptive Streaming 기술의 표준 MPEG-DASH의 dash.js API를 활용하여 개발하고, 성능 확인 실험을 통해 요구대역폭 감소, 클라이언트 접속 속도 향상을 제시한다.

• Journal of Broadcast Engineering
• /
• v.24 no.5
• /
• pp.743-754
• /
• 2019

System for three degrees of freedom plus (3DoF+) and 6DoF requires multi-view high resolution 360 video transmission to provide user viewport adaptive 360 video streaming. In this paper, we implement 3DoF+ 360 video compression system which removes the redundancy between multi-view videos and merges the residual into one video to provide high quality 360 video corresponding to an user's head movement efficiently. Implementations about 3D warping based redundancy removal method between 3DoF+ 360 videos and residual extraction and merger are explained in this paper. With the proposed system, 20.14% of BD-rate reduction in maximum is shown compared to traditional high-efficiency video coding (HEVC) based system.