Efficient Transmission Scheme with Viewport Prediction of 360VR Content using Sound Location Information

360VR content requires short latency, such as immediate response to viewers' viewport changes and high quality video delivery. It is necessary to consider efficient transmission that guarantees the QoE(Quality of Experience) of the 360VR contents with limited bandwidth. Several research has been introduced to reduce overall bandwidth consumption by predicting a user's viewport and allocating different bit rates to the area corresponding to the viewport. In this paper, we propose novel viewport prediction scheme that uses sound source location information of 360VR contents as auditory recognition information along with visual recognition information. Also, we propose efficient transmission algorithm by allocating a bit rate properly based on improved viewport prediction. The proposed scheme improves the accuracy of the viewport prediction and provides high quality videos to tiles corresponding to the user's viewpoint within the limited bandwidth.

360VR 콘텐츠의 음원위치정보를 활용한 시점예측 전송기법

360VR 콘텐츠는 시청자의 시점변화에 따른 즉각적인 반응이 필요하고 고화질의 영상이 제공되어야 한다. 따라서 한정된 대역폭에서 360VR 시청자의 만족도를 보장하는 효율적인 전송기술이 필요하다. 그 일환으로 사용자의 시점을 예측하고 시점에 해당하는 영역과 해당하지 않는 영역에 다른 비트율을 할당하여 전체 대역폭 소모를 감소시키는 연구들이 소개되고 있다. 본 논문에서는 시점 예측의 정확도 향상을 목표로 기존 시각인지 정보만 활용했던 방식에 추가적으로 청각인지 정보인 360VR 콘텐츠의 음원위치정보를 활용한 시점 예측을 제안한다. 또한, 향상된 시점예측 방식을 이용하여 비트율을 효율적으로 할당함으로써 개선된 성능을 제공하는 전송 방식을 제안한다. 성능 분석 결과 제안한 시점 예측방식은 기존 방식 대비 시점 예측의 정확도가 향상되었으며, 이를 바탕으로 제안한 전송 방식은 제한된 대역폭 내에서 사용자의 시점에 해당하는 타일에 고품질의 영상을 제공할 수 있음을 확인하였다.