An Optimal Adaptation Framework for Transmission of Multiple Visual Objects

With the growth of the Internet, multimedia streaming becomes an important means to deliver video contents over the Internet and the amount of the streaming multimedia contents is also getting increased. However, it becomes difficult to guarantee the quality of service in real-time over the IP network environment with instantaneously varying bandwidth. In this paper, we propose an optimal adaptation framework for streaming contents over the Internet in the sense that the perceptual quality of the multi-angie content with multiple visual objects is maximized given the constraints such as available bandwidth and transcoding cost. In the multi-angle video service framework, the user can select his/her preferred alternate views among the given multiple video streams captured at different view angles for a same event. This enhanced experience often entails streaming problems in real-time over the network, such as instantaneous bandwidth changes in the Internet. In order to cope with this problem, we assume that multi-angle video contents are encoded at different bitrates and the appropriate video streams are then selected or transcoded for delivery to meet such bandwidth constraints. For the user selective consumption of the various bitstreams in the multi-angle video service, the bitstream in each angle can be encoded in various bitrate, and the user can select a sub-bitrstream in the given bitrstreams or transcode the corresponding content in order to deliver the optimally adapted video contents to the instantaneously changing network condition. Therefore, we define the transcoding cost which means the time taken for transcoding the video stream and formulate a unified optimization framework which maximizes the perceptual quality of the multiple video objects in the given constraints such as the transcoding cost and the network bandwidth. Finally, we present plenty of the experimental results to show the effectiveness of the proposed method.

다중 시각 객체 전송을 위한 최적화 적응 프래임워크

인터넷의 발달과 함께 멀티미디어 스트리밍은 비디오 콘텐츠를 전달하는데 중요한 수단이 되었으며 스트리밍 되는 데이타의 양도 점점 증가하고 있다. 하지만 스트리밍의 양이 증가함에 따라 가변적 네트워크 대역폭을 갖는 IP 네트워크 환경 상에서 실시간 QoS를 보장하기 어려워진다. 본 논문에서는 한정된 가용 대역폭과 트랜스코딩 코스트를 고려하면서 동시에 다중 앵글 콘텐츠의 인지적 화질을 최대화하는 최적화 적응 프레임워크를 제안한다. 제안된 다중 앵글 서비스 프래임워크에서 사용자는 같은 이벤트에 대해 다른 뷰 앵글로 캡쳐된 다중 비디오 스트림들 중에 사용자가 원하는 뷰를 선택할 수 있다. 이러한 향상된 서비스는 시간에 따른 네트워크 대역폭 변화와 같은 네트워크의 스트리밍 문제를 수반한다. 이를 위해 본 논문에서는 제안된 비디오 적응 프래임워크에서 다중 앵글 비디오 콘텐츠는 주어진 대역폭에 맞게 전달하기 위해 다른 비트율로 인코딩되며 적절한 비디오 스트림이 선택되거나 트랜스코딩 될 수 있다고 가정한다. 각 사용자의 선호도에 따른 다양한 위치에서 캡쳐된 콘텐츠의 선택적 소비를 위해, 각 앵글에 제공되는 비트스트림은 다양한 비트율로 인코딩될 수 있고, 제약된 대역폭 환경에서 실시간으로 변하는 비트율에 최적화된 콘텐츠를 전송하기 위해 콘텐츠를 트랜스 코딩되거나 서브 비트스트림이 선택되도록 한다. 이러한 가정을 기반으로 제안된 최적화 적응 프래임워크에서 트랜스 코딩하는데 걸리는 시간을 트랜스코딩 코스트로 정의하고 주어진 트랜스코딩 코스트와 제한된 네트워크 대역폭을 만족하며 동시에 인지적 화질을 최대화하는 방법을 수식화 한다. 또한 제안된 방법의 효율성을 증명하기 위한 다양한 실험 결과를 보인다.