Design of MMT-based Broadcasting System for UHD Video Streaming over Heterogeneous Networks

이 기종 망에서의 UHD 비디오 전송을 위한 MMT 기반 방송 시스템 설계

Abstract

Even if the demands for ultra-high-quality multimedia contents are increasing, it is difficult to produce, encode, play and transport ultra-high-quality contents under the existing broadcasting environment. By the reason, various technologies for the UHD contents have been developed in order to satisfy the user's needs. In this paper, we propose a design methodology of a broadcasting system, which consists of two parts, for UHD services with two parts. At the transmit part of the proposed system can encode a video into several layered-bitstreams hierarchically, and then transport each bitstream over heterogeneous networks. The receiver part can play the received video by composing the separated bitstreams. The proposed system can adaptively provide both HD and UHD contents according to user's reception conditions by using the heterogeneous networks.

초고품질 멀티미디어에 대한 사용자 요구가 증가하고 있지만, 현재 방송 환경으로는 고해상도 대용량의 UHD 콘텐츠를 저작, 인코딩, 재생 및 전송하기 어렵다. 따라서 사용자 요구를 만족하기 위한 UHD급 영상을 지원하는 디스플레이, UHD 서비스를 수신하는 단말기 그리고 대용량의 데이터를 수용할 수 있는 네트워크 등 다양한 분야의 기술들이 빠르게 발전하고 있다. 이에 본 논문에서는 UHD 미디어 전송을 위해 스케일러블 비디오 코딩을 이용하여 영상을 부호화하고 이를 각 계층별로 다른 네트워크를 통해 전송하는 송신시스템과 분리되어 수신된 비디오 스트림을 하나의 영상으로 재생하는 수신 시스템을 설계한다. 제안 시스템은 이 기종 망을 이용함으로써 사용자의 수신 환경에 적응적으로 HD와 UHD 콘텐츠를 모두 지원할 수 있다.

Ⅰ. 서 론

2012년 말 디지털 방송 전환이 완료되면서 사용자들은 HD(High Definition)급 이상의 고품질 콘텐츠에 익숙해지고 더 나아가 초고품질 방송 서비스를 요구하게 되었다. 이에 따라, 국내외 가전업계에서는 초고화질(3840*2160)인 UHD(Ultra High Definition) 영상을 최적화하여 출력할 수 있는 50인치 이상의 대형 TV를 경쟁적으로 출시하고 있다[1]. 하지만 UHD급 콘텐츠를 방송하기 위해서 개선되어야 할 기술들이 여전히 있으며[2], 그 중 압축 기술은 현재 방송 콘텐츠에 비해 적어도 4배 이상의 크기를 가지는 UHD급 고해상도 영상을 서비스하기 위해 반드시 필요한 기술 중에 하나이다. 예를 들어 32bit 컬러를 적용하고 초당 30프레임을 제공하는 2시간짜리 UHD급 영상인 경우 그 크기는 산술적으로 5.4TB나 되기 때문에 이를 압축하지 않으면 현재 방송망을 통해 전송하는 것은 사실상 불가능하다[3]. 이런 문제를 해결하기 위해 최근 가장 주목받고 있는 압축기술은 사용자들의 단말기 성능, 네트워크 상황 그리고 단말기의 해상도 등에 대응할 수 있는 스케일러블 비디오 코딩(Scalable Video Coding:이하 SVC)이다. 이는 영상을 시간적(temporal), 공간적(spatial) 그리고 화질적(quality)으로 연관성을 갖도록 계층화하여 단일 비트 스트림으로 압축하는 방식으로 세 가지 확장성을 갖는다. 이렇게 하나의 영상을 기본 계층(base layer)과 그 외 추가적인 계층(enhancement layer)로 압축하기 때문에, 계층적(hierarchical) 비디오 코딩이라고도 한다. 시간적 확장성을 이용하면 각 단말기 장치의 환경 또는 네트워크 상태에 적응적으로 fps(frame per second)를 조정할 수 있으며, 공간적 확장성은 각 단말기에 맞춰 해상도를 조정할 수 있다. 또한 화질적 확장성은 화질을 조정하여 서비스하는 것이 가능하다. 계층적 비디오 코딩 기술은 대용량의 UHD 영상을 계층화하고 각 계층별로 분리 및 결합이 가능하다.

UHD TV 서비스를 위해서는 새로운 압축 기술뿐만 아니라 미디어 획득, 콘텐츠 제작, 전송방식, 단말 기술 등 여러 기술들이 요구된다[4]. 이를 위해 UHD TV를 위한 기술개발과 표준화 작업은 우리나라를 포함하여 일본, 미국, 유럽 등 세계 여러 나라에서 완료되었거나, 진행 중에 있다. 특히, MPEG에서는 2014년 6월, 서로 다른 특성을 가진 네트워크 환경에서 고해상도 멀티미디어를 전송하는 기술인 MMT(MPEG Media Transport: ISO/IEC 23008-1)를 완성하였다. MMT는 다양한 전송 채널을 통해 콘텐츠를 전달하고 이를 위한 전송 프로토콜, 미디어 데이터 포맷, 시그널링 기능을 정의하고 있어 UHD 방송에 적용 가능하다.

본 논문에서는 UHD급 콘텐츠 전송을 위해 스케일러블 비디오 코딩 기술을 이용하여 영상을 계층적으로 부호화하고, 이를 각 계층별로 분리하여 이 기종 망을 통해 각각 전송할 수 있는 방송송신 및 수신시스템을 제안한다. 제안시스템은 UHD 영상을 공간적 확장성을 가진 SVC로 압축하여 각 계층별로비트스트림 단위로 분할하고, 이를 서로 다른 특징을 가진 망을 통해 전송함으로써 사용자의 수신환경에 따라 HD와 UHD급 영상을 적응적으로 제공할 수 있도록 한다.

본 논문의 구성은 다음과 같다. 2장에서는 제안 시스템을 위해 필요한 기술인 MMT와 SVC를 자세히 기술하고, 3장에서는 MMT 기반의 방송 시스템을 제안한다. 3장에서는 제안시스템이 제공하는 서비스 시나리오를 기술하고, 제안시스템의 서비스 생성기와 수신기를 설계한다. 또한 제안 시스템을 통해현재 방송환경에서 제공하기 어려운 고용량 UHD 서비스의 가능성과 MMT 기술을 적용함으로써 얻을 수 있는 이득을 평가한다. 마지막 4장에서 결론으로 논문을 마무리 한다.

 

Ⅱ. 관련 기술

1. MMT 기술

MPEG은 최근 IP 네트워크나 디지털 방송 환경 등 혼재된 네트워크 환경 하에서 멀티미디어 서비스를 안정적으로 제공할 수 있도록 하는 MMT 기술을 표준화하였다. MMT는 새로운 인터넷 전송 환경에서 멀티미디어 전송을 효율적으로 지원하는 것을 목적으로 하며, 부호화된 미디어를 전송하기 위해 필요한 기술을 정의한다. 그림 1은 MMT의 캡슐화(Encapsulation), 전송(Delivery) 시그널링(Signaling)의 세 가지 기능영역 계층 관계를 나타낸다[5].

그림 1.MMT 기능 계층 모델 Fig. 1. Functional layer model of MMT

첫 번째, 캡슐화 기능 영역은 부호화된 미디어 콘텐츠의 논리적인 구조와 ISO-BMFF(ISO Based Media File Format)를 이용하여 서비스를 독립적으로 소비 가능한 단위인, MPU(Media Processing Unit)를 정의한다[6]. 전송 시에 MPU 크기가 과도하게 클 경우 두 개 이상의 MFU (Media Fragment Unit) 단위로 분할할 수 있다. 두 번째, 전송 기능 영역은 응용 계층 전송 프로토콜과 페이로드 포맷을 정의한다. MMTP(MMT Protocol)는 IP 기반 네트워크 환경에서 미디어 타입과 코덱에 관계없이 미디어 스트리밍을 지원하는 전송 프로토콜이며 프로토콜 레벨에서 다중화를 지원할 수 있다. 마지막으로 시그널링 기능 영역은 미디어 데이터의 전달과 소비에 필요한 메시지 포맷을 정의한다.

그림 2와 같이 MMT는 다양한 형태의 데이터 전송에 적합하도록 멀티미디어 콘텐츠를 구성하기 위하여 에셋(Asset)과 패키지(Package), 두 가지 논리적 데이터 구조를 정의 하고 있다[7,8]. MMT 에셋은 부호화된 미디어 전송을 위해 같은 에셋 ID를 가지는 MPU의 논리적인 그룹이다. 에셋은 콘텐츠를 구성하는 요소이며 오디오, 비디오, 이미지, 텍스트 중에 하나일 수 있다. MMT 패키지는 하나 이상의 에셋과 프리젠테이션 정보를 가지는 논리적인데이터구조로 프리젠테이션 정보는 콘텐츠 소비를 위한 에셋 사이의 공간과 시간적 관계를 상세화한 문서이며, 에셋들 간의 공간 정보는 HTML5 문서로, 시간 정보는 XML 문서로 표현된다. MMT는 이 기종망을 기반으로 데이터 전송하기 때문에 같은 패키지에 속한 에셋이라도 서로 다른 전송 특성을 가질 수 있다.

그림 2.패키지 개요 Fig. 2. Overview of package

2. SVC

스케일러블 비디오 코딩은 콘텐츠를 이용하는 사용자들의 단말기 성능이나 네트워크 환경 그리고 단말기의 해상도 등에 실시간으로 대응할 수 있는 영상 압축 방법이다. 이 기술은 영상을 시간적(temporal), 공간적(spatial) 그리고 화질적(quality) 측면으로 확장성을 제공하기 때문에, 하나의 비트 스트림으로 부터 사용자의 다양한 수신 환경을 고려한 일부 비트 스트림만 추출하여 해당 환경에 효과적으로 대응할 수 있다[9]. 그림 3은 두 개의 공간적 확장성(CIF와 TV 해상도)과 세 개의 시간적 확장성(15, 30, 60fps)을 가지고 인코딩 된 영상의 예이다. Base 계층만 획득하였을 경우, CIF(352*288) 해상도와 15fps급의 영상을 서비스 받을 수 있으며, TV(1280*720) 해상도와 60fps 급의 영상은 base 계층과 두 개의 enhancement 계층들을 모두 획득하여야만 한다. 상위 계층들이 디코딩되기 위해서 반드시 하위계층이 먼저 획득 및 디코딩 되어야 한다. 이러한 SVC 기술을 적용하면 대용량의 UHD 영상을 계층적으로 분리하여 다양한 네트워크를 통해 전송하면 사용자의 수신 환경에 적합한 다양한 서비스가 가능하다.

그림 3.SVC 예 Fig. 3. The example of SVC

 

Ⅲ. UHD 비디오 전송을 위한 MMT 기반 방송 시스템

1. 서비스 시나리오

본 논문에서 제안하는 방송 시스템은 다양한 환경에서 단말기가 서비스를 수신할 수 있도록 방송 망과 패킷 교환 네트워크(이하 네트워크) 망을 통해 콘텐츠를 전송할 수 있으며, 각 네트워크는 서로 다른 콘텐츠를 전달할 수도 있고, 하나의 콘텐츠를 분할하여 전달할 수도 있다.

그림 4는 제안하는 방송 시스템의 구성도로 비디오, 오디오, 데이터 등을 공급하는 콘텐츠 제공자와 이를 수신 받아 전송채널의 특성에 맞게 캡슐화하고 MMT 패킷을 구성하는 MMT 서비스 생성기, 방송망 및 인터넷 등의 물리채널과 이를 수신 받아 재생할 수 있는 MMT 단말기로 구성된다. 콘텐츠 제공자와 MMT 서비스 생성기는 하나의 방송국일 수도 있으며, 물리적으로 분리된 위치에 존재하여 각 역할을 수행할 수도 있다. MMT 서비스 생성기는 하나의 UHD 영상을 공간적 확장성을 가지도록 base와 enhancement 계층으로 분리하여 부호화한 뒤, 각각 방송망과 MMT 서버로 전송한다. MMT 단말기는 방송망을 통해 base 계층을 수신하여 HD 영상을 디스플레이 할 수 있으며, 부가적으로 네트워크 망을 통해 enhancement 계층을 수신하여 UHD 영상을 사용자에게 제공할 수 있다. 단말기는 모든 상황에서 enhancement 데이터를 수신할 수 있는 것이 아니라, UHD 디스플레이가 가능하고 네트워크 망을 사용할 수 있는 경우에만 enhancement 계층을 수신한다.

그림 4.제안 방송 시스템 구성도 Fig. 4. The structure of the proposed broadcasting system

2. MMT 서비스 생성기

제안된 방송 서비스는 그림 1에서 설명한 MMT의 계층 구조를 토대로 구성되며, 그림 5는 송출 시스템의 MMTP 패킷 생성을 위한 논리 구조를 나타낸다. 콘텐츠 제공자로부터 제공받은 비디오, 오디오, 데이터 등은 데이터 타입에 따라 별도의 압축기술이 적용될 수 있다. 이때, 비디오는 하나의 입력 영상을 계층적으로 분리하여 압축할 수 있는 부호화기를 사용하며, 이는 Extractor를 통해 base 계층과 enhancement 계층 비디오로 분리되어 MMT Encapsulator로 전달된다. MMT Encapsulator는 비디오 및 오디오, 이미지 등의 데이터에 대하여 동기화 정보를 생성하고 ISO-BMFF로 미디어 데이터를 구조화한다. 이렇게 구조화 된 데이터는 MPU로 구성되어 MMTP 패킷화 과정을 통해 전송된다.

그림 5.MMT 서비스 생성기 논리 구조도 Fig. 5. The structure of MMT service generator

패키지는 방송 서비스의 화면 구성을 위한 논리 단위로 초기 구성 정보를 가진 HTML5 문서와 시간 변화에 따른 에셋들의 구성정보(Composition Information:CI)를 포함한다. HTML5 문서는 Encapsulator로 전달되고, CI는 시그널링 메시지에 담겨 MMTP 패킷화 된다.

MMTP packet generator는 페이로드의 종류에 따라 각자의 페이로드 헤더를 생성하고 MMTP 패킷 헤더의 필드 값을 설정한다. 이 때, FEC generator는 시그널링과 우선 순위가 적용된 MPU 패킷과 같이 중요하다고 판단되는 패킷의 오류 제어를 위해 정보 보호 레벨에 따라 FEC 패킷을 추가적으로 생성하고, MMTP packet generator는 원본 MMTP 패킷과 FEC 패킷을 함께 하나의 MMTP 스트림으로 출력하고, 이를 최종적으로 IP 스트림으로 전환한 후 방송 송출을 위해 MMT 서버 혹은 채널서버로 전송한다.

3. MMT 서비스 수신기

방송 서비스의 주요 요구 사항은 끊임없는 서비스를 제공하는 것이다. 특히, 비디오는 방송 서비스 중 전송 환경의 변화에 가장 민감하게 반응하며, 사용자 또한 다른 요소 보다 비디오의 변화에 민감하여 비디오 품질에 따라 서비스 전체의 품질이 좌우된다. 따라서 수신기는 전송 매체의 상태를 정확히 감지하고 수신 환경에 적절한 데이터를 선택하여 디스플레이 해야 한다.

그림 6은 제안된 방송 수신기의 구조로써 계층화된 비디오를 처리하는 모듈을 중심으로 설계되었다. MMT 서비스 수신기는 가장 먼저 방송망을 통해 서비스 시그널링 정보를 수신하여 파싱한 뒤, service composer에 의해 enhancement 계층이 저장되어 있는 주소 리스트를 획득한다. 수신기는 획득한 네트워크 주소에 접속하기 전에 service manager에서 현재 단말기의 상태가 네트워크 수신이 가능한 상태인지 확인하고 수신 가능한 상태라도 enhancement 데이터를 수신하기 위한 충분한 데이터 전송률을 갖는지 확인 한 후, 모든 조건이 만족할 경우에만 네트워크 망을 통해 enhancement 데이터를 요청한다. 위의 조건이 만족되지 못하는 경우, 수신기는 UHD급 영상의 디스플레이를 포기하고 base 계층의 비디오만으로 HD급 영상을 서비스 한다. 만약 수신기가 조건을 만족하지 못하여 enhancement 계층 비디오를 수신 받지 못하는데 이를 요청하는 상태가 계속 된다면, 사용자는 어떠한 영상 서비스도 제공받지 못하고 계속 대기 할 수 있다. 이는 방송 서비스의 품질을 저하시키는 요인이기 될 수 있기 때문에 service manager의 역할은 제안 시스템에서 안정적으로 UHD 서비스를 할 수 있도록 하는 중요한 기능이 된다.

그림 6.MMT 서비스 수신기 논리 구조도 FIg. 6. The structure of MMT service receiver

어떤 특정 시점에 한 영상에 대해 base와 enhancement 계층 데이터가 모두 수신되면, video composer는 이 기종 망을 통해 수신 받은 두 스트림을 하나의 완전한 UHD급 영상 스트림으로 만들어 디코더로 입력하고, 디코딩된 영상은 사용자에게 서비스 된다.

그림 7은 MMT 서비스 수신기 모듈들 간의 동작 흐름을 나타내며, 이는 서비스 수신 환경에 따라 다른 흐름을 갖는다. 방송은 사용자가 어떤 시점에 서비스를 시작하는지 알지 못하는 특성 때문에 송출 시스템에서는 서비스에 대한 정보를 담고 있는 시그널링 패킷을 주기적으로 전송하게 된다. 수신기는 전원을 켜고 신호를 인지한 시점에 시그널링 패킷을 획득하지 못하면 다음 주기까지 기다려 하며, 방송 서비스에 대한 시그널링 패킷을 모두 수신하여 시그널링 테이블을 모두 완성한 후에만 서비스를 시작할 수 있다. 수신기는 시그널링 테이블이 온전히 수신되면 현재 서비스가 UHD 영상을 제공하는지 아닌지를 확인한 후에 enhancement 데이터를 요청할 네트워크 주소를 찾는다. 그 다음 수신기가 네트워크 망에 연결되었는지를 확인하고, 연결되었다면 현재 네트워크 상태를 확인한다. UHD 영상의 enhancement 데이터는 고용량이기 때문에 네트워크 상태가 영상이 요구하는 전송률을 맞추지 못하면 영상이 끊기거나 재생되지 심각한 문제가 발생한다. 이런 경우 본 MMT 수신기는 UHD 영상이 서비스된다고 할지라도 방송망을 통해 들어온 base 계층 데이터만 가지고 영상을 재생하여, 서비스의 품질을 유지하는 정책을 사용한다. 이 후, 계속적으로 네트워크의 상태를 점검하여 안정적인 UHD 서비스가 가능하다고 판단될 경우에만 enhancement 데이터를 수신한다.

그림 7.MMT 서비스 수신 흐름도 Fig. 7. The receiving flow for MMT service

그림 8은 방송 서비스가 HD 영상에서 UHD 영상으로 변화하는 시나리오이다. 사용자는 수신기를 시작하고 서비스를 수신한 t1부터 HD 영상을 시청하다가 tx 시간에 시그널링에 의해 UHD 영상이 수신될 것을 감지하고 tx+1에 사용자에게 서비스 수신 여부를 묻는다. 사용자가 tx+2시간에 UHD 영상 수신을 수락하면, 수신기는 네트워크 상태를 확인하고 enhancement 데이터 수신을 위해 UHD 서버에 접속한다. base 계층 데이터는 방송망을 통해 이미 도착했고, enhancement 계층 데이터는 사용자 선택 후에 전송되기 때문에, 사용자가 UHD 서비스를 요청했을지라도 바로 UHD 서비스를 제공받을 수는 없다. 따라서 수신기는 어떤 특정시점의 영상에 대해 base와 enhancement 계층 데이터가 모두 수신된 후에 tN+1부터 UHD 서비스를 제공하고 tx+2~tN+1 동안은 base 데이터로만 표현할 수 있는 영상을 사용자에게 제공한다.

그림 8.시간 변화에 따른 MMT 서비스 수신 절차 Fig. 8. The receiving sequence of MMT service

4. 제안 시스템 평가

본 절에서는 비디오 부호화 기술에 따른 부호화율을 예측하고 디지털 방송방식에 따른 데이터율을 살펴봄으로써 제안 시스템을 통한 UHD 콘텐츠 서비스의 가능성을 확인 한다. 표 1을 통해 4K UHD 비디오를 HEVC 30fps(frame per second)로 부호화 했을 경우 최소 16~20Mbps가 요구되며, 현재 방송 시스템에서 사용 중인 MPEG-2 비디오를 사용할 경우 30fps에서 64~80Mbps가 요구됨을 알 수 있다. 스케일러블 영상 부호화 기술인 SVC와 SHVC는 H.264/AVC, HEVC보다 평균 10%의 오버헤드가 발생하기 때문에 4K UHD 비디오를 전송하고자 하는 경우 SVC의 부호화율은 36~50Mbps, SHVC의 부호화율은 18~31Mbps로 각각 예상된다. 방송 서비스는 이러한 비디오 부호화 기술 외에 전송을 위한 데이터 분할 기술과 오류제어를 위한 FEC 기술 등이 추가되기 때문에 추가적인 데이터 오버헤드가 발생한다. 표 2는 DVB-T와 DVB-T2의 데이터율을 나타낸 것으로 DVB-T 환경에서는 4K UHD를 서비스가 불가능 할 수 있으며, DVB-T2의 경우 64-QAM의 GI=1/4(16K) 모드부터 SHVC 부호화 기술을 적용하는 경우 4K UHD에 대한 서비스가 가능할 것으로 예상된다[10]. 그러나 현재 방송에서 고려하는 변조기술은 16QAM과 64QAM으로 UHD 서비스를 안정적으로 서비스하는 것은 불가능 할 수 있지만, 공간적 확장성을 적용하여 부호화한 한 영상을 계층별로 분할하여 이 기종 망을 통해 전송하도록 설계한 제안 방송 시스템에서는 UHD 서비스를 안정적으로 서비스할 수 있을 것으로 예상된다.

표 1.비디오 부호화 기술 부호화율 예측 Table 1. Prediction of video coding rate

표 2.DVB-T와 DVB-T2의 데이터율 Table 2. DVB-T and DVB-T2 data rate

표 3은 기존 방송 시스템에서 사용하는 TS(Transport Stream) 전송 기술과 제안 시스템에서 적용한 전송 기술인 MMT를 비교한 것으로 MMT를 방송 서비스에 이용할 경우 몇 가지 장점을 가진다. 방송 망 외에 인터넷 등에서 동일한 서비스를 제공하기 위해 멀티미디어 콘텐츠는 전송되는 네트워크의 특성에 맞게 다시 인코딩 되어야 하는데 MMT를 적용하면 IP를 기반으로 하는 어떠한 네트워크에서든지 콘텐츠를 다시 사용 할 수 있다. 뿐만 아니라 MMT는 CI를 통해 디바이스의 특성에 관계없이 동일한 인터페이스를 제공하지만, 기존 TS는 인터페이스 정보를 제공하지 않기 때문에 수신기에 따라 모두 다른 인터페이스를 가진다. 또한 양방향 서비스를 제공하기 위하여 TS의 경우 별도의 리턴채널과 이를 연동할 수 있는 미들웨어 기능이 요구되었지만, MMT는 HTML5를 통해 미들웨어의 추가적인 기능이 없이 즉시 처리 할 수 있다. 따라서 MMT가 방송전송 기술로 보다 적합한 기술이라고 할 수 있다.

표 3.TS와 MMT 특성 비교 Table 3. Characteristic comparison between TS and MMT

 

Ⅳ. 결 론

본 논문에서는 MMT를 기반으로 UHD 미디어를 전송하기 위한 방송 시스템을 설계하였다. 기존 방송 환경에서는 고성능의 압축 기술을 사용하더라도 UHD 서비스가 어려웠지만, 제안 시스템은 MMT를 기반으로 계층적으로 인코딩된 영상 스트림을 분리하여 각 스트림을 방송망과 네트워크 망을 통해 전송함으로써 대용량 콘텐츠에 의한 통신망의 전송 부하를 분산시킬 수 있다. 또한 MMT를 전송 기법을 적용하여 기존 방송 시스템보다 콘텐츠 제공자의 비용절감과 사용자의 편의성을 향상시켰다. 뿐만 아니라 수신기는 사용자에게 UHD 서비스를 선택할 수 있는 기회를 제공하고, 방송 서비스의 끊김을 방지하기 위해 네트워크 상태를 확인 한 후 추가 미디어 데이터를 수신하도록 설계하였다. 이로써 사용자의 수신 환경에 맞는 안정적인 UHD 방송 서비스가 가능할 것으로 기대된다. 향후, 제안 시스템을 구현하고 무선 네트워크 또는 이동통신망 등 모바일 환경에서도 제안 시스템이 적용될 수 있도록 확장할 계획이다.