Realtime Media Streaming Technique Based on Adaptive Weight in Hybrid CDN/P2P Architecture

Abstract

In this paper, optimized media data retrieval and transmission based on the Hybrid CDN/P2P architecture and selective storage through user's prediction of requestability enable seamless data transfer to users and reduction of unnecessary traffic. We also propose a new media management method to minimize the possibility of transmission delay and packet loss so that media can be utilized in real time. To this end, we construct each media into logical segments, continuously compute weights for each segment, and determine whether to store segment data based on the calculated weights. We also designate scattered computing nodes on the network as local groups by distance and ensure that storage space is efficiently shared and utilized within those groups. Experiments conducted to verify the efficiency of the proposed technique have shown that the proposed method yields a relatively good performance evaluation compared to the existing methods, which can enable both initial latency reduction and seamless transmission.

본 논문에서는 Hybrid CDN/P2P 구조를 기반으로 최적화된 미디어 데이터 탐색과 전송을 수행하며 사용자의 요청 가능성 예측을 통한 선별적 저장을 통해 사용자로의 끊김없는 데이터 전송과 불필요한 트래픽의 감소를 가능하게 한다. 또한 전송지연 및 패킷 손실의 가능성을 최소화하여 실시간으로 미디어를 활용할 수 있도록 하는 새로운 미디어 관리 기법을 제안한다. 이를 위해 각 미디어를 논리적인 세그먼트로 나누어 구성하고 각 세그먼트에 대한 가중치를 지속적으로 계산하며 계산된 가중치에 따라 세그먼트 데이터의 저장 여부를 결정하도록 한다. 또한 네트워크상에 산재되어 있는 컴퓨팅 노드들을 거리에 따라 지역적 그룹으로 지정하고 해당 그룹 내에서 저장 공간을 효율적으로 공유하고 활용하도록 한다. 제안하는 기법의 효율성을 검증하기 위해 수행된 실험을 통해 제안하는 방식이 기존의 방법들에 비해 비교적 좋은 성능 평가가 도출되는 것을 확인하였으며 이는 전송과정에서 발생되는 초기 지연시간 감소와 끊김 없는 전송 모두를 가능하게 할 수 있음을 알 수 있다.

I. Introduction

유선 및 무선망을 통해 실시간으로 원하는 미디어를 보다 자유롭게 이용하고자 하는 사용자의 요구가 지속적으로 증가하고 있다. 특히 광대역의 네트워크를 통해 고용량 및 고화질 사용하는 서비스를 넘어 최근에는 초고용량의 데이터를 활용하여 사용자로 하여금 현존감을 극대화는 초고화질 미디어 및 실감형 콘텐츠를 활용하는 시기에 이르렀다. 또한 네트워크를 통한 끊김없는 대용량 영상 및 음성 데이터 제공을 통해 가상현실 및 증강현실 그리고 혼합현실을 구현하였으며 이와 관련된 서비스를 적극적으로 준비하고 시장으로의 출시를 앞두고 있다. 관련 연구를 진행하는 연구 기관 및 서비스를 제공하는 업체의 경우, 이를 구현하기 위해 다양한 기술을 지속적으로 제시해왔으며 관련 연구가 거듭되고 있다. 특히 유무선의 혼합적인 네트워크를 구축하는 방법과 이들 네트워크를 통해 미디어를 최소 지연 시간 내 전송하고 최적의 저장 위치를 선정하는 보다 혁신적인 방식에 대해 관심을 기울여 왔다. 초기 연구에서 분산 네트워크 서비스 망의 형태인 콘텐츠 전송 네트워크(CDN; Content Delivery Network)[1-5]가 제안되어 활용되었다. 해당 네트워크 서비스는 사용자와 근거리에 지역 프록시 서버(local proxy server)를 구축하고 사용자들이 요청 데이터를 관리한다. 특히, 원거리에 위치한 미디어 서버(media server)로부터 요청된 데이터의 일부를 일련의 알고리즘에 따라 지역 서버에 저장하고 추후 해당 데이터가 사용자로부터 요청될 때 즉시 이를 서비스하는 형태로 운영된다. 이를 통해 사용자는 요청한 데이터를 실시간으로 전송받는 것이 가능하고 원거리로부터 전송되는 데이터 간 지연시간을 최소화함으로써 향상된 서비스 품질을 경험할 수 있게 된다. 여기서 지역 서버에 운용되는 효율적인 선별적 데이터 저장 및 관리 기법이 요구된다. 또한 그물망처럼 연결된 다수의 사용자들이 서로 협력하여 서비스를 이용하게 되는 일대일 네트워크 (P2P; Peer to Peer) 방법[6-8]이 제안되고 활용되었다. 일대일 네트워크 방법은 데이터 요청 시 근거리에 위치한 사용자들의 저장 버퍼를 탐색하게 되고 해당 공간에 원하는 데이터가 있을 경우 이를 서비스 받게 되는 구조이다. 이와 같이, 콘텐츠 전송 네트워크와 일대일 네트워크의 지속적인 발전을 통해 데이터 전송 지연과 손실의 위험을 회피하게 되었으며 이에 따라 네트워크상에서의 미디어 품질을 보장하는 서비스가 가능해 지기 시작했다. 최근에 이르러 이들 두 서비스 구조의 장점을 결합한 고효율의 복합형 미디어 전송망인 Hybrid CDN/P2P 아키텍처[9-15]가 연구되어 보다 높은 품질의 실시간 고용량 데이터 전송이 가능하게 되었다. 해당 아키텍처 망은 사용자의 요청을 지역 서버가 수신하고 이를 자신의 저장 공간을 탐색한다. 만일 탐색에 실패할 경우 근거리에 산재된 여러 개별 노드들에게 해당 데이터를 요청하여 사용자에게 전송하는 방법으로 운용되고 이를 통해 원거리의 미디어 서버로부터의 요청 확률을 최소화함으로써 네트워크의 트래픽과 자원의 소모를 효과적으로 감소시키도록 한다. 그러나 최근의 초고용량 데이터의 폭발적인 사용자의 요청에 따라 보다 효율적인 실시간 미디어 서비스 운용 알고리즘이 요구되고 있으며 최적의 서비스 품질(QoS; Quality of Service)을 구현하기 위해 다양한 연구 기관 및 산업체에서 미디어 전송 네트워크 운용 알고리즘의 개발을 위해 다양한 시도를 진행 중이다.

본 논문에서는 최적화된 미디어 데이터 탐색과 전송 그리고 사용자의 요청 가능성 예측을 통한 선별적 저장을 통해 사용자로의 끊김없는 데이터 전송과 불필요한 트래픽의 감소를 가능하게 하는 동시에 전송지연 및 패킷 손실의 가능성을 최소화하여 실시간으로 미디어를 활용할 수 있도록 하는 방법을 제안하도록 한다.

본 논문은 다음과 같이 구성된다. 2장에서는 기존의 콘텐츠 전송 네트워크와 일대일 네트워크 구축 및 운용 연구 방법에 대해 논의하고 3장에서는 Hybrid CDN/P2P 네트워크를 기반으로 제안된 미디어 전송 방법 및 선별적 미디어 저장 방법에 대해 기술한다. 또한 4장에서는 수행된 실험을 통해 제안하는 방법의 효율성을 분석한 후 5장에서 결론을 제시한다.

II. Related Works

국내외의 다양한 연구 기관 및 인터넷 망을 활용하여 미디어 서비스를 제공하고 있는 업체들은 대용량의 미디어를 실시간 서비스가 가능하도록 실시간 처리 방식의 데이터베이스를 미디어 서버에 구축하는 동시에 다수의 사용자의 요청을 수렴하여 서비스하기 위해 광 대역폭 및 고속의 입출력 대역폭(I/O bandwidth)을 활용한다. 또한 전체 서비스 아키텍처를 보다 정교하게 조직화하기 위해 사용자와의 근거리에 지역적인 저장 공간을 구축하는 방식을 적용시킴으로써 미디어 서버에서 발생되는 과도한 로드를 최소화하는 동시에 인터넷 망에서의 전송 지연과 패킷 오류 및 손실 가능성을 최소화하도록 발전되어 왔다. Fig. 1은 전형적인 콘텐츠 전송 네트워크의 서비스 구조로 중앙의 미디어 서버(5번 서버)가 사용자와의 근거리에 위치한 각 지역 프록시 서버(1번 서버)로의 데이터 전송 아키텍처를 보인다[16]. 본 네트워크의 효율적인 운용을 위해서는 특히 고도화된 지역 프록시 서버의 운용 알고리즘이 요구된다. 원거리에 위치한 미디어 서버 및 사용자와의 근거리 지역 공간에 위치한 지역 프록시 서버의 효율적인 상호 협력적 운용이 가능하도록 하는 효율적인 서비스 알고리즘 역시 지속적으로 제시되어야 한다. 사용자의 미디어 요청을 예측하여 선택적으로 데이터를 저장하거나 삭제하며 특히, 사용자가 요청하여 데이터를 전송받기 시작하기 까지 소요되는 초기 지연시간을 최소화하기 위한 프리픽스 캐싱(prefix caching)[17] 및 연속되어 요청될 것으로 판단되는 데이터의 예측 요청을 통해 미디어 서버로부터 미리 데이터를 요청함으로써 지터 시간을 최소화하는 프리 패칭(prefetching) 기법[18]을 주로 활용한다. 이를 통해 사용자가 요청할 것으로 판단되는 데이터만을 선택적으로 저장하고 관리함으로써 지역 프록시 서버가 보유하고 있는 데이터의 충실도를 높여 사용자의 서비스 품질을 최대화하도록 하는데 집중한다. 이와 함께, 지역 서버에 저장하고 있는 데이터의 저장은 사용자의 미디어 선호도의 변화로 인해 지속적인 저장과 삭제가 발생하며 이로 인해 미디어 저장 공간의 단편화(fragmentation) 현상이 지속적으로 발생함으로써 사용자가 요청한 데이터의 탐색 시간과 저장 과정에서 불필요한 오버헤드가 발생할 수 있다. 따라서 이를 최소화하기 위한 최적화된 파일 구조를 제안하여 활용하고 있다.

Fig. 1. Content Delivery Network Architecture

일대일 네트워크는 사용자간의 자율적인 데이터 전송을 가능하게 하도록 구축된 서비스 아키텍처이다. Fig. 2는 중앙의 디렉터리 서버를 활용하여 모든 사용자 단말이 구조를 관리하도록 하는 일대일 네트워크 구조와 중앙의 디렉터리 서버를 구축하지 않은 형태의 일대일 네트워크의 두 가지 아키텍처를 보인다.

Fig. 2. Peer-to-Peer Network Architecture

일대일 네트워크 구조에서 각 단말 노드는 비교적 적은 자신의 스토리지 공간에 미디어 저장을 위한 버퍼를 유지 및 관리하는 별도의 방법을 가진다. 특히 가변적인 버퍼 구간을 적응형으로 조절하여 사용함으로써 저장의 효율성을 높이는 동시에 타 노드와의 버퍼링 데이터의 중복성을 최소화하기 위한 알고리즘을 제안하여 활용한다. 이를 위해 주로 요청되어 중복성이 예측되는 데이터의 경우는 저장 길이를 최소화하거나 우선 저장 후 저장 데이터의 중복성을 최소화하기 위해 인접 노드에 저장 데이터를 브로드 캐스팅(broadcasting)하여 이를 회피하도록 함으로써 연결된 노드가 전체 구성 네트워크에서의 유효 데이터 저장 가능성을 향상시키도록 한다. 또한 각 노드는 타 저장 서버에 비해 비교적 적은 저장 공간을 활용하여 운용되기 때문에 특정 노드의 데이터 저장의 집중, 그리고 이로 인한 과도한 네트워크 자원의 사용 및 데이터 요청 및 타 노드로의 전송 과정에서 발생가능한 입출력의 부하를 분산시켜야 하며 이를 통해 전체 네트워크에서의 효율적인 활용을 가능하도록 해야 한다. 따라서 특정 노드에 집중된 데이터 저장 또는 저장 가능성이 발생할 경우 인접 노드에 해당 데이터의 요청 가능성을 실시간으로 예측하고 확인하여 저장하도록 한다.

본 네트워크 방식에서 각 사용자는 자신의 노드와 연결된 각 노드의 네트워크 온라인 및 오프라인 상태를 실시간으로 확인할 수 있다고 가정한다. 또한 연속된 미디어가 각기 다른 노드에 저장되어 있을 경우 각 노드에 요청하여 이를 전송받고 적절한 순서로 재조합할 수 있도록 한다.

미디어 전송 과정에서 네트워크에서 오프라인으로 탈락한 경우, 해당 데이터를 연속하여 전송 받기위해 대안 경로를 지속적으로 탐색하고 새로운 전송 라우팅을 시행하는 방식이 사용된다.

III. The Proposed Scheme

본 논문에서는 복합형 CDN/P2P 아키텍처를 기반으로하는 협력적 운용 방식을 제안하다. 제안하는 협력적 운용방식은 콘텐츠 전송 네트워크와 일대일 네트워크 운용 방식의 장점을 혼용하여 사용하는 형태이다. Fig. 3은 협력적 운용 방식을 기반으로 서비스하는 복합형 CDN/P2P 아키텍처의 구조를 보인다.

Fig. 3. Cooperative CDN/P2P architecture

미디어 요청 시 사용자는 전체 미디어의 처음 부분을 시작으로 요청을 하는 패턴을 가진다. 만일 미디어의 처음 부분을 프록시에 저장할 경우 초기 지연시간을 줄임으로서 사용자의 전송 품질을 높이는 것이 가능하다. 따라서 본 논문에서는 사용자가 요청에 신속하게 응답하고 데이터를 빠르게 전송하기 위해 미디어 데이터의 앞부분을 우선적으로 프록시 서버에 저장하는 프리픽스 캐싱 방법을 사용한다. Fig. 4와 같이, 하나의 미디어는 앞부분인 프리픽스와 후반부인 서픽스로 구성되며 이들 두 데이터의 분할점(cuf-off point)를 결정하여 최적의 프리픽스의 크기를 정함으로써 전체 서비스의 품질을 향상시키도록 한다. 따라서, 본 논문에서의 임의의 미디어 프리픽스의 길이는 이전의 시간 간격(α_interval)에서 발생된 지연시간들의 평균 값으로 계산되며 시간 간격은 15분으로 이는 사전에 수행 된 실험에 의해 결정되었다. 임의의 미디어를 대상으로 결정된 프리픽스 데이터는 사용자로부터 요청이 발생할 경우 정의된 시간 간격 내에서 프록시 서버에 우선 저장하도록 한다.

Fig. 4. Prefix and suffix of media

아래 식 (1)은 임의의 미디어 i의 프리픽스의 길이를 결정하는 것을 보인다. 여기서, Avg(Σ(λ_i))와 Popularity_i는 각각 임의의 시간 간격동안 사용자의 요청한 미디어를 원격지의 미디어 서버로부터 전달받는데 소요되는 전체 지연 시간의 평균값과 사용자로부터 요청된 전체 횟수를 나타낸다.

\(prefixsize _{i}=\frac{Avg\left(\sum\left(\lambda_{i}\right)\right)}{ Popularity _{i}}\left[\alpha_{\text {intval }}\right]\)       (1)

사용자와 근거리에 위치하여 서비스를 제공하는 지역 프록시 서버는 사용자가 주로 요청할 것으로 기대되는 미디어만을 선별적으로 저장하는 것이 필요하다. 또한 시간이 변함에 따라 사용자의 요청 선호도 역시 변화하는 패턴을 적절히 반영하여 미디어 데이터를 저장해야 한다. 따라서 본 논문에서는 미디어를 논리적인 분할 단위인 세그먼트(segment)로 구분하여 저장 가중치(weight) 값을 계산하여 이를 기반으로 프록시 서버가 가지는 저장 공간에서의 저장 및 삭제 기준으로 활용하도록 한다. Fig. 5는 하나의 미디어를 대상으로 2n개에 해당하는 패킷수로 그룹화하는 미디어 분할 기법을 보인다. 여기서 n은 세그먼트 번호로 한다.

Fig. 5. Media Segmentation Method

정의된 시간 간격에서 지역 프록시 서버로의 저장 및 삭제의 기준으로 활용되는 임의의 미디어 i의 가중치 값은 다음의 식(2)로 한다.

\(W\left(\operatorname{seg}_{n}\right)=\frac{1}{2^{n+\beta}} \times Popularity\left(\operatorname{seg}_{n}\right)\left[\alpha_{\text {intval }}\right]\)       (2)

여기서, Popularity(seg_n)은 세그먼트 n의 총 요청 횟수이며 β는 미 요청 페널티 값으로 임의의 시간 간격동안 요청되지 않은 세그먼트의 경우 해당 값을 증가시킴으로써 다음 시간 간격에서의 가중치 값을 감소시킨다.

위 식 (2)를 활용하여 프록시 서버에는 가중치가 높은 미디어 세그먼트를 우선적으로 저장하게 되고 더 이상 새로운 데이터를 저장할 수 없을 경우 임의의 시간 간격동안 가장 요청이 없거나 가중치가 가장 낮은 미디어 데이터부터 삭제하는 방법을 활용한다. 또한 임의의 시간 간격동안 요청이 없는 경우 다음 시간 간격에서 세그먼트 번호를 증가시킴으로써 해당 세그먼트의 가중치를 낮추고 삭제 우선순위를 높이도록 한다. 여기서 β의 초기 값과 변경 값은 실험을 통해 결정되었다.

본 논문에서는 일대일 네트워크를 활용하여 콘텐츠 전송 네트워크 방식의 효용성을 높이도록 한다. 이를 위해 임의의 시간 간격(α_interval) 내에 프록시 서버와 전송지연 시간(λ_interval) 내에 존재하는 노드들을 그룹화한다. 그룹화 된 노드 간의 저장 공간을 공유하고 이를 활용함으로써 저장의 효율을 높이도록 한다. 만일 프록시 서버에 미디어 데이터 저장을 위한 공간이 부족할 경우, 요청한 노드가 자신의 저장 공간에 해당 데이터를 저장한다. 각 노드는 상대적으로 적은 저장 공간을 가지므로 저장이 요구되는 데이터를 적절히 저장하지 못하는 경우가 발생될 수 있다. 이때 동일 그룹 내의 타 노드의 저장 공간을 탐색하고 이들 노드 중 가장 많은 저장 공간을 가지는 노드의 저장 공간을 활용하여 해당 데이터를 저장하도록 한다. 노드에서의 저장 기준 역시 식 (2)의 가중치 값을 활용하여 저장하고 필요 시 사용자에 의해 요청되지 않았거나 또는 요청의 가능성이 적은 미디어 데이터를 우선적으로 삭제하도록 한다. 이렇게 함으로써 프록시 서버와 노드의 저장 중복성을 줄이고 효율성을 높이도록 한다.

노드의 경우 네트워크로의 탈락과 연결이 주기적으로 일어나는 특징을 갖는다. 따라서 프록시 서버는 노드의 네트워크로의 연결 상태 및 각 노드의 저장 데이터 상태를 주기적으로 확인하고 이를 동일 그룹 내에 있는 노드들에게 전송함으로써 노드 간 탐색 시간을 최소화하는 동시에 노드들을 활용한 미디어 데이터 전송 스케줄링을 보다 정확하게 이루어질 수 있도록 한다.

IV. Simulation Results

본 논문에서는 제안하는 Hybird CDN/P2P 구조를 기반으로 운용되는 미디어 데이터의 저장 및 전송 기법의 효율성과 운용 가능성 및 적합도의 효율성을 확인하기 위해 기존의 알고리즘과의 비교 실험을 시행한다. 기존의 알고리즘은 PLFU, Distance-based, Reallocation Affinity 기법[19-21]을 비교군으로 선정하였으며 네트워크에서의 전송 단위인 패킷 적중률을 확인하였다.

전체 실험 시간은 180시간으로 하였으며 프록시 서버의 수는 10개, 그리고 영상의 개수는 12,000를 활용하였으며 각 영상의 사이즈는 654.7Mbytes로 모두 동일한 크기를 가지도록 하였다. 15분의 시간 간격을 이용하여 데이터의 선호도를 지속적으로 확인하였으며 일대일 네트워크에서의 노드가 가지는 저장 버퍼의 크기는 1~2GB의 무작위의 공간을 가지도록 하였다. 사용자 요청의 패턴은 실 요청과 유사한 유형을 가지도록 지프 분포(Zipf Distribution)를 이용하였으며 여기서 사용된 Θ값은 0.271로 하였다. 또한 분당 사용자의 요청은 4,800회 및 9,600회로 설정하였다. 아래 table. 1은 실험을 위한 상세한 실험 조건을 보인다.

Table 1. Simulation Parameters

Fig. 6의 (a)와 (b)는 사용자의 요청을 분당 4,800회와 9,600회로 설정한 실험 결과이며 이때 각기 다른 저장 공간의 크기에서의 패킷 적중률을 실험한 결과를 나타낸다. 시행된 실험 결과, 두 가지 실험 모두 기존 알고리즘에 비해 제안하는 방법이 보다 높은 적중률을 보임이 확인된다.

Fig. 6. Simulation results based block hit rate

이는 사용자가 주로 요청하거나 요청할 것으로 기대되는 미디어 데이터만을 가중치를 기반으로 우선순위를 선정하고 저장함으로써 이후의 사용자로부터의 요청에 보다 빠르게 대응하여 서비스 할 수 있기 때문이다. 또한 노드의 저장 공간을 동일한 그룹 내에서 공유하여 활용함으로서 사용자로부터 높은 선호도를 가지는 데이터를 근거리 네트워크 내에 보다 많이 저장하고 이를 활용하였기 때문이다. 이를 통해 전송 과정에서 초기 지연시간과 끊김 없는 전송 모두를 가능하게 할 수 있다.

V. Conclusions

현재 인터넷을 통해 원하는 미디어를 사용하고자 하는 사용자의 요구가 급격하게 증가함에 따라 보다 품질 좋은 스트리밍 서비스를 제공하고자 여러 상업적 미디어 회사들이 다양한 응용 서비스를 개발하고 출시하고 있다. 특히, 최근에는 사용자와 근거리에 프록시 서버를 활용한 콘텐츠 전송 네트워크와 일대일 네트워크 그리고 이 두 네트워크의 장점을 활용한 새로운 방식의 서비스가 활용되고 있으며 해당 서비스의 운용 정책과 고도화는 네트워크 운용과 사용자에 대한 서비스 품질에 매우 중요한 요소가 되고 있다.

이를 위해 본 논문에서는 콘텐츠 전송 네트워크와 일대일 네트워크 방식의 협력적 데이터 전송 방식을 제안하였다. 제안하는 방식은 효율적인 저장을 위해 프리픽스의 우선 저장 정책을 활용한다. 미디어 요청 시 사용자는 전체 미디어의 처음 부분을 시작으로 요청을 하는 패턴을 가진다. 만일 미디어의 처음 부분을 프록시에 저장할 경우 초기 지연시간을 줄임으로서 사용자의 전송 품질을 높이는 것이 가능하다. 따라서 사용자가 요청에 신속하게 응답하고 데이터를 빠르게 전송하기 위해 미디어 데이터의 앞부분을 우선적으로 프록시 서버에 저장한다. 또한 하나의 미디어를 논리적인 세그먼트 단위로 나누고 임의의 시간 간격동안 계산된 가중치를 이용하여 각 세그먼트의 저장 우선순위를 계산하도록 한다. 계산된 우선순위를 활용하여 프록시 서버로의 저장 및 삭제의 기준으로 활용한다. 또한 근거리에 위치한 노드들을 그룹으로 한정하고 이들 간의저장 공간을 공유함으로써 그룹 내 저장의 효율성을 높이도록 하였다. 이와 같은 방식을 통해 네트워크의 노드를 최소화하고 자원을 효율적으로 활용하는 동시에 사용자에 대한 서비스 품질을 향상시키는 것이 가능하다.