무선 비디오 센서 네트워크에서 스케일러블 비디오 전송을 위한 계층 기반 협업 중계 알고리즘*

Layer based Cooperative Relaying Algorithm for Scalable Video Transmission over Wireless Video Sensor Networks

Abstract

Recently, in wireless video sensor networks(WVSN), various schemes for efficient video data transmission have been studied. In this paper, a layer based cooperative relaying(LCR) algorithm is proposed for minimizing scalable video transmission distortion from packet loss in WVSN. The proposed LCR algorithm consists of two modules. In the first step, a parameter based error propagation metric is proposed to predict the effect of each scalable layer on video quality degradation at low complexity. In the second step, a layer-based cooperative relay algorithm is proposed to minimize distortion due to packet loss using the proposed error propagation metric and channel information of the video sensor node and relay node. In the experiment, the proposed algorithm showed that the improvement of peak signal-to-noise ratio (PSNR) in various channel environments, compared to the previous algorithm(Energy based Cooperative Relaying, ECR) without considering the metric of error propagation.The proposed LCR algorithm minimizes video quality degradation from packet loss using both the channel information of relaying node and the amount of layer based error propagation in scalable video.

Ⅰ. 서론

무선 비디오 센서 네트워크(Wireless video sensor networks, WVSN)는 영상기반 감시 시스템 및 다양한 자연현상에 대한 관찰등 많은 응용분야를 갖는다[1]. 그러나 시변 특성의 무선 채널 환경에서, 연속적인 패킷 손실과 대역폭의 변화는 비디오 화질열화에 많은 영향을 미치게 된다[2, 3]. 본 논문은 무선 비디오 센서 네트워크에서 패킷 손실로 인한 비디오의 화질 왜곡을 최소화하기 위한 스케일러블 비디오의 계층 기반의 협업 중계 알고리즘(Layer based cooperative relaying, LCR)을 제안한다.

기존의 WVSN에 대한 연구는 비디오 센서 노드와 무선 네트워크를 연동하는 과정에서 종단간의 비디오 전송 화질 및 저 지연에 대한 연구보다는 무선 센서 노드의 전력 소비 최소화의 관점에서 최적화가 진행되었다. 대용량의 멀티미디어 데이터를 WVSN에서 효과적으로 전송하기 위한 다중경로 라우팅 알고리즘이 제안되었다[4]. 센서 노드의 전력소비를 낮추기 위한 라우팅 오버헤드 최소화 알고리즘이 제안되었지만, 전송 비디오 데이터의 에러 전파의 특성을 고려하지 않아서, 최종 노드에서의 화질 향상에는 제한이 있다. 또한 비디오 압축과 전송기능을 수행하는 비디오 센서 노드의 전력을 최소화하기 위한 PRD(power-rate-distortion) 알고리즘이 제안되었다[5]. 전력소모와 전송비트에 의한 비디오 화질 관계를 이용하여 전력소모를 최소화하면서 화질을 향상시키는 알고리즘이지만, 복잡도가 증가하여 실시간 전송에는 제한이 있다.

두 번째 접근은 Quality of services(QoS)를 유지하면서, 전력 소비를 최소화화기 위한 센서 노드와 중계 노드간의 협업 중계 알고리즘이 제안되었다. 제안된 알고리즘은 중계 노드(Relay node)에서 decode and forward (DF) 협업 중계 알고리즘을 이용하여 모바일 노드의 전력을 최소화하는 다중 협업 중계 알고리즘이 제안되었다[6]. 그러나 제안된 논문은 중계 노드에서 디코드를 통한 멀티미디어 데이터의 분석을 수행하기 때문에 전송 지연 및 전력 소모에 측면에서 제한이 있다. 최근에는 중계 노드에 데이터 저장을 위한 버퍼와 전력을 저장하는 버퍼를 이용한 Buffer-aided relaying(BAR) 방식이 제안되었다[7, 8]. 소스 신호로부터 전력을 모으는 제한된 크기의 전력 버퍼와 데이터를 저장하는 버퍼를 이용해서 중계 노드를 선택하는 방식이다. [9]에서는 WMSN의 멀티미디어 데이터 전송의 효율성 향상을 위해서, 응용계층과 물리계층간의 최적화를 이용하였다. 센서 노드간의 데이터 전송을 위해서 IEEE 802.11e의 enhanced distributed channel access(EDCA)를 이용하였으며, 네트워크 혼잡 및 적응적 리소스 할당등을 이용하여 효율적인 데이터 전송을 제안하였다.

본 논문에서는 WVSN에서 패킷 손실로 인한 화질 열화를 최소화하기 위한 계층기반 협업 중계 알고리즘(LCR)을 제안한다. 제안된 알고리즘의 중계 노드는 BAR방식[7, 8]을 고려하지 않으며, 데이터 버퍼만을 갖고 있는 것으로 가정한다. LCR 알고리즘은 2개의 모듈로 구성된다. 각 스케일러블 계층이 비디오 화질 열화에 미치는 영향을 낮은 복잡도에서 예측하기 위한 파라메터 기반 에러 전파 메트릭이 첫 단계에서 제안된다. 제안된 메트릭은 스케일러블 비디오의 화질과 시간 계층이 예측 구조를 분석하여 유도된다.

두 번째 모듈에서는 첫 번째 모듈에서 계산된 계층 기반의 에러 전파 메트릭과 비디오 센서 노드와 중계 노드의 채널 정보를 이용하여, 패킷 손실로 인한 왜곡을 최소화하기 위한 계층 기반 협업 중계 알고리즘이 제안된다. 제안된 알고리즘은 비디오 센서 노드와 중계 노드의 채널 환경에 따라서, 하나의 스케일러블 계층이 여러개의 중계 노드에 나누어서 전달될 수 있으며, 또는 하나의 계층 전송에 여러개의 중계 노드가 이용될 수 있다. 제안된 알고리즘은 다양한 패킷 손실율을 갖는 무선 채널 환경에서, 기존의 알고리즘[5]와 비교하여, 향상된 성능을 나타내었다.

본 논문의 구성은 다음과 같다. 제안된 알고리즘의 시스템 환경이 2장에서 설명된다. 3장에서는 본 논문에서 제안된 LCR 알고리즘을 그리고 4장에서는 제안한 알고리즘의 실험 결과를 나타낸다. 5장에서는 결론을 서술한다.

Ⅱ. 시스템 구성

<그림 1>은 3가지 형태의 노드를 갖는 WVSN의 전체 구조를 나타낸다[1]. 비디오 센서 노드 (Video sensor node, VSN), 중계 노드(Relay node, RN) 그리고 목적지 노드 (Destination node, DN). VSN은 로우 비디오를 생성하여 스케일러블 비디오 인코딩을 수행한다. 스케일러블 비디오 인코딩은 비디오 센서 노드에 전체 전력소비의 많은 부분을 차지 하기 때문에, 본 논문에서는 비디오 프레임을 크기를 CIF(352⨯288)로 제한하여 알고리즘을 구현한다[1, 5].

<그림 1> 제안된 LCR 알고리즘을 이용하는 무선 비디오 센서 네트워트 구조

무선 VSN들은 저전력이며 전력이 제한된 디바이스이기 때문에 VSN으로부터 DN까지 비디오 데이터를 에러에 강인하게 전송하기 위해서는 중계 노드(RN)가 필요하다. RN은 데이터를 받고, 전달하는 기능을 수행한다. DN은 유선 망과 연결되어 다양한 어플리케이션을 구현할 수 있다.

RN은 네트워크 상황에 따라, 전송량이 조절되며, VSN의 부하를 줄여주고, 데이터를 모으고, 비디오 센서 노드의 에너지 수명을 증가시키는 역할을 수행한다. 많은 수의 센서 노드들 사이에 일정한 수의 중계 노드들이 위치해 있다고 가정한다. RN은 VSN과 RN의 채널상황에 의해서 선택된다. 만약 채널 상황이 좋으면, 스케일러블 비디오의 기저계층과 향상계층이 같이 전달되어 목적지 노드까지 좋은 화질의 비디오를 전달할 수 있다. 그러나 채널상황이 좋지 않으면, 기저계층만 전달되어 낮은 화질의 비디오 컨텐츠가 지연없이 전달된다.

<그림 2>의 LCR 알고리즘의 블록도와 개념도를 나타낸다. 첫 번째 단계에서는 scalable video coding(SVC) 인코더는 시간적 그리고 공간적 스케일 러빌리티 특성를 갖는 비트스트림을 생성한다. 두 번째 단계에서는 LCR 알고리즘 수행을 위한 낮은 복잡도의 성능 메트릭이 계산된다. 제안된 성능 메트릭은 계층기반의 예측구조를 기반으로 에러 전파량이 예측되며, 시간계층 t와 화질계층 q로 구성된 스케일러블 블록(Scalable block, SB), SB(t,q)단위로 계산된다.

<그림 2> 제안된 LCR 알고리즘의 순서도와 개념도

마지막 단계에서는 패킷손실로 인한 에러 전파를 최소화하기 위한, 협업 중계 맵핑 알고리즘이 실행된다. 낮은 화질 및 시간 계층을 갖는 SB(t,q)의 경우에는 높은 계층에 비해서 전송 비트량이 많기 때문에, 여러 개의 RN를 이용하여 중계된다. 반면에 상대적으로 높은 계층의 경우에는 스케일러블 예측구조의 특성상 비트량이 작기 때문에, 하나의 RN에 여러개의 SB(t,q)가 같이 중계된다. 실험에서, 제안된 알고리즘은 기존의 에너지 기반의 RN 알고리즘[5]와 비교하여, 다양한 무선 채널환경에서 성능 향상을 나타내었다. 다음 장에서 제안된 LCR 알고리즘을 자세히 살펴본다.

Ⅲ. 제안된 LCR 알고리즘

3.1 제안된 에러 전파 메트릭

3장에서는 무선 비디오 센서 네트워크에서 패킷손실로 인한 화질열화를 개선하기 위한 계층기반 협업 중계 알고리즘(Layer based cooperative relaying, LCR)을 설명한다.

첫 단계에서는 패킷 손실로 인한 각 스케일러블 계층의 에러 전파량을 예측할 수 있는 낮은 복잡도의 성능 메트릭(Performace metric)이 제안된다. <그림 3>은 스케일러블 계층 SB(t,q)를 중심으로 계층간의 계층적 예측구조를 나타낸다[10, 11]. SB(t,q)의 패킷 손실은 높은 시간계층(t+1)과 화질계층(q+1)의 화질열화에 영향을 미치게 된다. 이러한 에러 전파의 특성을 이용하여, SB(t,q)의 에러 전파량, λ(t,q)는 다음과 같이 유도된다.

<그림 3> 스케일러블 비디오에서 에러 전파량 예측구조

λ(t,q) = λ(t+1,q)∙λ(t,q+1)       (1)

여기에서, λ(t+1,q)는 시간계층의 에러 전파량을 의미하며, 본 논문에서는 SB(t,q)를 참조하는 시간계층의 프레임 수로 λ(t+1,q)을 예측한다. 최대 시간 계층이 Tmax일 경우, 시간계층 t에서의 에러 전파량은 다음과 같이 계산된다.

λ(t+1,q) = 2^Tmax-t - 1       (2)

예를들어, Tmax=5이고, t=1일 경우, 이를 참조하는 시간 계층의 프레임수는 15가 된다. 낮은 시간계층의 프레임일수록, 이를 참조하는 시간계층의 프레임 수가 증가하기 때문에, 큰 에러 전파량을 갖게 된다. (식1)의 다른 요소인 λ(t,q+1)은 화질계층의 에러 전퍄량을 나타낸다. 본 논문에서는 화질 계층의 에러 전파량인 λ(t,q+1)을 예측하기 위해서 인터모드 마크로블록의 비율을 이용한다. 인터모드 마크로블록은 비디오 압축과정에서 차분영상의 크기를 최소화하기 위해서 이웃 프레임에서 유사한 마크로블록을 가져와서 차분영상을 만들게 된다. 여기에서 λ(t,q)를 참조하는 λ(t,q+1)는 인터모드 마크로블록의 비율에 비례하여 에러 전파량이 결정된다고 볼 수 있다. 화질계층 q에서의 패킷손실은 Qmax-1까지 에러 전파가 발생하게 되며, 이를 이용하여 아래의 수식을 유도할 수 있다.

\(\begin{aligned}\lambda(t, q+1)=\left(\prod_{i=q}^{Q \max -1} \rho(t, i)\right) \cdot \alpha\end{aligned}\)       (3)

여기에서 α는 λ(t+1,q)와의 스케일을 조절하기 위한 요소이고, ρ(t,i) 는 SB(t,i)에서의 인터 마크로블록 비율을 나타낸다. 식(1)은 스케일러블 블록 SB(t,q)단위로 에러 전파량이 계산되기 때문에, 낮은 복잡도에서 에러 전파량을 계산할 수 있는 장점이 있다.

3.2 제안된 중계 노드(RN) 맵핑 알고리즘

식(1)의 λ(t,q)를 이용하여 패킷 손실로 인한 에러 전파량을 최소화하기 위한 RN 맵핑 알고리즘이 수행된다. B(t,q)를 RN에 할당한 결과를 행렬로 나타내면, 아래와 같다.

\(\begin{aligned}A=\left(\begin{array}{cccc}a(0,0) & a(0,1) & \ldots & a(0, Q-1) \\ a(1,0) & a(1,1) & \ldots & a(1, Q-1) \\ \ldots & \ldots & \ldots & \ldots \\ a(T-1,0) & a(T-1,1) & \ldots & a(T-1, Q-1)\end{array}\right)\end{aligned}\)       (4)

여기에서 a(t,q)∊{r: r(1),... r(n),....r(N)}로서 RN ID를 나타낸다. a(t,q)=r이면, B(t,q)에 있는 비디오 패킷들은 RN r을 이용해서 목적지까지 전송된다. a(t,q)=0이면 RN를 할당받지 못하게 되고, 해당 B(t,q)는 목적지에 전달되지 못함을 의미한다. 제안된 맵핑 알고리즘의 목표는 RN에 최적의 스케일러블 비디오 패킷을 할당하여 전송 비디오 화질의 열화를 최소화하는 것이다. B(t,q)가 RN r을 이용하여 목적지에 전달되었을 때, 왜곡 감소를 ∆D(A)로 정의하면, 아래와 같이 계산된다

\(\begin{aligned}\Delta D(A)=\sum_{t=0}^{T-1} \sum_{q=0}^{Q-1} I(a(t, q)) \cdot E P_{b}(t, q)\end{aligned}\)       (5)

여기에서 I(a(t,q))는 아래와 같이 정의된다

\(\begin{aligned}I(a(t, q))=\left\{\begin{array}{ll}1 & a(t, q) \neq 0 \\ 0 & \text { Otherwise }\end{array}\right.\end{aligned}\)       (6)

식(5)는 B(t,q)가 RN에 할당되면, I(a(t,q))은 1이 되어, 실제 ∆D(A)값은 λ(t,q)만큼 감소된다. 만약 B(t,q)에 RN가 할당되지 않으면, I(a(t,q))은 0이 되어, ∆D(A)의 감소량은 0이 되어, 화질 왜곡 감소에 영향을 미치지 못하게 된다. 식(5)와 (6)을 이용하여, 제안된 알고리즘의 목적함수는 다음과 같이 정의될 수 있다.

max(∆D(A)) = max[∆D(a(t,q))]       (7)

여기에서, 식(7)은 아래의 조건을 따른다.

\(\begin{aligned}\sum_{t=0}^{T-1} \sum_{q=0}^{Q-1} I(a(t, q)) \cdot L_{b}(t, q) \leq C\end{aligned}\)       (8)

L_b(t,q)는 B(t,q)에 속해있는 전송 패킷의 총 비트 수이며, C는 RN들의 전송 가능한 전체 채널 전송량을 나타낸다. 본 논문에서는 식(7)을 최대화하기 위한 낮은 복잡도의 RN 맵핑 알고리즘을 <그림 4>과 같이 제안한다. 우선 RN 할당을 위한 매트릭스인 a(t,q)는 0으로 초기화 한다. 그리고 λ(t,q)를 모든 BOP에 대해서 계산한다. 그리고 제안된 알고리즘의 적용주기 T동안의 C가 계산된다. 여기에서 T는 비디오 압축 알고리즘의 group-of-pictures (GOP)의 주기로 설정한다.

<그림 4> 중계 노드(RN) 맵핑을 위한 LCR 알고리즘

식(7)을 기초로, RN 중에 채널상황이 가장좋은 노드 r이 할당되었을 때, 에러 전파량이 가장 큰 을 찾는다. RN에 할당된 전체 패킷의 비트 수는 L_t로 나타내며, 다음과 같이 계산된다.

\(\begin{aligned}L_{t}=L_{t}+L_{b}(\hat{t}, \hat{q})\end{aligned}\)       (9)

여기에서, L_t의 초기값은 0이고, \(\begin{aligned}L_{b}(\hat{t}, \hat{q})\end{aligned}\)은 BOP의 총 비트수이다. 만약 RN에 할당된 전체 패킷의 수(L_t)가 채널 용량(C)을 초과하게 되면, 알고리즘은 종료된다.

Ⅳ. 구현결과

4장에서는 제안된 스케일러블 비디오의 계층기반 협업 중계 알고리즘(Layer based cooperative relaying, LCR) 알고리즘의 실험결과를 보여준다. 무선 채널모델은 log-normal shadowing 패스 손실 모델을 사용하였다[12].

P_L(d) = P_L(d₀) + 10nlog10(d/d₀) + σ       (10)

여기에서 d_i는 VSN 와 RN와의 거리이고, 본 논문에서는 RN이 4개 있는 것으로 가정하였으며, VSN과 RN의 거리는 20m내에서 랜덤 변수로 하여, <그림1>과 같이 토포롤지를 구성하여 실험을 진행하였다. d₀는 참조거리(reference distance)로 P_L(d₀)는 50dB로, n은 거리손실 지수(pathloss expoenent)로 2(VSN과 DN 사이에 장애물이 없는 경우)와 4(VSN과 DN 사이에 장애물이 있는 경우)로 설정하여 패킷 손실율을 조정하였다[12]. σ는 정규분포의 표준편차 2를 갖는 가우시안 랜덤변수이다.

비디오 센서의 전력소모를 최소화하기 위해서 CIF 크기의 ‘Foreman’과 ‘Mobile’ 비디오 시퀀스가 실험에 사용되었다[5]. 초당 프레임 수 및 GOP 크기는 30fps 그리고 15로 각각 설정하였다[10]. 실험에 사용된 전체 프레임수는 움직임 및 화면 복잡도등을 고려하여 81개의 프레임을 이용하였다[10]. 화질 및 시간 계층 수는 각각 3(Qmax)과 5(Tmax)로 그리고 전송패킷의 크기는 512byte로 각각 설정하여 Joint scalable video model(JSVM)[13]를 이용하여 인코딩을 하였다.

제안된 계층기반 협업 중계 알고리즘의 성능평가를 위해서, 각 스케일러블 블록의 에러 전파량을 고려하지 않고, RN의 에너지 최소화만을 고려하는 협업 중계 알고리즘(Energy based cooperative relaying, ECR)방법[5]을 이용하였다. ECR 방법은 제안된 에러 전파 메트릭을 고려하지 않고, 전송 패킷의 중요도를 같게하여 자원을 할당하는 알고리즘이다. ECR 방법외에, 기존의 계층기반 협업 중계 알고리즘으로, [13]에서 제안된 에러 전파 메트릭을 이용한 방법(Simple metric LCR, S-LCR)이 성능평가에 사용되었다. 기존의 에러 전파 메트릭은 패킷손실을 갖는 현재의 스케일러블 블록을 참조하는 블록의 개수를 기반으로 에러전파 메트릭으로 유도한다. 반면, 제안된 메트릭은 계층간의 에러 전파 예측모델을 인터와 인트라 요소로 분리하여, 메트릭을 유도함으로써, 좀더 정확한 에러 전파량이 예측된다.

<그림 5>는 제안된 LCR에서 B(t,q)에 대한 할당된 RN의 비율을 식(5)의 I(a(t,q))를 이용하여 나타낸다. ‘Foreman’ 비디오에서는 4개의 중계 노드에 대해서 높은 채널상황(signal to noise ration(SNR), 10~20dB)과 낮은 채널상황(SNR(1~10dB)) 구성하여 실험을 진행하였다[15]. 낮은 화질과 시간계층의 인덱스를 갖는 BOP에 우선적으로 RN이 맵핑되어, 패킷 손실로 인한 에러 전파량을 최소화되는 것을 볼 수 있다. 낮은 채널 환경의 경우, t=5 계층의 경우, q=1인 화질계층은 전송되고, 그 이상의 화질계층은 일부분만이 전송되었음을 볼 수 있다. q=2 또는 3의 계층은 에러 전파량이 작아서, 상대적으로 에러 전파량이 큰 계층이 우선적으로 RN을 이용하여 전송되면서, λ_b(t,q)가 작은 계층의 비디오 패킷들이 거의 전송되지 못하였음을 보여준다.

<그림 5> ‘Foreman’ 비디오에서 B(t,q)에 할당된 중계 노드(RN)의 비율(I(a(t,q))(식(5))의 변화

<그림 6>과 <그림7>은 ‘Foreman’과 ‘Mobile’ 비디오에 대한 제안된 LCR과 S-LCR 그리고 ECR 알고리즘의 프레임당 PSNR을 비교한다. 제안된 알고리즘은 S-LCR과 ECR 알고리즘과 비교하여 약 0.5~1dB의 성능향상을 얻을 수 있었다. 이러한 향상은 계층기반의 에러 전파량과 비디오 센서 노드와 RN간의 채널 상황을 고려하여, 에러 전파량이 큰 패킷의 손실을 효과적으로 제한한 것으로 분석된다.

<그림 6> ‘Foreman’ 비디오에서 손실율 변화에 따른 프레임당 PSNR 변화

<그림 7> ‘Mobile’ 비디오에서 손실율 변화에 따른 프레임당 PSNR 변화

<그림 8>은 22번째 ‘Mobile’ 비디오 프레임에서 제안된 LCR과 ECR 알고리즘의 화질 비교를 나타내고 있다. ECR 알고리즘은 패킷 손실로 인하여 공과 달력부분의 경계에서 블록현상이 발생됨을 볼 수 있다. 반면 제안된 알고리즘은 에러 전파로 인한 화질 열화를 최소화하고 있음을 알 수 있다.

<그림 8> 22번째 ‘Mobile’ 비디오 프레임에서 제안된 LCR과 ECR 알고리즘의 화질 비교

Ⅴ. 결론

본 논문에서는 무선 비디오 센서 네트워크에서 스케일러블 비디오의 패킷손실로 인한 화질열화를 최소화하기 위한 계층기반 협업 중계 알고리즘(Layer based cooperative relaying, LCR)을 제안하였다. 제안된 알고리즘은 우선, 각 스케일러블 계층의 패킷손실로 인한 화질 왜곡의 영향을 예측하기 위해서 낮은 복잡도의 파라메터기반 에러 전파 메트릭을 제안하였다. 그리고 제안된 메트릭과 비디오 센서 노드와 RN의 채널 정보를 이용하여, 스케일러블 비디오의 화질 왜곡을 개선하기 위한 계층 기반 협업 중계 알고리즘을 제안하였다. 제안된 알고리즘은 기존의 에너지 기반의 중계 알고리즘과 비교하여, 다양한 무선 네트워크 환경에서 화질개선의 성능향상을 나타내었다. 제안된 논문은 기존의 ECR 알고리즘과 비교하여 에러전파 메트릭을 계산하는 부분에 있어서는 에너지 소비가 증가될 수 밖에 없으며, 향후에는 이를 최소화하기 위한 연구가 추가되어야 할 것으로 생각된다.