An Approximation of Gaussian Pyramid Top Layer for Simplification of Image Pyramid-based Multi Scale Exposure Fusion Algorithm

이미지 피라미드 기반의 다중 노출 영상 융합기법 단순화를 위한 가우시안 피라미드 최상층 근사화

Abstract

Because of the dynamic range limitation of digital equipment, it is impossible to obtain dark and bright areas at the same time with one shot. In order to solve this problem, an exposure fusion technique for fusing a plurality of images photographed at different exposure amounts into one is being studied. Among them, Laplacian pyramid decomposition based fusion method can generate natural HDR image by fusing images of various scales. But this requires a lot of computation time. Therefore, in this paper, we propose an approximation technique that achieves similar performance and greatly shortens computation time. The concept of vanishing point image for approximation is introduced, and the validity of the proposed approach is verified by comparing the computation time with the resultant image.

1. 서론

동적 범위의 한계를 가지고 있는 대다수 디지털 카메라는 한 번의 촬영으로 어두운 영역과 밝은 영역정보를 동시에 취득할 수 없다. 그 때문에 서로 다른 노출값으로 여러 번의 촬영 후, 하나의 영상으로 결합하여 이러한 문제를 해결한다. 영상의 결합을 위해서는 톤 매핑(ToneMapping) 기법[1-5], 노출 융합(Exposure Fusion) 기법[6-11]이 주로 사용되는데, 이는 인간의 시각이 받아들이는 높은 동적 범위(High Dynamic Range, HDR) 영상을 낮은 동적 범위(Low Dynamic Range, LDR)의 디스플레이 장치에 동일하게 표현하기 위해 사용된다. 그중 하나인 라플라시안 피라미드 분해(Laplacian Pyramid Decomposition)기법은 멀티 스케일 관점에서 영상을 융합(Multi-Scale Fusion, MSF)하여 노출이 다른 여러 장의 영상을 자연스럽게 융합하며, 많은 응용 분야에서 그 유용성을 보인다.[12] 그러나 라플라시안 피라미드 분해에 기반을 둔 영상 융합기법은 영상의 크기에 비례하여 층(Layer)수가 증가하기 때문에 이미지 피라미드 생성 시 많은 연산량이 필요하다. C. O. Ancutietal.[13]은 라플라시안 피라미드 분해 기법의 연산 복잡성을 단순화하는 방안으로 가우시안 피라미드(Gaussian Pyramid)의 최상위 계층과 라플라시안 피라미드(LaplacePyramid)의 최하위 계층만을 사용하여 근사화하는 단일 스케일 융합기법(Single-Scale Fusion, SSF)을 제시하였다. 하지만 SSF 알고리즘은 영상융합 시 가우시안 피라미드의 최상위 계층과 같은 효과를 내는 큰 시그마 값으로 블러링 된 영상을 필요로 한다. 가우시안 피라미드의 최상위 계층의 경우 피라미드 생성 시 가장 많은 연산량을 요구하는 단계이다. 그 때문에 실제 피라미드 기반 영상융합 시 필요한 단계는 대폭 감소시켰으나 연산시간은 크게 줄지 않는다.

본 논문에서는 이미지 피라미드 기반의 다중 노출영상 융합기법의 연산 단순화를 위한 방안으로 단일 스케일 영상융합 알고리즘의 근사화, 그중에서도 가우시안 피라미드의 최상층을 만들어 내는 단계를 근사화하고자 한다. 실제 가우시안 피라미드의 최상층의 경우 2×2 정도의 크기로 원본 영상이 매우 작게줄어들게 되어 본래 영상 정보 대부분을 잃어버린다. 이는 실제로 영상을 소실점까지 축소한, 즉 영상의 평균을 취한 값과 크게 다르지 않다. 이 때문에 제안하는 방법에서는 가우시안 최상위 계층을 대신하여 영상의 평균을 취한 값으로 단순화하고, 제안하는 접근법에 대한 타당성을 실험을 통해 증명하고자 한다.

2. 이론

2.1 이미지 피라미드

이미지 피라미드는 이미지를 여러 스케일에 걸쳐다해상도로 분석하는 가장 기본적인 방법으로 본래컴퓨터 비전과 영상 압축 응용을 위해 P. Burtetal.[14]에 의해 제안되었다. 피라미드 구조는 원본 영상을 블러링 한 후 1/2 축소과정의 반복을 통해 생성되는데, 반복 연산의 경우 아래의 수식 (1)과 같다.

\(N=\log (\min (r o w, \text { column })) / \log (2)\)        (1)

위의 수식 1에서 N은 반복 연산의 수 즉, 피라미드의 최상위 계층을 의미하며 이는 영상의 크기에 비례하여 결정된다. 이미지 피라미드를 통해 다중 스케일로 분해된 영상은 가우시안 피라미드의 최상위 계층과 각 계층을 두 배로 키운 후 상위 계층과의 차로만들어 낸 라플라시안 이미지들의 합으로 원본 영상을 재생성해낼 수 있다. 이러한 과정을 이미지 피라미드 재구성(Image Pyramid Reconstruction)이라고 하며 아래의 수식 (2)와 같다.

\(I_{\text {or iginal }}=\sum_{l=1}^{N} L_{l}\{I(x)\}+G_{N}\{I(x)\}\)        (2)

위의 수식 (2)에서 G와 L은 각각 가우시안 피라미드와 라플라시안 피라미드를 의미한다. 이미지 피라미드 재구성은 이미지 피라미드로 분해된 영상을 가우시안 피라미드의 최상층과 각 라플라시안 피라미드의 합으로 재생성할 수 있음을 의미한다.

2.2 멀티 스케일 융합

라플라스 피라미드 분해에 기반을 둔 다중 스케일융합기법은 노출이 다른 여러 장의 영상을 적절한 가중치를 사용하여 영상을 융합한다. 이때 각 계층에 반영되는 가중치는 노출 정도, 대조비 등의 지표들로[15-19] 측정하여 생성한다. 노출이 다른 각 영상에서 생성된 가중치 영상 피라미드와 곱해진 원본 영상들은 서로 더해져 피라미드 재구성을 통해 높은 동적 범위를 가지는 하나의 영상으로 융합된다. 이미지 피라미드 기반의 영상융합 기법 수식은 아래와 같다.

\(R_{M S F}=\sum_{i=1}^{M} \sum_{j=0}^{N}\left[\left\{G_{i, 1}\left\{w_{i}\right\} \times L_{i, l}\left\{I_{i}\right\}\right\}+G_{i, N}\left\{w_{i}\right\} \times G_{i, N}\left\{I_{i}\right\}\right]\)        (3)

수식 (3)에서 M은 융합에 사용되는 전체 이미지 개수를 뜻한다. 멀티 스케일 융합의 경우 이미지 피라미드 재구성과 유사한 방법으로 융합하고자 하는 영상의 이미지 피라미드 각 계층의 반영비율을 결정짓는 가중치 영상()을 곱한 합으로 결과 영상을 만들어 낼 수 있다.

2.3 단일 스케일 융합

MSF 기법의 경우 노출이 다른 여러 장의 영상과각 가중치 영상에 대한 이미지 피라미드를 생성해야 하므로 많은 연산시간이 소요된다. 피라미드 생성 시 소요되는 연산시간을 줄이고자 이를 근사화한 SSF기법이 제안되었다. 대부분의 라플라시안 이미지가 가장자리 근처를 제외하고는 0에 가까운 값임을 관찰하고, 라플라시안 이미지와 가중치 영상이 가장자리 근처에서 정렬되지 않는 한 큰 영향을 미치지 못함을 확인하였다. 이 때문에 가중치 영상의 가우시안 피라미드를 가우시안 최상위 계층 하나로 대체하였다. 또한, 전체 라플라시안 피라미드 이미지 중 가장 지배적인 값을 가지는 라플라시안 피라미드의 최하위 계층으로 전체 라플라시안 피라미드를 대체하였다. 근사화된 SSF 기법은 아래의 수식 4와 같다.

\(R_{S S F}=\sum_{i=1}^{M}\left[\left\{G_{N}\left\{W_{i}\right\}+\alpha\left|L_{1}\left\{I_{i}\right\}\right| \times I_{i}\right\}\right]\)        (4)

위의 수식 (4) 는 라플라스 피라미드의 최하위계층 반영비율을 결정하는 파라미터로 보통 0.2 값을 사용한다. 이 값이 클수록 고주파 영역이 강조된다.

Single-ScaleFusion은 Multi-ScaleFusion에 사용되던 이미지 피라미드 전체를 라플라스 피라미드 촤하위 계층과 가우시안 피라미드의 최상위 계층만으로 근사화하였다. 하지만 가우시안 피라미드의 최상위 계층을 만드는 과정은 이미지 피라미드 생성 과정 중 가장 많은 연산시간을 소모한다. 이 때문에 수식은 크게 간소화되었지만, 실제 연산시간 단축은 기대에 비해 크지 못하다.

3. 제안한 방법

3.1 제안한 알고리듬의 개요

본 논문에서는 이미지 피라미드 기반의 영상 융합기법의 연산을 단순화하는 방안으로 가우시안 피라미드의 최상위 계층을 근사화하여 생성하는 기법을 제시하고자 한다. Fig.1에 제안하는 근사화를 통해HDR 결과 영상을 생성하는 알고리즘의 전체적인 흐름도를 나타내었다.

Fig. 1. Flowchart of the Single-Scale fusion approximation algorithm.

다중 노출 영상을 이용하여 HDR 결과 영상을 만들기 위해서는 먼저,T.Mertensetal.[11]에서 제안한 세 가지 영상 평가 지표(Well-Exposed ness, Con-trast, Saturation)를 사용하여 가중치 영상을 생성한다. 이를 이미지 피라미드로 만들어 내는 대신 유사한 효과를 내며 연산속도가 좀 더 빠른 C.O. Ancutietal.[13] 가 제안한 SSF 기법을 사용하여 영상을 융합한다. 영상융합을 위해서는 가우시안 피라미드의 최상위 계층과 라플라시안 피라미드의 최하위 계층이 필요하다. 하지만 가우시안 피라미드의 최상위계층을 생성해 내는 것은 많은 시간이 소요되므로 가우시안 피라미드 최상위 계층을 대신하여 본 논문에서 정의한 소실점 영상(Vanishing Point Image)을 사용한다.

\(R_{S S F}^{\prime}=\sum_{i=1}^{M}\left[V w_{i}+\alpha\left|L_{1}\left\{I_{i}\right\}\right| \times I_{i}\right]\)        (5)

위의 수식 (5)는 본 논문에서 제안하는 융합 방법으로 수식 (4)에서 사용된 가우시안 피라미드의 최상층을 대신하여 가중치 영상을 소실점 영상으로 만들어 융합한다. 단순화된 가우시안 최상위 계층은 라플라시안 영상과 더해져 최종 가중치 영상이 되며, 이는 노출이 다른 각각의 영상에 곱해져 하나의 HDR결과 영상으로 융합된다.

3.2 소실점 영상

가우시안 피라미드의 최상층은 블러링과 서브 샘플링의 반복 연산을 통해서 만들어진 결과이다. 이 영상은 서로 다른 노출 정도를 가지는 영상을 융합하기 위한 가중치 영상으로서 활용되는데, 생성하는데 많은 시간이 소요된다. 본 논문에서는 가우시안 피라미드 최상위 계층 이미지를 생성하는 시간을 단축하는 방안으로 소실점 영상이라는 개념을 도입하고자 한다. 실제로 가우시안 피라미드의 최상위 계층은 2× 2, 3× 2 수준의 픽셀로 구성된 이미지로 원본 영상의 구조 및 밝기정보 대부분을 잃어버린 상태이다.

이를 한 단계 더 멀리 즉, 소실점 수준의 한 점으로 구성된 영상과 비교하여도 별반 다르지 않다. 하지만 연산 상에는 매우 큰 차이점을 보인다. 가우시안 피라미드의 최상층을 만들어 내기 위해서는 블러링과샘플링의 많은 반복 또는 아주 큰 시그마 값을 가지는 가우시안 커널(Kernel)을 이용하여 블러링 해야만 한다. 하지만 영상의 소실점의 경우 원본 영상의 단순 평균으로 연산할 수 있다. 아래의 Fig.2는 노출이 다른 영상의 가중치 영상에 대한 가우시안 최상위계층을 보인 그림이다.

실제 가우시안 피라미드의 최상위 계층과 제안하는 소실점 영상을 비교하여 보면 약간의 지역적 밝기차가 존재한다. 이러한 차이는 결과 영상의 품질에 영향을 미칠 수 있으나 노출이 다른 영상의 개수가 증가할수록 가중치 영상의 정규화 과정에서 상당히 작은 값으로 줄어들게 된다. 영상품질 평가 지표에 따라 생성된 가중치 영상의 대부분은 큰 가중치 값과작은 가중치 값이 혼합된 영상이다. 이러한 영상이다수 존재할 경우 특정 픽셀이 다수의 영상에 중복되어 선택되며, 이는 영상의 정규화 단계에서 값이 감소하게 된다. 결과적으로 노출이 다른 여러 영상을 많이 사용할수록 각 영상 가중치 값의 변화가 미미한 수준이 된다. 아래의 Fig.3은 SSF 알고리즘에서 사용되는 가우시안 최상층과 이를 근사화한 소실점 영상의 픽셀 차이를 입력 영상의 수에 따라 비교한 그래프이다. 두 영상의 픽셀 차는 가우시안 최상위 계층 영상과 소실점 영상을 뺄셈 연산한 후 모두 더하여 그 차이를 확인하였다.

Fig.3을 보면 알 수 있듯이 실제로 다수의 영상을 사용할 수록 소실점 영상과 가우시안 피라미드 최상층 영상의 차이가 줄어듦을 알 수 있다.

4. 실험 결과 및 고찰

4.1 연산시간 비교

본 논문에서 제안하는 알고리즘의 우수성을 보이는 방안으로 MSF 방법과 이를 근사한 SSF 방법, 제안하는 방법의 연산시간을 비교하고자 한다. 영상은 총 13개를 사용하였으며, 각 영상을 융합하기 위해 소요된 시간은 아래와 같다.

비교 결과 SSF 알고리즘의 경우 본래 MSF 알고리즘과 비교하면 약 16% 정도의 연산시간 단축 성능을 보이는 데 그쳤으나, 제안하는 방법의 경우 평균 약 59%의 연산시간 단축을 보였다. 이는 MSF 기법을 근사화한 SSF 기법과 비교하면 2배 빠른 결과이다.

Fig. 2. Comparison of proposed weight map and blurry weight map with large sigma value. (a) Input Image. (b) Weight Map. (c) Large Scale Image like Top layer of Gaussian. (d) Vanishing Point Image

Fig. 3. Error graph based on the number of images used.

4.2 결과 영상 비교

4.2.1 정성적인 평가

아래의 그림들은 MSF 알고리즘과 SSF 알고리즘그리고 제안하는 알고리즘의 결과 영상이다.SSF 알고리즘과 제안하는 알고리즘 모두 MSF 알고리즘을 근사화하는 방식으로 다중 노출 영상을 융합한다. 두 알고리즘의 차이로는 SSF의 경우 가우시안 피라미드의 최상층을, 제안하는 방법의 경우 이를 근사화한소실점 영상을 사용한다. 소실점 영상의 경우 가우시안 피라미드 최상층 생성 시 필요한 연산시간을 대폭 줄이는 방안으로 본 논문에서는 가우시안 피라미드최상층 영상을 만들어 내는 대신 영상의 평균으로 대체하여 사용한다. 이러한 근사화 방법이 실제MSF를 올바르게 근사화하였는지 각 알고리즘의 결과 영상을 통해 비교하고자 한다.

위의 Fig.3을 보면 알 수 있듯이 MSF,SSF 그리고 제안하는 방법의 결과 영상은 눈에 띄는 큰 차이가 없음을 확인하였다.(c)의 Igloo 영상은 부분적으로 이글루 내부가 MSF에 비해 어두워지는 결과 영상을 얻을 수 있는데, 이는 SSF 알고리즘을 사용하였을 때도 유사한 결과 영상을 얻을 수 있다. 결과적으로 MSF 알고리즘과 제안하는 방법은 다소 차이가 있지만, SSF 알고리즘과는 유사한 성능임을 확인할 수 있다.

4.2.2 정량적인 평가

제안하는 근사화 기법의 타당성을 검증하는 방안으로 기존의 근사화 기법인 SSF 방법과 제안한 방법의 유사성을 정량적인 평가 지표를 통해 비교 실험하였다. 두 알고리즘 모두 MSF 알고리즘을 근사화하였지만, 본 논문에서는 SSF 알고리즘의 가우시안최상층 생성 시 필요한 연산 복잡도를 단순화하기 위해 소실점 영상을 사용하였다. 이 때문에 정량적 평가에서는 SSF 알고리즘과 이를 근사화한 제안하는 알고리즘이 얼마나 유사한지 평가하고자 한다. 평가 지표로는 SSIM(StructuralSimilarity)[20]과 AMBE(Absolute Mean Brightness Error)를 사용하였다. SSIM의 경우 두 영상이 구조적으로 얼마나 유사한지를 의미하며 두 영상이 구조적으로 유사하면 1에 근사한 값이 출력된다.AMBE의 경우 두 영상의 밝기 차가 얼마나 나는지를 의미하며 두 영상의 밝기가 유사할수록 경우 0에 근사한 값을 가진다.SSF 알고리즘과 제안하는 알고리즘의 SSIM 값이 크고AMBE 값이 낮다면 제안하는 방법은 기존의 근사화방법인 SSF와 유사한 성능을 냄을 알 수 있다.

실험을 통해 제안하는 방법이 SSF 기법과 구조적으로 유사함을 SSIM 수치를 통해 확인하였다. 반면, AMBE 수치의 경우 기존의 방법과 조금의 차를 보였다. 밝깃값의 차가 10 내외인 영상들이 대부분이지만 20 이상 차이가 나는 영상들도 존재한다. 이는 초기에 생성된 가중치 영상이 큰 영역으로 극명하게 나뉘어 있는 영상에 대해 큰 차이를 보임을 확인하였다.

Table 1. Computation time comparison between proposed algorithm and existing algorithm

Fig. 4. Comparison of results image of MSF, SSF and proposed method(PM). (a) chars, (b) memorial/Epel-tower. (c) Igloo/Fog.

5. 결론

본 논문에서는 이미지 피라미드 기반의 노출 융합기법을 근사화한 SSF 알고리즘과 유사한 성능을 내며 연산시간을 대폭 단축한 융합기법을 제안하였다. 제안한 방법은 소실점 영상이라는 개념을 도입하여 기존 가우시안 피라미드의 최상위 계층 영상을 이와 유사한 효과를 가지는 단순 평균 영상으로 대체하였다. 기존의 큰 시그마 값을 가진 가우시안 커널로 인해 필요하였던 많은 연산시간을 단순 평균 연산으로 대체하여 종래의 SSF 기법과 비교하면 59%의 연산시간이 단축되었음을 실험을 통해 확인하였다. 또한, 제안하는 기법의 타당성을 검증하기 위한 수단으로 기존의 MSF 영상융합의 근사화인 SSF 알고리즘의 결과 영상과 제안하는 기법의 결과 영상을 SSIM과 AMBE 평가 지표를 통해 그 유사성을 확인하였다. SSIM 수치를 비교하여 약 0.98이라는 높은 구조적 유사성을 가짐을 확인하였다.AMBE 수치는 평균적으로 약 15 정도 차이가 남을 확인하였다. 이는 융합되는 영상의 특성에 따라 조금의 차이를 보였는데, 초기 가중치 영상의 형태에 따라 융합되어야 하는 영역의 교차가 빈번한 경우에 대해 경우 낮은 차이를 보였다. 반면 가중치 영상이 극명하게 나뉘어 있는 경우의 영상에 한해서는 큰 밝기 차이 값을 보였다. 이는 과도한 근사화로 인해 특정 상황에서 나쁜 결과를 보일 수 있음을 의미한다. 결과적으로 초기 가중치 영상이 극명한 경우 영상의 품질이 저하됨을 뜻한다. 하지만 초기 가중치 영상이 극명하게 나뉘는 경우는 MSF 기법을 사용하지 않고 교차 되는 경계면만을 블러링 하여 융합하면 자연스러운 영상을 얻을 수 있다. 이러한 결과는 향후 연구로서 각 영상의 노출 분포에 따른 피라미드의 최대 층수를 조절하는 방향으로 적용 가능할 것으로 보인다. 최대 층수가 일정 이상 증가하면 제안하는 방법인 소실점 영상과크게 다르지 않으므로 이를 사용하며, 피라미드의 최대 층수가 낮은 경우 많은 연산이 필요치 않으므로 종래의 방법으로 블러링 하여 사용할 수 있다. 이러한 방식으로 영상의 노출 분포에 따른 적응적 처리 알고리즘을 적용하게 된다면, 제안하는 방법에서 한 단계 더 개선된 알고리즘이 될 것으로 보인다.

Table 2. The similarity measure between SSF and proposed algorithm through SSIM and AMBE