계조 화소 값을 이용한 노출속도가 다른 두 영상의 피라미드 융합 방법

A Pyramid Fusion Method of Two Differently Exposed Images Using Gray Pixel Values

Abstract

Pyramid fusion usually adjusts the Laplacian weights of pixels of the input images by evaluating predefined criteria. This has advantages that it can selectively express intense color and enhance the contrast when applied to HDR exposure fusion. But it may cause noise because the weights are determined by pixel importance without considering the interdependent pixel relationship that constitutes a scene. This paper proposes a fusion method using simple weight criteria generated from the gray pixel values, which is expected to preserve the interdependent relationship and improve execution speed. In order to evaluate the performance of the proposed method we examine a homogeneity measure, H and compare the execution time for both methods. The proposed method is found to be more advantageous with respect to homogeneity and execution speed.

1. 서 론

최근 휴대폰 카메라를 비롯한 디지털 카메라의 여러 분야에서의 응용이 다양해짐에 따라 카메라 영상의 품질을 향상시키기 위한 노력이 꾸준히 이어지고 있다. 이에 따라 실생활에 존재하는 광대역(high dynamic range) 조도 변화를 LCD와 같은 저대역(low dynamic range)의 영상 출력장치에 표현 가능한 정보로 만들기 위한 기술 개발의 필요성이 부각되고 있다. HDR 정보를 LDR로 표현하기 위한 기술은 크게 톤 매핑(tone mapping)과 영상 융합(image fusion)으로 분류할 수 있다.

톤 매핑[1-5]은 레이디언스 맵(radiance map) 혹은 HDRI(high dynamic range image)라 불리는 광대역의 영상 정보를 기반으로 한다. 이 레이디언스 맵은 같은 장면에 대해 카메라의 노출을 여러 번 바꾸어 촬영한 영상 정보를 바탕으로 구축한다[6,7]. 톤 매핑에 의한 표현은 비록 실제 존재하는 영상의 밝기 정보를 기반으로 하고 있으나 레이디언스 맵을 생성하기 위해 카메라의 응답특성을 알아야 하고 그 과정에 많은 작업이 수반된다.

영상 융합방법은 이와 같은 레이디언스 맵을 구축하는 번거로운 절차를 거치지 않고 다수의 영상에서 적절한 영상 정보를 골라 바로 LDR 정보로 융합하는 방법으로 그 편리함 때문에 관심을 끌게 되었다. 이 방법은 크게 영역 기반과 화소 기반의 방법으로 나누어지는데 이중 영역기반의 방법은 화면을 여러 개의 블록으로 나누어 각 블록에 대해 융합하는 방법이다[8-13]. 이 방법은 영역 선택의 기준을 잘못 결정하면 성능이 저하될 수 있고 영역 접합부를 연결하는 블렌딩(blending) 처리를 필요로 하며 연결 부분에 부자연스러움이 발생할 수 있는 단점이 있다. 반면 화소 기반의 영상 융합은 각 같은 위치에 있는 화소에 대해 자체의 평가 기준을 기반으로 반영 비율을 정하여 융합하는 전략을 취한다. 단순한 가중 평균으로는 융합 영상의 대조비 개선에 한계가 있었지만 Mertens et al.[14]은 라플라시안 피라미드 [15]를 사용하는 다해상도(multi resolution) 관점에서 가중치를 융합하여 단순한 화소 가중 평균의 문제점들을 해결하였다. 이후 화소기반의 다중 노출 융합은 화소의 평가지표를 다양하게 바꾸어 성능 개선을 시도하는 노력이 계속되고 있으며[16-19], 촬영할 당시 움직인 피사체에 대한 고스트(ghost)를 보상하기 위한 연구[20-23]와 한 장의 LDR 사진을 다중 노출 촬영한 것처럼 여러 장의 사진으로 만들어 이를 융합하여 화질을 개선하는 연구[24,25] 등에 널리 활용되고 있다.

본 논문에서는 기존 방법에 보이는 결과 영상의 잡음문제를 개선하고 단순한 평가지표를 사용하여 속도를 개선하는 화소기반의 라플라스 융합방법을 제안하고자 한다. 제안하는 방법은 짧은 노출로 촬영한 단노광(short exposure) 영상과 긴 노출로 촬영한 장노광(long exposure) 영상을 구분하여 사용한다. 이와 같은 설정은 실제로 2회의 촬영을 실시하는 대다수의 스마트 폰 카메라, 디지털 카메라에의 적용에 적절한 것으로 여겨진다.

본 논문의 구성은 다음과 같다. 2장에서는 제안한 방법의 전체적인 흐름과 가중치 맵 생성방법, 라플라스 융합 방법의 순서로 서술한다. 그리고 3장에서는 제안한 방법의 잡음 품질을 평가하기 위한 평가 지표를 설명한다. 4장에서는 제안한 방법과 기존의 방법을 잡음과 연산 시간 관점에서 비교하였으며 5 장에서 결론을 맺는다.

 

2. 제안한 방법

고노출로 촬영한 장노광 영상은 저조도 부분의 영상 정보를 위주로 취득하며 저노출로 촬영한 단노광 영상은 고조도 부분의 영상정보를 취득한다. Fig. 1에 제안하는 화소 기반의 피라미드 융합 방법의 전체적인 흐름도를 나타내었다. 본 알고리듬은 두 개의 영상을 입력 받아서 가중치를 생성한 후 라플라스 피라미드의 가중치를 제어하여 융합 영상을 만들어 낸다. 그림에서 가중치 맵을 생성하는 과정은 2.1 절에서 기술하였으며 라플라스 피라미드 융합 처리과정은 2.2 절에서 기술하기로 한다.

Fig. 1.Flowchart for proposed method.

2.1 가중치 맵 생성

가중치 맵은 입력 영상의 각 화소의 유용성을 평가한 지표를 뜻한다. 평가된 지표는 두 장의 입력 영상을 융합 할 때 가중치에 따라 적용된다.

2.1.1 단노광 영상의 가중치 맵 생성

단노광 영상의 가중치를 평가하는 절차는 다음과 같다.

① 단노광 영상의 흑백 계조영상을 생성한다. 이는 식 (1)을 따른다.

식 (1)에서 IS 는 단노광 3채널 영상이며, GS 는 단노광 영상의 흑백 계조 영상이다.

② 흑백 계조영상을 0부터 1까지의 값으로 정규화 한다. 정규화된 흑백 계조 영상, N_GS는 식 (2)와 같이 구한다.

③ 단노광 영상의 가중치 맵, WS 을 생성한다. 이는 식 (3)을 따른다.

단노광 영상의 가중치 맵은 정규화된 흑백 계조 영상 값을 그대로 가중치에 적용한다. 단노광의 계조 값은 장노광과의 상대적 가중치를 비교해 볼 때 계조 값에 비례적 관계에 있는 것으로 간주하기 때문이다.

2.1.2 장노광 영상의 가중치 맵 생성

장노광 영상의 가중치를 평가하는 절차는 다음과 같다.

① 장노광 영상의 흑백 계조영상 생성한다. 이는 식 (4)를 따른다.

식 (4)에서 IL은 장노광 3채널 영상이며, GL는 장노광 영상의 흑백 계조 영상이다.

② 흑백 계조영상을 0부터 1까지의 값으로 정규화 한다. 정규화된 흑백 계조 영상, N_GL는 식 (5)와 같이 구한다.

③ 장노광 영상의 가중치 맵, WL 을 생성한다. 이는 식(6)을 따른다.

장노광 영상은 계조 값이 클수록 밝게 포화된 반영 가치가 없는 화소일 가능성이 크고 계조 값이 작으면 단노광에서 취득하지 못한 정보를 담고 있을 가능성이 크므로 계조 값과 반비례하는 가중치를 부여하기로 한다.

2.2 라플라스 피라미드 영상 융합

단노광 영상의 흑백 계조영상과 장노광 영상의 흑백 계조영상의 가중치 맵을 각 화소 단위로 정규화 한다. 식 (7)의 는 정규화된 단노광의 가중치 맵이며 식 (8)의 정규화된 장노광의 가중치 맵이다.

식 (7)과 식 (8)은 두 영상에 가중평균에 사용된다. 단노광과 장노광의 두 원본영상과 정규화된 가중치 맵은 다음 5단계 과정을 통하여 융합한다.

①　노출 속도가 다른 두 장의 원본 영상을 라플라스 피라미드 분해 방법을 이용하여 각 영상에 대하여 레벨별로 피라미드 층을 생성한다. 각 층은 다른 밴드의 주파수를 가지고 있다.

② 정규화된 가중치 맵의 가우시안 피라미드를 생성한다.

③ 각 레벨의 피라미드 층의 화소끼리 곱셈 연산을 취한다.

④ 두 영상의 피라미드 층에서 같은 피라미드 층끼리 더하여 하나의 합쳐진 피라미드를 생성한다.

⑤ 피라미드 재구성을 통해 융합된 결과 영상을 생성한다.

 

3. 성능 평가지표

본 논문에서 제안한 결과 영상에 대한 평가를 위하여 HMD(homogeneity mean difference)의 내부척도인 H(homogeneity)를 사용하였다[26]. HMD는 에지(edge)정보를 제외한 엔트로피(entropy), 표준편차를 기반으로 원본 영상과 대상 영상의 H를 비교하여 영상의 잡음의 강도를 검출한다. HMD는 잡음에 예민하게 반응하지만 대조비 차이에는 영향을 받지 않는 특성을 가지고 있다. 본 논문에서는 이러한 특성을 이용하여 H를 잡음의 강도를 측정하는 평가지표로 활용하고자 한다.

3.1 H 평가 지표

H는 HMD와 동질한 지표로 에지와 엔트로피, 표준편차를 기반으로 결과 영상의 균질성을 측정한다. 이를 융합된 영상의 균질성을 파악하는 도구로 활용하고자 한다. 구현 방법은 아래와 같다. 영상 크기는 M×N 윈도우 크기는 d×d로 가정한다.

① 영상의 잡음을 측정할 때 영상의 정보인 에지를 제외하고 잡음을 평가하기 위하여 식 (9)와 같이 좌표(x, y)에서의 소벨(Sobel) 에지 Edge(x,y)를 구한다. SH는 수평방향 SV는 수직방향의 에지성분으로 3×3의 커널을 사용하여 계산한다.

② 엔트로피 E(x,y)를 구한다. 엔트로피는 한 화소를 기준으로 주변에 갑작스러운 화소 값 변화가 발생하는지를 측정하는데 사용한다. k는 d×d창 영역의 화소강도 레벨의 색인이며 pk는 k번째 확률이다. 이는 식 (10)을 따른다.

③ 표준편차 S(x,y)를 구한다. 표준편차는 d×d창에 대하여 식 (11)을 따른다.

식 (11)에서 I(p,q)는 좌표 (p,q)에서의 영상의 화소값이며 m(x,y)는 그 화소가 속한 윈도의 평균값을 나타낸다.

④ 에지, 엔트로피, 표준편차를 각각 정규화한다. 에지는 화소의 최댓값으로 나누어 정규화하며 정규화된 에지는 로 표시한다. 엔트로피는 엔트로피의 최댓값으로 나누어 정규화하며 정규화된 엔트로피는 로 표시한다. 표준편차는 중심 값으로 나누어 정규화하며 정규화된 표준편차는 로 표시한다.

⑤ 균질성 값을 구한다. 정규화된 에지와 엔트로피 그리고 표준편차를 모두 역수를 취한 후 곱한 결과는 영상의 균질성 값이다. 블록 단위로 영상을 평가함으로써 주변화소간의 연관성이 높고 화소가 고르게 분포 할수록 값이 커진다. 이는 식 (12)를 따른다.

식 (12)의 H의 값은 면적에 영향을 받기 때문에 비교를 위해서는 영상의 면적으로 나눈 값으로 사용하기로 한다. Fig. 2에 원본 영상과 원본 영상에 대해 가우시안 잡음 강도를 다르게 적용한 사례를 보였다.

Fig. 2.(a) Original image, (b-d) Gaussian noise(Mean=0, Variance=0.01, 0.05, 0.1).

Fig. 3은 Fig. 2의 원본 영상(a)에 다양한 가우시안 잡음을 첨가하여 측정한 H의 결과를 보인 것이다. 그중 빨간 점은 Fig. 2의 (a-d) 영상에 대한 표시한다. 그림에 보인 바와 같이 잡음이 커질수록 H의 값이 줄어들기 때문에 H가 잡음을 판단하는데 유효함을 알 수 있다.

Fig. 3.Homogeneity measurement about difference of gaussian_noise_variance.

 

4. 실험 영상 적용 결과

Fig. 4에 실험에 사용된 영상의 사례를 보였다. 그림에서 (a)는 단노광 입력 영상, (b)는 장노광 입력 영상, (c)는 기존 방법의 결과 영상, (d)는 제안한 방법의 결과 영상이다.

Fig. 4.(a) Long exposure image, (b) Short exposure image, (c) Mertens(CSW) result, (d) Proposed(GPV) result.

제안된 방법의 잡음 특성을 평가하기 위해 각 화소와 주변화소와의 균질성을 측정하는 HO를 활용하여 기존 방법과 제안한 방법으로 융합된 결과 영상들에 대하여 측정한 결과를 Fig. 5에 보였다. 그림에서 보인 바와 같이 H 측정 결과는 기존의 방법에 비해 제안한 방법이 모두 좋은 결과를 보였다. 실험에 사용된 영상 및 결과 영상은 다음 링크에서 확인할 수 있다.

Fig. 5.Homogeneity of output images.

https://drive.google.com/folderview?id=0Bx8EI6s_UORaWHlzMnpQWEh5UDg&usp=sharing

Fig. 6은 기존방법으로 융합한 결과 영상과 제안한 방법으로 융합한 결과 영상과 그 일부분(하단부)을 확대한 영상이다. Fig. 6의 (a)에서 보인 바와 같이 기존 방법(CSW)[14] 기반의 결과는 영상에 많은 잡음이 발생할 수 있으며 주변화소와의 균질성이 떨어지고 있음을 보이고 있다. 이는 각 입력 영상들의 상호 연관 관계를 무시하고 화소의 선호도만으로 가중치를 결정하기 때문에 나타나는 결과로 판단된다. 반면 제안한 방법은 입력 영상의 흑백 계조 값에 의존하여 가중치를 결정하기 때문에 장면 내에 존재하는 화소간의 연결 관계가 안정적으로 적용되어 Fig. 6의 (b) 하단부와 같이 잡음이 줄어드는 결과를 얻을 수 있는 것으로 분석된다.

Fig. 6.(a) Mertens(CSW) result, (b) Proposed(GPV) result.

Table 1에 CSW 알고리듬[14]과 제안된 GPV 알고리듬의 연산 소요 내용을 비교하였다. 제안 방법은 단노광 영상에서 연산 부담이 없고 장노광 영상에 대해서만 역상처리를 위한 감산 영상만 필요하므로 기존의 알고리듬에 비해 연산량 및 연산 복잡도가 상당히 적음을 알 수 있다.

Table 1.* Gray conversion is necessary in advance.

연산 소요시간을 비교하기 위하여 i3-4160, 3.60GHz, 메모리 8.00GB, 내장그래픽 HD 4400 환경에서 소요 시간을 측정하였다. 사용된 프로그램은 Matlab R2014a이며 20개의 서로 다른 영상을 번갈아가며 가중치를 구하는데 소요된 시간의 평균을 구하고 이와 같은 실험을 10회 반복 수행하여 최종 평균을 구하였다. Table 2에 두 방법의 연산 소요 시간을 보였다. 제안한 방법은 기존의 방법에 비해 4.12배의 속도 향상이 있었음을 알 수 있다.

Table 2.Average of weighting operation

 

5. 결 론

이상으로 노출 속도가 다른 두 영상을 이용하여 흑백 계조기반의 평가지표를 사용한 라플라스 피라미드 영상 융합 방법을 설명하였다. 제안된 방법은 흑백 계조 영상을 기반으로 가중치 반영 비율을 결정하기 때문에 입력 영상의 각 장면 내에 존재하는 화소간의 상호의존적인 관계가 안정적으로 적용되는 특성을 가지고 있다. 또한 가중치를 연산하기 위한 평가 지표의 연산이 단순하다는 장점이 있다. 이로 말미암아 제안된 방법은 기존의 방법에 비해 영상 잡음이 줄어들고 수행속도가 개선되는 장점을 지니고 있다. 본 방법의 효용성을 검증하기 위해 융합된 결과 영상에 대해 균질성 지표 H를 사용하여 종래의 방법에 비해 개선된 영상 잡음의 효과를 입증하였고 연산시간의 비교를 통해 본 알고리듬의 실제 적용관점에서의 유리함도 함께 살펴보았다.

제안된 방법은 노출 속도를 달리하는 두 개의 영상에 적용할 수 있기 때문에 디지털 카메라, 스마트폰 카메라와 같은 현재의 민수용 카메라에 적용하는데는 무리가 없는 것으로 파악된다. 하지만 더 광대역의 조도를 가진 장면을 처리하기 위해서는 다수영상을 처리할 수 있도록 알고리듬의 일반화에 대한 연구가 필요할 것으로 보인다. 또한 피라미드 기반의 접근 방법은 많은 양의 연산을 요하므로 실시간 관점에서 프로세서가 처리하기에 불리한 요소가 있다. 이에 대한 해결책으로 다해상 기반의 영상 처리에 대한 속도 개선 방안에 대한 연구도 함께 필요할 것으로 예상된다.