Efficient Method for Recovering Spectral Reflectance Using Spectrum Characteristic Matrix

스펙트럼 특성행렬을 이용한 효율적인 반사 스펙트럼 복원 방법

Abstract

Measuring spectral reflectance can be regarded as obtaining inherent color parameters, and spectral reflectance has been used in image processing. Model-based spectrum recovering, one of the method for obtaining spectral reflectance, uses ordinary camera with multiple illuminations. Conventional model-based methods allow to recover spectral reflectance efficiently by using only a few parameters, however it requires some parameters such as power spectrum of illuminations and spectrum sensitivity of camera. In this paper, we propose an enhanced model-based spectrum recovering method without pre-measured parameters: power spectrum of illuminations and spectrum sensitivity of camera. Instead of measuring each parameters, spectral reflectance can be efficiently recovered by estimating and using the spectrum characteristic matrix which contains spectrum parameters: basis function, power spectrum of illumination, and spectrum sensitivity of camera. The spectrum characteristic matrix can be easily estimated using captured images from scenes with color checker under multiple illuminations. Additionally, we suggest fast recovering method preserving positive constraint of spectrum by nonnegative basis function of spectral reflectance. Results of our method showed accurately reconstructed spectral reflectance and fast constrained estimation with unmeasured camera and illumination. As our method could be conducted conveniently, measuring spectral reflectance is expected to be widely used.

1. 서 론

현재 바라보는 장면을 기록으로 남기고 그대로 보여주기 위해 카메라와 디스플레이 기술이 발전해 왔다. 사람의 눈은 RGB 3가지 색을 감지할 수 있고 3가지 색으로 다른 색들을 나타낼 수 있기 때문에 카메라와 디스플레이는 RGB를 사용해왔다. 하지만 많은 연구와 디지털 데이터에서는 눈으로 구별되는 색 정보 이상의 정보가 필요하다. 실제로 RGB 정보 이상인 다중 스펙트럼을 이용해서 더 향상된 영상처리결과를 얻는 연구들이 진행되고 있다[8].

더 많은 색 정보를 나타내는 방법들 중 물체의 반사 스펙트럼을 이용하는 방법이 있다. 반사 스펙트럼을 색 정보로써 이용할 수 있는 이유는 빛의 파워 스펙트럼, 분광 감도, 그리고 물체의 반사 스펙트럼에 의해 색이 결정되기 때문이다. 빛의 파워 스펙트럼은 장소에 따라 변하고 분광 감도는 사람이나 카메라 등의 측정 장비마다 다르다. 하지만 물체의 반사 스펙트럼은 대부분의 물체에 대해서 변하지 않아서 물체 고유의 색상 정보를 가지고 있다. 정확도 면에서도 주파수 대역별 정보를 갖고 있기 때문에 RGB 3채널에 비해서 높은 정확도를 보인다. 즉, 반사 스펙트럼을 알고 있으면 임의의 조명과 카메라를 사용한 새로운 영상을 계산함으로써 획득할 수 있고 미세한 색의 차이를 더 쉽게 관찰할 수 있다[1].

반사 스펙트럼을 구하기 위한 연구는 멀티채널 카메라를 이용한 각 주파수 대역 별로 얻은 데이터를 조합하는 방법과 기저함수로 반사 스펙트럼을 나타내는 모델기반 반사 스펙트럼 방법이 있다[2]. 모델기반 반사스펙트럼은 기저함수의 신뢰도에 따라 정확도가 높은 유용한 방법이지만 카메라와 조명의 스펙트럼 특성이 필요하고 복원된 스펙트럼을 양수로 보정하기 위해 계산시간이 긴 단점이 있다. 스펙트럼 특성이 필요한 문제를 일상적인 조명으로 해결하는 방법과 계산 시간이 오래 걸리는 단점을 비음수 PCA(Principal Component Analysis)로 시간을 단축시킬수 있다[3-5].

본 논문에서는 카메라와 조명의 스펙트럼 특성을 따로 구하지 않고 두 값이 포함된 스펙트럼 특성행렬을 기준색상을 이용하여 구한다. 스펙트럼 특성행렬과 그 조건에 맞는 조명과 카메라로 얻은 영상으로 스펙트럼 복원을 하며, 비음수 PCA로도 완전히 지켜지지 않았던 양수가 되도록 하는 제약조건을 더 만족시키는 방법을 제안한다.

제안하는 방법의 구성도는 Fig. 1과 같다. 반사 스펙트럼을 선형 결합으로 표현하기 위한 기저함수 비음수 PCA와 컬러체커 차트 (Macbeth Color Checker)의 반사 스펙트럼으로부터 기저함수 계수 σ를 구할 수 있다. 이렇게 얻은 σ와 얻고자 하는 조명과 카메라 특성에서 획득한 영상의 컬러체커 차트로부터 스펙트럼 특성행렬 F를 추정한다. 마지막으로, 반사 스펙트럼의 적용을 위하여 스펙트럼 특성행렬과 새로 획득할 영상의 조명과 카메라 특성으로 새로운 영상을 최소자승법을 사용하여 획득한다.

Fig. 1.Block diagram of recovering spectral reflectance.

 

2. 모델기반 반사 스펙트럼 복원

카메라의 영상획득은 Fig. 2에서 확인할 수 있듯이 조명, 객체와 카메라의 영향을 받고 선형 모델로 나타내면, 식 (1)로 나타낼 수 있다. 여기서 pn(λ)는 n개의 조명에서의 스펙트럼 파워 분포, cm(λ)는 m개의 컬러 채널에 대한 카메라 스펙트럼 응답 특성, 그리고 s(λ)는 객체의 반사 스펙트럼이다. 예를 들어 RGB카메라로 다른 조명에서 촬영한 두 사진을 사용하면, m은 3, n은 2이고 획득한 영상은 6개이다.

Fig. 2.Illustration of multispectral imaging system.

모델기반 반사 스펙트럼 복원은 반사 스펙트럼을 기저함수들의 선형 결합으로 나타낼 수 있음을 이용한다. Parkinnen이 제안한 반사 스펙트럼의 기저함수는 8개만 사용해도 정확도가 99%가 될 정도로 기저함수의 선형 결합 방법은 높은 정확도를 가진다[6]. 반사 스펙트럼을 효율적으로 나타내기 위해 기저함수의 선형 결합으로 나타내면 다음과 같다.

bk는 k번째 기저함수이고 σk는 기저함수의 계수이다. 식 (1)의 반사 스펙트럼을 식 (2)와 같은 기저함수의 선형결합으로 나타내면 식 (3)과 같이 정리할 수 있다.

파장 대역에서 표현되는 세 함수인 기저함수, 카메라 스펙트럼 응답 특성과 조명의 스펙트럼 파워분포의 적분과 계수를 분리하여 식 (4)와 같이 나타낼 수 있다. 여기서 F는 이 논문에서 제안하는 스펙트럼 특성행렬이다.

두 특성함수와 기저함수의 파장대역에서 적분으로 스펙트럼 특성행렬 F를 구할 수 있고 같은 조건에서 얻은 영상 I로 식 (4)에 의해 σk를, 식 (2)로 반사 스펙트럼 s(λ)를 구할 수 있다. 여기서 파장대역 성분인 조명과 카메라의 특성을 따로 측정하지 않고 F행렬을 구하면 스펙트럼을 더 효율적으로 획득 할 수 있다.

 

3. 스펙트럼 특성행렬 추정

기존의 스펙트럼 특성행렬을 구하는 방법은 카메라 응답특성과 조명의 스펙트럼 파워 분포를 각각 측정해서 계산하는 방법이었다. 하지만 조명의 스펙트럼 분포와 카메라의 응답특성의 측정을 위한 과정과 방법은 매우 까다롭다.

본 논문에서는 식 (4)의 스펙트럼 특성행렬을 구하기 위해 카메라 스펙트럼 응답 특성과 조명의 스펙트럼 파워 분포 대신에 σ와 I의 선형연립방정식을 풀어 F를 구한다. 정확한 σ를 얻기 위해 색상이 알려진 컬러 차트의 스펙트럼 분포와 기저함수로 식 (2)의 방정식을 푼다 [6]. 이 풀이는 많은 색을 참고할수록 정확한 특성행렬을 구할 수 있으며, 반복이 없이 빠른 계산을 위해 비음수 최소자승법과 스펙트럼 반사 특성이 양수가 되도록하는 비음수 PCA를 기저함수로 사용한다.

 

4. 스펙트럼 조건에 성립하는 반사 스펙트럼 획득

특성을 아는 카메라와 조명을 사용해서 얻은 영상 I와 F로 식 (4)를 풀기 위해선 제약조건인 스펙트럼 반사 특성이 항상 양수가 되어야 한다는 식 (5)의 조건이 해결돼야 한다.

이전의 방법은 빠른 계산을 위해 제약조건이 없이 최소자승법으로 스펙트럼을 복원하고 제약조건을 해결하기 위해 비음수 PCA를 기저함수로 선택했지만 제약조건이 완전히 해결되지 않았다. 이 논문에서는 기존의 연산 속도를 유지하면서 제약조건을 더 확실히 하기 위해 식 (2)의 계수 σ를 비음수 최소자 승법으로 얻는 방법을 제안한다. 비음수 기저함수의 계수로 구한 특성행렬 F가 복원된 스펙트럼의 계수가 비음수일 가능성을 높인다.

복원된 반사스펙트럼을 구성하는 기저함수의 계수를 구하기 위해서 식 (4)를 식 (6)과 같이 나타낼 수 있다. 위 식을 그대로 풀면 복원된 스펙트럼이 급격한 변화를 보이기 때문에, 스펙트럼을 평탄화하기 위한 항과 계수를 추가해 식 (7)로 나타낼 수 있다.

식 (7)을 least square로 풀어 구한 기저함수의 계수 σ로 식 (2)에 의해 모델기반 반사 스펙트럼을 구할 수 있다.

 

5. 실험 결과 및 분석

실험에는 Vieworks VC-12MC로 4096x3072의 해상도를 갖는 3채널 RGB 카메라와 power LED 번들, 컬러체커 차트가 사용되었고 사용한 조명 수와 영상의 수는 2개이다. 조명은 적, 황, 녹, 청, 백 5개의 색을 적, 녹과 청, 백, 황 2개의 조합으로 구성했다. 이 2개의 조명 조합은 카메라의 RGB 채널에서 각 조명의 파워가 주파수 대역에서 겹치지 않도록 조합되었다.

Fig. 3.Scene pictured with suggested illumination. (a) red and green, (b) blue, white, and amber.

Fig. 4는 비음수 PCA로 구한 반사 스펙트럼과 비음수 최소자승법을 적용해서 구한 스펙트럼이 음수값이면 흰색으로 표시해 비교했다. 비음수 PCA만 사용한 반사 스펙트럼보다 제약조건을 잘 지켰음을 확인할 수 있었고 제약조건이 지켜지지 않은 영역은 정반사와 노이즈의 영향을 받은 곳으로 제약조건이 대부분 지켜짐을 보였다.

Fig. 4.Negative spectrum is shown in white. Estimated spectrum by nonnegative PCA with (a) least Square, (b) nonnegative least square.

Fig. 6는 제안한 방법대로 계산한 스펙트럼과 비음수 PCA의 결과, 그리고 참값과 비교한 것이다. 계산된 스펙트럼 결과와 참값의 차이가 크지 않고 이전의 방법보다 성능이 떨어지지 않음을 확인할 수 있다. 스펙트럼 특성행렬 복원방법에 기반한 제안한 방법과 최소자승법만 적용한 평균제곱오차를 Table 2에 나타내었다.

Fig. 5.Relighted scene by characteristic matrix with unmeasured camera and illumination.

Fig. 6.Recovered spectral reflectance with suggested method. ground truth (red), nonnegative least square (blue), least square (green).

Table 1.The performance for negative spectrum by nonnegative PCA with least square, nonnegative least square.

Table 2.The performance for estimated spectrum by nonnegative PCA with least square, nonnegative least square

 

6. 결 론

이 논문은 조명의 파워 스펙트럼과 카메라의 응답특성을 따로 측정하지 않고 컬러체커를 이용해서 반사 스펙트럼을 구할 수 있음을 보였다. 또한, 비음수 조건을 추가함으로서 양수의 스펙트럼을 가져야 하는 제약조건을 지킬 가능성을 높였고 복원된 스펙트럼의 오차도 증가하지 않고 유지시킬 수 있었다. 아울러 제안된 방법은 조명의 자세한 스펙트럼과 카메라의 종류에 영향을 받지 않으며 조명의 개수와 기저함수의 개수에 따라 향상된 성능을 보일 수 있으므로 정확한 스펙트럼 복원에 유용하게 사용될 것으로 기대된다.