Image Noise Removal using State Estimation Filter

상태 추정 필터를 이용한 영상 잡음 제거

Abstract

Acquiring high-quality images in control and measurement systems is one of the important factors. Among image acquisition technologies, SFF (Shape from Focus) is a technology for recovering a 3D shape by acquiring 2D images with different focus levels by moving an object at a predetermined step size along the optical axis. For SFF, when an object is moved at a constant step size, mechanical vibration, referred as jitter noise, occurs in each step along the optical axis. In this paper, a new state estimation filter is designed and applied for reducing the jitter noise. For the application of the proposed method, the jitter noise and focus curves are modeled as Gaussian function. Experimental results demonstrate the effectiveness of proposed method.

관제 및 측정 시스템 등에서 고품질 영상을 획득하는 것은 중요한 요소 중 하나이다. 영상 획득 기술 중에서 SFF (Shape from Focus)는 물체를 광축 방향으로 사전에 결정된 스텝 사이즈로 이동시킴으로써 초점 정도가 다른 2D 영상들을 획득함으로써 삼차원 형상을 복원하는 기술이다. SFF를 위해 일정한 스텝 사이즈로 물체를 이동시킬 때 각 스텝에서 광축 방향으로 기계 진동, 즉 지터 노이즈가 발생한다. 본 논문에서는 이 지터 노이즈의 영향을 줄이기 위해 새로운 상태 추정 필터를 설계 및 적용한다. 제안된 방법의 적용을 위해 지터 노이즈와 초점 커브는 가우시안 함수로써 모델링한다. 실험 결과들을 통해 제안된 방법의 효율성을 증명한다.

1. 서론

관제, 측정 등을 위한 다양한 분야에서 고품질 영상을 획득하는 것은 중요한 요소 중 하나이다 [1]. 영상 획득 기술 중에 Shape from Focus (SFF)는 초점 정도가 다른 2D 영상들을 획득하기 위해 물체를 광축을 따라 일정한 스텝 사이즈로 이동시킨다. 그리고 초점값들을 계산하기 위해 획득된 영상 시퀀스의 각 영상 프레임에 Sum of Modified Laplacian (SML)과 같은 초점 측정 연산자가 적용된다. 마지막으로 광축을 따라 각 픽셀의 초점값들을 최대화하는 영상 프레임들을 찾음으로써 최종 깊이 맵을 얻을 수 있다. 이러한 초기 방법을 SFF.TR이라고 부른다 [2]. 많은 SFF 기술들이 개선된 깊이 맵을 획득하기 위해 제안되었다. 예를 들어, 최적화 방법으로써 동적 계획법을 사용하는 SFF.DP [3], Bezier 표면 근사를 사용하여 SFF.TR을 통해 획득한 초기 물체 형상을 개선하는 SFF.BS [4] 등이 있다. 그러나, SFF를 위해 2D 영상 시퀀스가 획득될 때, 그림 1과 같이 지터 노이즈라고 불리는 기계 진동이 광축을 따라 각 영상 프레임 위치에서 발생한다 [5]. 지터 노이즈는 영상 시퀀스의 초점값들을 변화시키기 때문에 삼차원 형상 복원의 성능을 떨어뜨린다. 본 논문에서는, 제안된 방법의 적용을 위해 지터 노이즈와 초점 커브를 가우시안 함수로써 모델링한다. 마지막으로, 제안된 방법인 베이즈 필터가 초점 커브에 있는 지터 노이즈 영향을 줄이기 위해 설계 및 적용된다. 실험 결과들을 통해 제안된 방법의 효율성을 증명한다.

그림 1. 초점 기반 형상 복원.

Fig. 1. Shape from Focus.

2. 본론

2.1 노이즈 모델링

기계 및 환경적인 요소로 인한 지터 노이즈는 각 영상 프레임 위치에서 발생하고 그림 2와 같이 가우시안 함수로써 모델링될 수 있다.

그림 2. 가우시안 노이즈 모델링.

Fig. 2. Gaussian noise modeling.

가우시안 함수는 평균 z_g과 표준 편차 σ_g을 가지도록 모델링된다. 평균 z_g는 노이즈가 없는 각 영상 프레임의 위치를 나타낸다. 실험에서 사용되는 실제 물체들에 대해서는 피사계 심도가 식 (1)과 같이 몇몇 요소들에 의해서 결정되기 때문에 표준 편차 σ_g은 반복된 실험을 통해 각 물체들의 샘플링 스텝 사이즈보다 10배 작은 값으로써 설정한다 [5].

D_field = 2f²(m +1)(Nc/N²c² - f²m²)       (1)

f는 초점 거리, m은 배율, N은 렌즈 f 수, c는 착란원을 나타낸다.

2.2 초점 커브 모델링

지터 노이즈를 필터링하기 위해 초점 측정 연산자 중 하나에 의해서 얻어진 초점 커브가 식 (2)와 같이 가우시안 함수로 모델링된다 [2].

F(z) = F_p ∙ e^{(-1/2(z-z_f)σ_f)2)}       (2)

z는 각 영상 프레임의 위치, F(z)는 z에서의 초점값, z_f는 초점이 가장 잘 맞춰진 위치, σ_f는 가우시안 함수에 의해서 근사화된 초점 커브의 표준 편차, F_p는 초점 커브의 진폭을 나타낸다. 식 (2)에 자연 로그를 적용하면 식 (3)을 얻을 수 있다.

\(\begin{aligned}\ln (F(z))=\ln \left(F_{p}\right)-\frac{1}{2}\left(\frac{z-z_{f}}{\sigma_{f}}\right)^{2}\end{aligned}\)       (3)

초점 측정 연산자 중 하나를 통하여 얻어진 초기에 초점이 가장 맞춰진 위치 z_i와 z_i의 바로 위 아래 위치인 z_i-1과 z_i+1, 이 위치들에 상응하는 초점값들인 F_i, F_i-1, F_i+1를 사용하여 식 (4)와 (5) 같이 z_f와 σ²_f를 얻을 수 있다.

\(\begin{aligned}z_{f}=\frac{\left(\ln \left(F_{i}\right)-\ln \left(F_{i+1}\right)\right)\left(z_{i}^{2}-z_{i-1}^{2}\right)-\left(\ln \left(F_{i}\right)-\ln \left(F_{i-1}\right)\right)\left(z_{i}^{2}-z_{i+1}^{2}\right)}{2\left(\left(\ln \left(F_{i}\right)-\ln \left(F_{i-1}\right)\right)+\left(\ln \left(F_{i}\right)-\ln \left(F_{i+1}\right)\right)\right)}\end{aligned}\)       (4)

\(\begin{aligned}\sigma_{f}^{2}=-\frac{\left(z_{i}^{2}-z_{i-1}^{2}\right)+\left(z_{i}^{2}-z_{i+1}^{2}\right)}{2\left(\left(\ln \left(F_{i}\right)-\ln \left(F_{i-1}\right)\right)+\left(\ln \left(F_{i}\right)-\ln \left(F_{i+1}\right)\right)\right)}\end{aligned}\)       (5)

식 (4)와 (5)를 사용하여 식 (6)과 같이 F_p를 얻을 수 있다.

\(\begin{aligned}F_{p}=\frac{F_{i}}{\exp \left(-\frac{1}{2}\left(\frac{z_{i}-z_{f}}{\sigma_{f}}\right)^{2}\right)}\end{aligned}\)       (6)

식 (4)와 (5)를 사용하여 식 (6)과 같이 F_p를 얻을 수 있다. 식 (4), (5), (6)의 결과들을 식 (2)에 적용함으로써 가우시안 함수로 모델링된 최종 초점 커브를 얻을 수 있다. 본 논문에서는 지터 노이즈가 고려되기 때문에 식 (2)는 식 (7)과 같이 수정될 수 있다.

F_g(z) = F_p ∙ e^{(-1/2((z+ζ)-z_f)/σ_f)2)}       (7)

ζ는 가우시안 함수에 의해서 모델링된 지터 노이즈를 나타낸다.

2.3 제안된 방법

제안된 방법인 베이즈 필터를 통해 알려지지 않은 확률 밀도 함수를 반복적으로 추정하고 가장 높은 확률을 가지는 각 영상 프레임의 위치를 획득한다. 베이즈 필터의 SFF 적용을 위해 현미경의 스테이지가 광축을 따라 진동함으로써 영상 프레임 위치가 변하기 때문에 노이즈를 각 영상 프레임 위치에 더한다. 변화된 각 영상 프레임의 위치는 베이시안 추정에 의해서 필터링된다. 본 논문에서는 각 영상 프레임의 추정된 위치 범위를 식 (8)과 같이 가정한다.

z_g - 3σ_g ≤ s_g ≤ z_g + 3σ_g       (8)

s_g는 각 영상 프레임의 추정된 위치, z_g은 각 영상 프레임의 실제 위치, σ_g은 이전 섹션에서 모델링된 지터 노이즈의 표준 편차를 나타낸다. 제안된 필터는 식 (8)의 범위에서 0.01 간격으로 영상 프레임 위치의 확률을 계산한다. 본 논문에서는, 식 (8)에서의 범위가 그림 2와 같이 지터 노이즈에 의해서 변화되는 각 영상 프레임의 위치의 99.7%를 포함한다. 각 영상 프레임의 가능한 위치의 확률을 계산하기 위한 가우시안 모델은 식 (9)와 같다.

\(\begin{aligned}p_{g}(j)=\frac{1}{\sqrt[2]{2 \pi \sigma_{g}^{2}}} e^{\left(-\left(x_{g}(i)-s_{g}(j)\right)^{2} / 2 \sigma_{g}^{2}\right)}, 1 \leq i \leq N, 1 \leq j \leq M\end{aligned}\)       (9)

P_g(j)는 가우시안 확률 밀도 함수, x_g(i)는 지터 노이즈에 의해서 변화된 각 영상 프레임의 위치, s_g(j)는 각 영상 프레임의 위치, M은 식 (8)에서 s_g의 전체 길이, N은 반복 횟수를 나타낸다. 본 논문에서는 N을 100으로 설정한다. 반복이 진행됨에 따라 각 영상 프레임의 가능한 위치들에 대한 확률 값들이 누적하여 더해진다. 최종적으로, 식 (8)의 전체 위치에 대하여 가장 높은 확률 값을 가지는 위치가 각 영상 프레임의 최적 위치가 된다.

3. 실험 및 결과

실험을 위해 그림 3과 같이 가상 샘플로서 (a)의 Simulated cone을 사용하였고 [6], (b)-(d)와 같이 로지텍 카메라와 소니 카메라를 통해 획득한 실제 샘플 영상들을 사용하였다. (b)는 로지텍 카메라를 통해 획득한 첫 번째 샘플, (c)는 소니 카메라를 통해 획득한 샘플, (d)는 로지텍 카메라를 통해 획득한 두 번째 샘플이다 [7]. Simulated cone 영상은 360 × 360 × 93, 로지텍 카메라를 통해 획득한 실제 샘플 영상들은 640 × 480 × 51, 소니 카메라를 통해 획득한 실제 샘플 영상은 640 × 480 × 50 차원을 가진다. 정량적인 비교를 위해 평균 제곱근 오차(RMSE), 상관 계수(Correlation)의 측정 방법들이 사용된다[8]. RMSE는 값이 작을수록, 상관 계수는 값이 클수록 더 정확한 삼차원 형상 복원 결과를 제공한다는 것을 의미한다. 표 1과 2는 Simulated cone의 삼차원 형상 복원을 위해 다양한 SFF 기술들을 사용하여 필터링 전과 후의 정량적인 성능 결과를 제공한다. SFF.TR, SFF.DP, SFF.BS 구현을 위해 초점 측정 연산자는 SML을 사용하였다. 표 1과 2를 통해 어떠한 SFF 기술을 사용하더라도 제안된 방법인 Bayes filter의 적용을 통해 RMSE는 낮고 상관 계수는 더 큰 결과를 제공한다는 것을 알 수 있다.

그림 3. 실험 샘플.

Fig. 3. Experimental samples.

표 1. Simulated cone의 형상 복원에 대한 RMSE 비교

Table 1. RMSE comparisons for 3D shape recovery of simulated cone

표 2. Simulated cone의 형상 복원에 대한 상관 비교

Table 2. Correlation comparisons for 3D shape recovery of simulated cone

그림 4와 5은 실험 샘플들의 삼차원 형상 복원을 위해 다양한 SFF 기술들을 사용하여 필터링 전과 후의 정성적인 성능 결과를 제공한다.

그림 4. 가상 및 실제 샘플에 대한 삼차원 형상 복원 결과의 정성적인 분석.

Fig. 4. Qualitative analysis of 3D shape results for synthetic and real objects.

그림 5. 실제 샘플에 대한 삼차원 형상 복원 결과의 정성적인 분석.

Fig. 5. Qualitative analysis of 3D shape results for real objects.

(a)-(c)와 (g)-(i)는 필터링 전, (d)-(f)와 (j)-(l)은 필터링 후 결과이고, 첫 번째 열은 SFF.TR, 두 번째 열은 SFF.DP, 세 번째 열은 SFF.BS를 이용한 삼차원 형상 복원 결과를 보여준다. 그림 4에서의 (a)-(f)는 Simulated cone, (g)-(l)은 로지텍 카메라를 통해 획득한 첫 번째 샘플에 대한 삼차원 형상 복원 결과이고, 그림 5에서의 (a)-(f)는 소니 카메라를 통해 획득한 실제 샘플에 대한 삼차원 형상 복원 결과, (g)-(l)은 로지텍 카메라를 통해 획득한 두 번째 샘플에 대한 삼차원 형상 복원 결과를 보여준다. 그림 4와 5를 통해 Bayes 필터링을 통해 획득한 형상 복원 결과가 필터링 전보다 잡음이 더 적고 표면이 매끄러운 결과를 제공한다는 것을 알 수 있다.

4. 결론

본 논문에서는, SFF를 위해 삼차원 형상 복원의 정확성에 영향을 끼치는 요소 중 하나인 지터 노이즈를 제거하기 위한 필터링 방법을 제안하였다. 우선, 지터노이즈는 평균 z_g과 표준 편차 σ_g을 가지는 가우시안 함수로 모델링하였다. 그러고 나서, SML을 통해 획득한 초점 커브는 제안된 방법의 적용을 위해 가우시안 함수로 모델링하였다. 마지막으로, 지터 노이즈를 제거하기 위해 제안된 방법인 Bayes filter가 설계 및 적용되었다. 실험 결과들을 통해 정량적인 관점에서 평균적으로 RMSE는 44%, Correlation은 43%만큼 성능이 개선되었고, 정성적인 관점에서 제안된 필터링 적용을 통해 필터링 전보다 잡음이 적고 형상 표면이 부드러운 결과를 제공하였다는 것을 알 수 있었다.