Three-Dimensional Visualization and Recognition of Micro-objects using Photon Counting Integral Imaging Microscopy

광자 계수 집적 영상 현미경을 사용한 마이크로 물체의 3차원 시각화와 인식

Abstract

In this paper, we propose three-dimensional (3D) visualization and recognition techniques of micro-objects under photon-starved conditions using photon counting integral imaging microscopy. To capture high resolution 2D images with different perspectives in the proposed method, we use Synthetic Aperture Integral Imaging (SAII). Poisson distribution which is mathematical model of photon counting imaging system is used to extract photons from the images. To estimate 3D images with 2D photon counting images, the statistical estimation is used. Therefore, 3D images can be obtained and visualized without any damage under photon-starved conditions. In addition, 3D object recognition can be implemented using nonlinear correlation filters. To prove the usefulness of our technique, we implemented the optical experiment.

본 논문에서는 광자 계수 집적 영상 현미경을 사용하여 광자가 희박한 조건에서 마이크로 물체의 3차원 시각화와 인식에 대한 기술을 제안한다. 제안하는 방법에서는 고해상도의 서로 다른 원근감을 가지는 2차원 영상을 획득하기 위해 합성조리개 집적 영상을 사용한다. 그리고 영상으로부터 광자를 추출하기 위해 광자계수 영상 시스템의 수학적 모델인 포아송 분포를 사용하며 통계적 추정법으로 부터 3차원 영상을 추정한다. 따라서, 광자가 희박한 조건에서 마이크로 물체가 손상되지 않으면서 그에 대한 3차원 영상을 획득하고 시각화할 수 있다. 추가적으로, 비선형 상관 필터를 사용하여 3차원 물체의 인식도 가능하다. 본 기술의 유용성을 증명하기 위해, 광학적 실험을 수행하였다.

Ⅰ. 서 론

최근 3차원 영상 기술에 대한 많은 연구가 보고되고 있다. 이러한 3차원 영상 기술들 중에서 집적 영상(Integral Imaging) [1]은 3차원 영상 획득 및 디스플레이 기술 중 하나인데, 이 방법은 무안경식이고 3차원 물체의 완전 시차와 연속적인 시점을 제공한다. 또한, 레이저를 사용하지 않기 때문에 야외의 3차원 장면을 획득하는 것이 가능하다. 이와 같은 집적 영상의 장점을 활용하여 3차원 TV, 3차원 패턴 인식, 3차원 시각효과에 대한 연구가 활발히 진행되고 있다[2-7]. 하지만, 이기술은 저해상도의 3차원 영상 해상도를 가지고 좁은 시야각을 가지고 얕은 깊이감을 가진다. 이러한 단점들을 해결하기 위한 연구도 활발히 진행되고 있다[3-6].

집적 영상 기술은 크게 픽업과정과 복원 과정으로 나눌 수 있다. 픽업과정에서 3차원 물체의 다양한 각도에서 관측한 영상들을 기록한다. 이 영상을 요소 영상이라 부른다. 이 요소 영상은 렌즈 배열이나 카메라 배열 등을 이용하여 획득한다[2]. 픽업과정과는 다르게 집적영상의 복원 과정은 광학적 방법이나 컴퓨터적 방법이 가능하다. 광학적 방법에서는 렌즈 배열을 통하여 실제 3차원 영상을 공간에 재생할 수 있으며 디스플레이 장치에 응용된다[3,6,7]. 컴퓨터적 집적 영상 복원 방법은 렌즈 배열을 컴퓨터적 모델화를 통하여 3차원 공간 영상을 컴퓨터내에 복원한다. 이러한 3차원 복원 정보를 활용하여 3차원 시각화, 인식, 추적 등에 활용이 가능하다 [2,4,5].

한편, 현미경은 작은 물체나 미세한 정보를 획득하기 위한 광학적 영상 획득 장치이다[8]. 영상을 획득하기 위해서는 높은 출력의 광원이 필요한데 이는 생물학적 구조를 가지는 작은 세포들을 손상시킬 수 있다. 이러한 이유 때문에 저출력 광원의 사용이 필요하다. 하지만, 저출력의 광원을 사용하게 되면, 물체의 손상을 막을 수는 있지만 정확한 영상을 획득하기는 힘들다. 이러한 저출력 광원의 환경 즉 광자가 희박한 조건에서 영상을 획득하기 위해서는 광자 계수 영상 기법 (Photon counting imaging)이 활발히 연구되어 지고 있다[9-12]. 광자 계수 영상 기법은 광자가 희박한 조건에서 소량의 광자를 추출하는 기법인데 이는 수학적 통계 모델로 구현이 가능하다[13]. 따라서, 본 논문에서는 저출력 광원을 사용하는 환경에서 3차원 마이크로 물체의 영상을 획득하기 위해 광자 계수 집적 영상 현미경 기술을 제안하고 마이크로 물체에 대한 시각화 실험을 수행한다. 또한 복원된 영상을 이용하여 마이크로 물체 인식 실험을 수행한다.

 

Ⅱ. 3차원 광자 계수 집적 영상 현미경

광자 계수 영상 기법은 광자가 희박한 조건에서 영상을 획득할 경우에 사용될 수 있다. 물리적인 광자 계수 검출기는 빛의 세기를 증폭하여 광자 수로 표현하는 장치인데 비용적인 측면에서 활용에 어려움이 있다. 따라서 그림 1과 같이 광자 계수 검출기를 수학적 통계 모델로 구현하는 방법이 제안되었다[13]. 광자 계수 영상 기법은 포아송 분포를 따르는데, 이는 광자가 드물게 발생하기 때문이다. 본 논문에서는 계산의 편의를 위해 1차원 정보만을 다룬다. 광자 계수를 생성하는 식은 다음과 같다[9].

그림 1.광자 계수 영상 기법의 수학적 통계 모델 Fig. 1 Mathematical statistic model for photon counting imaging

여기서 Np는 추출하고자 하는 광자의 수이다. λk는 정규화된 k번째 영상을 나타내는데 다음 식으로 표현할 수 있다[9].

여기서 Ik는 k번째 획득한 영상이고 Nx는 영상의 x축 픽셀 수이다. 이와 같이 식 (1)과 (2)를 사용하고 Np를 조절하면 원하는 광자 계수 영상을 얻을 수 있다.

하지만 이렇게 생성된 광자 계수 영상은 2차원 영상이고 광자 수가 희박하기 때문에 물체를 인식하는데 어려움이 있다. 따라서 본 논문에서는 광자 계수 영상기법에 현미경과 집적 영상을 융합한 광자 계수 집적 영상 현미경을 제안한다. 또한, 고해상도의 서로 다른 원근감을 갖는 2차원 영상 (요소 영상)을 획득하기 위해 그림 2와 같이 합성 조리개 집적 영상 기술을 사용한다.

그림 2.합성 조리개 집적 영상 현미경 Fig. 2 Synthetic Aperture Integral Imaging (SAII) microscopy

집적 영상 기술을 사용하게 되면 다수의 요소 영상을 얻을 수 있는데 이 영상들은 물체의 다른 시점에서 획득한 것들이기 때문에 서로 다른 정보를 가지게 된다. 이러한 영상들과 통계적 추정방법인 최대우도추정(Maximum Likelihood Estimation: MLE)를 사용하게 되면 3차원 영상을 추정할 수 있다[9]. MLE를 수행하기 위해서는 우도(likelihood) 함수를 생성하여야 한다. 본 논문에서는 각 요소 영상을 식 (1)과 (2)를 사용하여 광자 계수 영상으로 변환하기 때문에 각 요소 영상은 포아송 분포를 따르게 되고 서로 통계적으로 독립이라고 가정한다. 따라서, 다수의 요소 영상으로부터 likelihood 함수를 생성하면 다음과 같다[10].

식 (3)을 통하여 MLE를 적용하는 것은 계산이 복잡하기 때문에 다음 식과 같이 log likelihood 함수를 사용하게 된다[10].

식 (4)를 λk에 대하여 편미분을 하고 0과 등가를 취하게 되면 다음과 같이 추정하고자 하는 파라미터 λk를 구할 수 있다[10].

식 (3)에서 식 (6)을 통하여 추정된 영상은 광자 계수 영상을 광자 수로 나눈 영상임을 알 수 있다.

이와 같이 추정된 영상들이 집적 영상에서는 k개가 있기 때문에 다음 식과 같이 컴퓨터 집적 영상 재생 기법(Computational Integral Imaging Reconstruction: CIIR)을 사용하여 3차원 영상을 시각화 할 수 있다[2].

여기서 △x는 3차원으로 재생되는 깊이 평면에서 각 요소 영상들이 중첩될 때 이동하는 픽셀의 수이고 p는 그림 2에 나타나 있는 것처럼 카메라간의 거리이며 f는 카메라의 초점거리이다. 또한, cx는 카메라 센서의 크기이고 zr은 카메라로부터 재생하고자 하는 깊이의 거리이며, O(x)는 각 요소 영상들이 중첩되는 회수이다.

 

Ⅲ. 비선형 상관 필터를 이용한 인식

식 (7)을 사용하여 3차원 영상을 획득할 수 있는데, 광자의 수가 매우 희박한 경우에는 시각화가 어렵기 때문에 물체를 인식하기가 쉽지 않다. 따라서, 비선형 상관 필터를 사용하여 물체를 인식하는 것이 보다 효율적이다. 본 논문에서는 비선형 상관 필터로 k 법칙 비선형 상관 필터를 사용한다[14,15]. 이 상관 필터는 k 값을 조절함으로써 위상 필터, 선형 필터, 비선형 필터가 될 수 있다. 이 필터는 다음 식으로 표현할 수 있다.

여기서 IFT는 푸리에 역변환이고 I는 입력 영상, R은 참조 영상, ϕI는 입력 영상의 위상, ϕR은 참조 영상의 위상이다. k=0이면, 위상 필터가 되고, k=1이면 선형 필터가 된다. 그리고 0

여기서 E[•]는 기댓값이고 σc는 상관결과의 표준편차이다. PSR 값이 클수록 좋은 상관관계를 나타내는 것이다. 따라서, 최대 PSR을 얻게 되는 k값이 최적의 k가 된다.

 

Ⅳ. 실험결과

본 논문에서는 광자 계수 집적 영상 현미경 기술을 검증하기 위해 광학적 실험을 수행하였다. 현미경은 20배율을 가지는 일반 현미경 렌즈를 사용하였고 50mm 초점 거리를 가지는 카메라를 사용하였다. 카메라 배열은 4(H)×3(V)를 사용하였고 카메라간의 간격은 px=5 mm, py=4 mm이다. 영상의 크기는 2331(H)× 2163(V) 픽셀이다. 그리고 물체의 깊이는 카메라로부터 224 mm이다. 그림 3은 일반적인 고출력 광원을 사용하여 획득한 영상과 광자 계수 영상을 보여준다. 여기서 광자의 수는 20,000개이다.

그림 3.획득한 영상. (a) 고출력 광원을 사용한 경우, (b) 광자 계수 현미경 기법을 사용한 경우 (광자수: 20,000개) Fig. 3 Recorded images (a) using high power light source and (b) using photon counting microscopy with Np=20,000

그림 3과 같은 요소 영상 12개를 SAII 기술을 이용하여 카메라를 이동하면서 획득하였다. 이들 기록된 12개의 영상에 대해서 식 (3)에서 식 (7)을 사용하여 3차원 시각화하면 그림 4와 같은 실험 결과를 얻을 수 있다. 그림 4(a)는 일반적인 고출력 광원을 사용할 때 224 mm 깊이에서 복원된 3차원 영상이다. 이와는 달리 그림 4(b)는 본 논문의 광자 계수 집적 영상 현미경을 사용하였을 때의 복원 영상이다. 224 mm 깊이에서 재생되었으며 광자수는 20,000개이다. 실험 결과로부터 저전력 광원에서 3차원 영상이 잘 복원됨을 실험적으로 확인하였다.

그림 4.224 mm 깊이에서의 3차원 재생 영상 (a) 고출력 광원을 사용한 경우, (b) 광자 계수 집적 영상 현미경을 사용한 경우 (광자수: 20,000개) Fig. 4 3D reconstructed images at 224 mm depth (a) using high power light source and (b) using photon counting integral imaging microscopy with Np=20,000

다음 실험으로 본 논문에서 제안하는 기술이 깊이 방향으로 3차원 물체를 인식할 수 있음을 위한 인식 실험을 수행하였다. 이를 위해서 다양한 저전력 광원에 대해서 3차원 영상을 복원하였다. 실험에서는 광자수를 20,000개, 30,000개, 40,000개 그리고 100,000개의 네 종류를 반복 실험하였다. 복원된 영상들에 대해서 식 (8)과 (9)를 사용하여 PSR을 구하였다. 계산된 PSR의 결과를 그림 5에 나타내었다. 이 실험에서 사용한 최적의 k값은 0.3이었다. 그림 5의 결과에서 알 수 있듯이, 깊이가 224 mm일 때, 최대 PSR을 얻게 됨을 알 수 있다. 또한, 광자의 수가 많을수록 PSR값이 높다는 것도 알 수가 있다. 이 실험 결과로부터 저전력 광원의 환경에서도 3차원 물체를 제대로 인식이 가능함을 실험적으로 확인하였다.

그림 5.재생 깊이 방향과 광자 수에 따른 PSR 그래프 Fig. 5 PSR graph via reconstruction depth and the number of photons

 

Ⅴ. 결 론

본 논문에서는 광자 수가 희박한 환경에서 3차원 광자 계수 집적 영상 현미경을 사용하여 3차원 마이크로 물체의 영상을 획득하고 시각화하는 방법에 대해 제안하였다. 또한, 보다 정확한 인식을 위하여 비선형 상관필터를 사용하였다. 제안되는 기술은 야간이나 광원에 취약한 물체의 영상을 획득하는데 응용될 수 있을 것이다. 하지만, 광자의 수가 매우 희박한 경우에는 3차원 시각화를 하는데 어려움이 있었다. 향후에는 보다 정밀한 고급 통계 추론방법인 베이지안 추론(Bayesian estimation)을 적용한 연구를 진행할 것이다.