Three-Dimensional Map System Using Integral Imaging Technique

집적 영상 기술을 이용한 3차원 지도 시스템

Abstract

In this paper, we suggest three-dimensional information extraction map system using integral imaging technique. Integral imaging can record multiple elemental images with different perspectives using a 2D image acquisition device with lenslet array. Using these images, integral imaging can obtain 3D information and display 3D image. In this paper, the position difference between elemental images can be obtained using summation of absolute difference (SAD), and then 3D information can be extracted. Therefore, this technique can find the height information of 3D objects.

본 논문에서는 집적 영상 기술을 사용하여 3차원 정보를 추출하는 지도 시스템을 제안한다. 집적 영상 기술은 렌즈 배열을 가지는 2차원 영상 획득장치를 사용하여 다수의 서로 다른 원근감을 가지는 요소 영상을 기록하고 이를 이용하여 3차원 정보를 획득하고 디스플레이하는 기술이다. 본 논문에서는 각 요소 영상간의 위치 차이를 절대 차이의 합 (Summation of Absolute Difference: SAD)를 사용하여 구하고 이를 이용하여 3차원 정보를 추출한다. 따라서, 3차원 물체의 높이 정보를 구할 수 있다.

Ⅰ. 서 론

3차원 영상처리에 대한 많은 연구들이 활발히 진행되고 있다. 특히, 집적 영상은 2차원 영상장치와 수동 광원을 사용하여 3차원 영상을 획득하고 디스플레이할 수 있는 기술이다 [1,4-12,14]. 이 기술은 스테레오 방식[2,3]과 달리 완전시차 (상하좌우시차)를 제공하며 3차원 영상을 관측하기 위한 특수 안경을 요구하지 않는다. 무안경식에는 홀로그래피 기술도 [13] 있는데, 이 기술은 기록광원으로 레이저와 같은 능동광원이 요구된다. 따라서, 야외에서 3차원 물체를 촬영하는데 용이하지 않다. 반면에, 집적 영상은 광원으로 일반적인 백색광원을 사용하기 때문에 야외에서 3차원 물체를 촬영하는 것이 가능하다. 집적 영상에서는 3차원 정보를 기록하기 위해 렌즈 배열을 사용한다. 이 렌즈 배열을 통해 기록되는 서로 다른 원근감을 가지는 다수의 2차원 영상을 요소 영상이라 한다. 이 요소 영상들을 동일한 렌즈배열을 사용하여 디스플레이하게 되면 3차원 영상이 재생된다. 또한, 컴퓨터 재생 기법 [4]을 사용하여 3차원정보를 추출할 수 있다. 하지만 집적 영상에도 문제점은 있다. 해상도가 낮고, 시야각이 좁으며, 깊이감이 얕다. 이러한 문제점들을 해결하기 위해 많은 연구들이 보고 되고 있다 [5-11]. 집적 영상에서 3차원 정보를 추출하기 위해서는 각 요소 영상들의 동일 픽셀의 위치 값을 계산해야 한다. 이 위치 값의 차이를 사용하여 기하광학적으로 깊이 정보를 추정하게 되면 3차원 정보를 얻을 수 있기 때문이다. 이 위치 값을 구하는 방법에는 여러가지가 있는데 [14,15], 본 논문에서는 영상의 절대 차이의 합 (Summation of Absolute Difference: SAD) 기술 [14]을 사용한다. 따라서, 이 SAD 기술과 집적 영상을 사용하면 3차원 물체의 높이 정보를 구할 수 있다.

 

Ⅱ. 집적 영상 기술과 SAD를 이용한 깊이 정보 추출

집적 영상 기술은 1908년 G. Lippmann [1]에 의해 처음 제안되었으며, 수동 광원과 렌즈 배열을 사용하여 3차원 정보를 획득하고 디스플레이할 수 있는 기술이다. 집적 영상은 두 개의 처리과정을 통해 3차원 영상을 획득하고 디스플레이 할 수 있는데, 그림 1에 그 개념이 설명되어 있다. 그림 1(a)에서 알 수 있듯이, 3차원 물체에서 나오는 광선들은 렌즈 배열을 통해 2차원 영상획득 장치에 기록된다. 이렇게 기록된 영상들은 서로 다른 원근감을 가지는데 이 정보를 사용하여 동일한 렌즈배열을 통과시켜 디스플레이하면 그림 1(b)에 나타나 있는 것처럼 3차원 영상을 재생할 수 있다.

그림 1.집적 영상 개념도 (a) 영상 획득 (b) 영상 디스플레이 Fig. 1 Concept of integral imaging (a) image pickup (b) image display

집적 영상에서 고해상도의 3차원 영상을 재생하기 위해서는 렌즈 배열 방식이 아닌 Synthetic Aperture Integral Imaging (SAII) [8] 기술이 사용된다. 이 기술은 그림 2에 나타나 있는 것처럼 영상획득장치 배열이나 단일 영상획득장치를 이동하여 요소 영상을 획득하는 방법이다. 따라서, 각 요소 영상의 해상도는 영상획득 장치의 해상도와 동일하다. 또한, 영상획득장치의 이동거리를 렌즈의 직경보다 작게 할 수 있기 때문에 보다 정밀한 깊이 정보를 추출할 수 있다. 본 논문에서는 SAII 방식을 사용하여 영상을 획득하고 깊이 정보를 추출하였다.

그림 2.합성 조리개 집적 영상 Fig. 2 Synthetic Aperture Integral Imaging (SAII)

집적 영상에서 3차원 영상의 재생은 컴퓨터를 사용하여 깊이 방향에 따라 슬라이스 영상으로 재생할 수 있다 [4]. 컴퓨터 재생은 그림 3과 같이 가상의 핀홀 배열을 사용하여 요소 영상을 재생 깊이면에 투과한 다음 중첩해서 구한다. 다음 식은 집적 영상에서 컴퓨터를 사용하여 3차원 영상을 재생하는 방법을 설명하고 있다.

그림 3.집적 영상에서의 컴퓨터 재생 Fig. 3 Computational reconstruction of integral imaging

여기서 Ikl은 kk열 l행의 요소 영상, Δx, Δy는 요소 영상이 중첩될 때, 이동하는 거리, O(x,y)는 중첩되는 회수를 나타내는 행렬, Nx, Ny는 요소영상의 픽셀 수, p는 렌즈의 크기, f는 렌즈의 초점 거리, cx, cy는 영상획득장치의 크기이며, z는 재생되는 깊이이다. 이처럼, 집적 영상에서 3차원 물체의 깊이를 구하기 위해서는 Δx, Δy의 값을 알아야 하는데, 본 논문에서는 SAD를 [14] 사용하여 그 값을 구한다. SAD는 구하고자 하는 M×N의 크기를 갖는 부분 매칭 영상 T(m,n)을 전체 영상 I(x,y)을 통해 구하고 최소값을 취하여 동일한 픽셀의 위치를 구한다. SAD의 정의 식은 다음과 같다.

각각의 요소 영상별로 최소의 SAD 값을 사용하여 매칭 영상의 위치를 구한 후, 그 차이 값의 평균을 취하게 되면 Δx, Δy의 값을 구할 수 있다. 이렇게 구해진 Δx, Δy를 식 (2)에 대입하면 다음과 같이 깊이를 구하는 식을 완성할 수 있다.

이와 같이 요소 영상으로부터 물체의 각 부분의 깊이 정보를 추출하게 되면 3차원 지도 시스템을 구현할 수 있다.

 

Ⅲ. 실험결과

본 논문에서 제안하는 3차원 지도 시스템 기술을 검증하기 위해 광학적 실험을 수행하였다. 영상획득 장치로 Nikon D3200 DSLR 카메라를 사용하였고 카메라 렌즈의 초점 거리는 55mm이다. 카메라의 해상도는 3008×2000이다. 사용된 물체는 그림 4에 나타나 있는 것처럼 장난감 자동차이고 높이는 근사적으로 30mm이다. 물체의 윗부분은 카메라에서 근사적으로 580mm 떨어져 있고 바닥부분은 카메라에서 근사적으로 610mm 떨어져 있다.

그림 4.광학 실험에 사용된 3차원 물체 Fig. 4 3D objects used in optical experiment

요소 영상을 획득하기 위해 카메라를 10mm씩 이동시켜 그림 5와 같이 10×10 요소 영상을 획득하였다.

그림 5.요소 영상 Fig. 5 Elemental images

이렇게 획득한 요소 영상들을 그림 6에 나타나 있는 매칭 영상들 (자동차의 윗부분과 바닥부분)로 SAD값을 구하면 그림 7과 같은 그래프를 얻을 수 있다. 여기서 SAD의 최소값을 찾아 각 영상의 위치를 설정하고 요소 영상들의 위치 차이 값을 구하면 Δx, Δy를 구할 수 있다. 이를 식 (4)에 적용하여 깊이 정보를 구하면 표 1과 같다.

그림 6.SAD 계산을 위한 매칭 영상들 (a) 3차원 물체의 윗부분 (b) 3차원 물체의 바닥부분 Fig. 6 Matching images for SAD calculation (a) top part of 3D object (b) bottom part of 3D object

그림 7.SAD 그래프 (a) 3차원 물체의 윗부분 (b) 3차원 물체의 바닥부분 Fig. 7 SAD graphs (a) top part of 3D object (b) bottom part of 3D object

표 1.깊이 정보 추출 Table. 1 Extraction of depth information

따라서, 자동차 윗부분과 자동차 바닥부분의 깊이 정보의 차이는 612.7501 - 582.7523 = 29.9978가 됨을 알 수 있다. 이것은 실제 3차원 물체의 높이 값과 유사하다.

실제 3차원 물체의 높이를 시각화하기 위해 그림 8에 나타나 있는 것처럼 컴퓨터 재생 기법을 사용하여 깊이 방향에 따른 슬라이스 영상을 재생하였다. 그림에서 알 수 있듯이, 물체의 깊이가 정확히 일치할 때 초점이 맞은 영상 즉, 깨끗한 영상을 얻을 수 있다.

그림 8.재생된 3차원 영상 (a) z=580mm (b) z=590mm (c) z=600mm (d) z=610mm Fig. 8 Reconstructed 3D images (a) z=580mm (b) z= 590mm (c) z=600mm (d) z=610mm

 

Ⅳ. 결 론

본 논문에서는 집적 영상을 이용하여 3차원 정보를 추출하고 이를 이용하여 지도 시스템을 구성할 수 있다는 것을 설명하였다. 고해상도의 영상을 획득하기 위해 SAII 방식을 사용하였고 매칭 영상들의 위치 값을 구하기 위해 SAD 기술을 사용하였다. 항공기와 같은 이동수단에 카메라 배열과 같은 SAII 방식의 장치를 추가하고 SAD 기술로 매칭 영상들을 구한다면 3차원 지도를 제작할 수 있으리라 사료된다. 다만, SAD 기술은 영상간의 크기와 회전에 취약하기 때문에 향후 보다 정밀한 깊이 정보를 구하기 위해서 통계적인 기법을 적용할 것이다.