A 3D measurement system based on a double frequency method using Fourier transform profilometry

FTP를 이용한 이중 파장법에 의한 3차원 형상 측정

Abstract

This paper proposes a double frequency method using FTP(Fourier Transform Profilometry) in fringe projection techniques for 3D measurement systems. In fringe projection techniques, fringe pattern images are projected and captured, and then object is measured by analysing phase. PMP(Phase Measuring Profilometry) for analysing phase provides high-resolution and is robust to object's reflection and background intensities. However, the measurement range is narrow due to 2π ambiguity. In order to overcome this problem, a double frequency method is often used. This method can widen the range of measurement while maintaining the high-resolution, but the measurement time is taken about twice due to grab 2 times number of images. The proposed double frequency method using FTP requires an additional image for resolving 2π ambiguity. The proposed method effectively reduces the measurement time while maintaining the same accuracy.

본 논문은 프린지 패턴 투영법으로 3차원 형상 측정에서의 FTP(Fourier Transform Profilometry)를 이용한 이중 파장법을 제안한다. 프린지 패턴 투영 방법은 프린지 패턴을 측정 대상물체에 투영한 후 변형된 프린지 패턴을 분석하여 측정 대상물체의 높이를 측정한다. PMP(Phase Measuring Profilometry)기반의 프린지 투영 방법은 측정 대상의 반사율과 배경의 영향에 강건하면서 측정 분해능이 높다. 하지만, 2π 모호성으로 측정 범위가 작다는 문제점이 있다. 이를 극복하기 위한 방법 중에 주기가 다른 이중 파장을 사용하는 방법은 측정 분해능을 유지하면서 측정 범위를 높일 수 있지만, 2배의 영상 수 획득으로 측정시간이 두 배 정도 더 소요된다. 본 논문에서 제안하는 FTP를 이용한 이중 파장법은 2π 모호성을 해결하기 위해 한 장만의 영상을 추가적으로 획득하여 FTP를 이용함으로써 기존의 이중 파장법과 동일한 정밀도를 유지하면서 측정에 소요되는 시간을 효과적으로 단축시킨다.

Ⅰ. 서 론

최근 몇 년간 각종 센서, 카메라, 컴퓨터 연산속도의 발전으로 대량의 데이터를 획득하고 고속으로 처리가 가능해졌다. 이에 따라 3차원 형상 측정 기술은 반도체, 리버스-엔지니어링, 주형 주물 등 산업 환경뿐만 아니라 의학, 영화산업, 의류 디자인, 가상현실 등 다양한 분야에 적용되고 있다. 측정 대상도 반도체 분야에서의 BGA, Solder Paste 등 초소형에서부터 인체, MES 부품(2.5m x 4.5m) 등 대형까지 다양해지고 있다[1-3].

광학을 이용한 3차원 형상 측정 방법은 편리성과 측정대상에 손상을 입히지 않고, 복잡한 형상의 경우에도 측정이 용이하여 활발히 연구되어 산업화되고 있다. 광학을 이용한 방법 중 PMP(Phase Measuring Profilometry)[4]는 측정범위가 제한적이지만, 대상물체의 반사율과 배경에 강건하고 조밀한 3차원 데이터를 정밀하게 얻을 수 있어서 검사 시스템에 많이 사용되고 있다. PMP의 낮은 측정 범위를 극복하기위한 방법으로 주기가 다른 이중 파장법[5]이 많이 사용되고 있다. 이중 파장법은 측정 분해능을 유지하면서 측정 범위를 높일 수 있지만, 프린지 패턴 영상을 2배로 획득해야 하므로 측정시간이 두 배 정도 더 소요된다.

본 논문에서는 푸리에 변환으로 위상을 계산하는 FTP(Fourier Transform Profilometry)[6]를 이용한 이중파장법을 제안한다. 제안하는 FTP를 이용한 이중 파장법은 기존 이중 파장법과 동일한 측정 분해능을 유지하면서 소요 시간을 효과적으로 단축한다.

본 논문의 구성은 다음과 같다. 2장에서 배경지식인 PMP, FTP원리와 2π모호성, 이중 파장법에 대해서 설명하고, 3장에서 FTP를 이용한 이중 파장법을 제안한다. 4장에서는 BLU의 3차원 형상을 측정하여 제안하는이중 파장법의 성능평가를 하고, 5장에서 결론 및 기대효과를 논한다.

 

Ⅱ. 배경지식

2.1. PMP 원리

PMP를 이용한 3차원 형상 측정의 기하학은 그림 1처럼 프린지 패턴을 투영하는 프로젝터와 투영된 영상을 획득하는 카메라 그리고 대상물체로 구성되어 있다.

그림 1.차원 측정 시스템의 기하학 Fig. 1 Optical geometry of 3D measurement system

정현파 프린지 패턴이 투영된 영상은 식(1)처럼 표현된다. a(x,y) 는 배경(background intensity), b(x,y)는 프린지 변조(fringe modulation)이다. ϕ(x,y) 는 위상 값으로 대상물체의 높이정보에 해당한다.

PMP에서 위상 계산 방법은 정현파 프린지 패턴의 위상이 등 간격으로 이동된 여러 장을 이용한다. 2π/N만큼 위상이 이동된 정현파 프린지 패턴 N개를 투영하고 이때 획득된 영상이 I1, I2, ..., IN이면, 위상은 식(2) 처럼 계산된다.

기준면과 대상물체에 대해서 식(2)를 이용하여 위상을 계산하고, 식(3)처럼 기준면과 대상물체의 위상차를 계산한다. ϕref(x,y)는 기준면의 위상 분포를, ϕobj(x,y)는 대상물체의 위상 분포를 나타낸다.

위상차는 식(4)를 이용하여 대상물체의 높이로 변환된다. h(x,y) 는 대상물체의 높이 분포, p0는 정현파 프린지 패턴이 투영된 주기, θp는 정현파 프린지 패턴이 투영된 각도를 나타낸다.

2.2. FTP 원리

정현파 프린지 패턴이 투영된 영상을 나타내는 식(1)은 식(5)와 같이 표현될 수 있으며, f0는 반송 주파수(carrier frequency)이다.

(5)를 오일러 공식을 이용하면 식(6)과 같이 표현된다. *는 복소 켤레(complex conjugate)이다.

식(6)을 x방향에 대해서 1-D FFT(Fast Fourier Transform) 알고리즘을 이용하여 푸리에 변환을 하면 식(7)과 같다. 대문자는 푸리에 스펙트럼(Fourier spectrum)을 나타내며 f는 x방향으로의 공간 주파수를 나타낸다.

식(5)에서 a(x,y), b(x,y) , ϕ(x,y) 는 반송주파수 f0에 비해 천천히 변하고 이는 그림 2와 같은 특성을 나타낸다. 배경 정보는 제거하고 위상 정보를 포함하는 c(x,y) 를 얻기 위해 C(f-f0,y)만을 선택하도록 필터링하여 역 푸리에 변환(inverse FFT)을 한다.

그림 2.3정현파 프린지 패턴의 푸리에 스펙트럼 Fig. 2 Fourier spectrum of sinusoidal fringe pattern

역 푸리에 변환결과를 이용하여 식(8)처럼 위상은 계산할 수 있다. Im[c(x,y)], Re[c(x,y)]는 각각 c(x,y)의 허수와 실수를 나타낸다.

위의 방법대로 기준면과 대상물체의 위상을 각각 계산한다. 그 이후에는 PMP와 동일하게 식(3)을 이용해 위상차를 계산하고, 식(4)를 통해 대상물체의 높이 분포를 계산한다.

2.3. 2π 모호성(2π ambiguity)

프린지 패턴 투영법을 이용한 3차원 형상 측정법의단점은 "2π 모호성"이라 불리는 요인 때문에 측정 범위가 제한적이다. 측정되는 위상은 불연속적으로 측정되어 2π 모호성이 발생한다. 그림 3은 2π 모호성을 보여주며, S1, S2, S3는 대상물체를 나타내고, C1, C2, C3는 A지점에서 카메라가 바라보는 대상물체에 위치를 나타낸다. C1, C2, C3의 위치에서 기준면과 위상차 Δϕc1,Δϕc2, Δϕc3은 arctangent의 범위로 인하여 -π ~ π사이의 위상 값을 가진다. C1, C2, C3에 해당하는 대상물체의 높이는 서로 다르지만 위상 Δϕc1,Δϕc2, Δϕc3은 서로 같게 계산되어 정확한 높이를 측정할 수 없게 된다.

그림 3.2π 모호성 Fig. 3 2π ambiguity

2.4. 이중 파장법

측정 대상의 형상이 급격하게 변하거나 불연속적인 경우 2π 모호성을 제거하는 것은 매우 어려운 문제이다. 단일 파장이나 단일 측정 방법으로는 거의 불가능하며 이를 극복하기 위해 주기가 다른 이중 파장을 이용하는 방법이 있다. 이중 파장법은 디지털 프로젝터를 사용하는 시스템에서 큰 변경 없이 간단한 방법으로 측정 분해능을 유지하면서 2π 모호성을 정확히 제거할 수 있다.

주기가 작은 프린지 패턴은 측정 분해능은 높지만, 측정 범위가 작고, 주기가 큰 프린지 패턴은 측정 범위가 넓지만, 측정 분해능이 떨어진다. 이러한 특징을 이용한 이중 파장법은 작은 주기의 높은 측정 분해능을 유지하면서, 큰 주기의 넓은 측정 범위를 이용하여 2π 모호성을 해결한다.

그림 4는 큰 주기가 작은 주기의 2배일 경우에 서로 위상의 관계를 보여준다. 주기가 2배 커지면, 위상의 변화율이 2배 낮아지기 때문에 A위치에서 주기가 2p인 경우 위상이 ϕA이라면, 주기가 p인 경우에는 위상이2ϕA의 값을 가진다.

그림 4.주기가 다른 위상의 관계 Fig. 4 Phase relationship to different period

두 프린지 패턴의 주기가 각각 p0, p1이고, p0

 

Ⅲ. FTP를 이용한 이중 파장법

PMP에서 이중 파장법은 반복 정밀도 및 정확도를 유지하면서 2π 모호성을 제거할 수 있지만, 정현파 프린지 패턴을 투영하는 시간과 카메라로 영상을 획득하는 시간이 단일 파장보다 두 배 소요되는 단점이 있다. FTP는 급격하게 바뀌는 구간에서 측정이 힘들고, 측정 분해능이 낮지만, 한 장의 영상으로 대상물체의 위상을 계산할 수 있어 측정시간이 빠르다.

본 논문에서는 큰 주기의 정현파 프린지 패턴 여러장을 투영하여 PMP방법으로 위상을 계산하는 이중 파장법 대신, 그림 5처럼 추가적으로 한 장의 영상을 투영하고 획득하여 FTP로 위상을 계산하는 이중 파장법을 제안한다. 기존 이중 파장법은 N-Bucket 알고리즘시, 2π 모호성을 해결하기 위해 추가적으로 N개의 영상을 투영하고 획득해야한다. 이로 인해 측정이 시간이 약 2배 정도 증가하게 된다. 본 논문에서 제안하는 FTP를 이용한 이중 파장법에서는 2π 모호성을 해결하기 위해 추가적으로 단 1장의 영상만을 투영하고 획득한다. 즉 2N의 영상을 투영하고 촬상하는 시간이 N+1로 감소된다.

그림 5.FTP를 이용한 이중파장법의 순서도 Fig. 5 Flow chart of double frequency using FTP

 

Ⅳ. 실험 환경

4.1. 3차원 형상 측정 시스템 구성

실험을 하기 위한 3D 형상 측정 시스템은 그림 6와 같고, CCD 카메라, 피코 프로젝터, 기준면으로 구성되어 있다. 시스템에 사용된 자세한 사양은 표 1과 같다. 피코 프로젝터의 광축과 기준면과의 각도는 70도 정도이다. 카메라의 FOV(Field of View)는 23mm x 17mm, 피코 프로젝터의 투사 면적(projection area)은 카메라의 FOV보다 3배 정도 더 큰 면적으로 75mm x 50~60mm이다. 피코 프로젝터의 가장 짧은 투사 거리(projection distance)는 0.2m로 투사 면적을 더 작게 하기 위해 투사 거리를 좁히면, 초점이 흐려져 정확한 정현파 프린지 패턴 영상의 투영이 어렵다. 기준면은 FOTOWAND사의 화이트 보드(white board)를 이용하였다. 시스템 캘리브레이션을 위해 Mitutoyo사의 게이지 블록(gauge block) Grade 0(±0.12um)를 사용하였다.

그림 6.구현된 3D 형상 측정 시스템 Fig. 6 Implemented 3D measurement system

표 1.3D 형상 측정 시스템의 사양 Table. 1 Specifications of 3D measurement system

4.2. 시스템 캘리브레이션

2장에서 설명한 정현파 프린지 패턴이 투영되는 각도, 주기는 시스템의 비선형적인 요소로 인하여, 실험적인 방법을 통해 시스템 파라미터(system parameter)를 계산한다.

게이지 블록을 기준면 아래에 놓아 알고 있는 높이 h1, h2, ..., hN만큼 기준면을 이동하여 이 때의 위상차 Δϕh1(x,y), Δϕh2(x,y), ..., ΔϕhN(x,y)를 측정한다. 측정된 위상차들을 이용하여 Guo[7] 방법으로 시스템파라미터 m(x,y), n(x,y)를 계산한다. 본 논문에서는 1, 1.5, 2, 2.5, 3(mm)의 게이지 블록을 사용하였다. 최종적으로 위상과 높이의 관계는 식 (11)과 같다.

 

Ⅴ. 실험 결과

5.1. BLU(Back Light Unit)의 3차원 형상 측정

FTP를 이용한 이중 파장법을 검증하기 위하여 그림 7과 같은 BLU를 3차원 형상 측정하였다.

그림 7.측정 대상인 BLU Fig. 7 BLU for measurement

BLU에 정현파 프린지 패턴을 투영하여 카메라로 획득된 영상은 그림 8과 같다. 정현파 프린지 패턴의 투영된 작은 주기는 0.8mm, 큰 주기는 1.5mm이며, 측정 범위는 3.5mm정도이다. 실험에 사용된 위상 이동횟수는 π/2씩 5번을 이동시켜 계산하는 4-Bucket + 1 알고리즘[8]을 사용하였고 식 (12)와 같다. 또한, 배경의 간섭을 최소화 하면서 첫 번째 컴포넌트를 선택하기 위해 대각선으로 큰 주기의 정현파 프린지 패턴을 투영하였다[9].

그림 8.(a) 작은 주기의 패턴이 투영된 영상 (b) 큰 주기의 패턴이 투영된 영상 Fig. 8 (a) captured images of short period pattern (b) captured image of long period pattern

FTP방법으로 위상을 측정하기 위해 그림 8(b)의 영상을 푸리에 변환하여 공간 영역을 주파수 영역으로 변환하였고, 그 결과는 그림 9(a)와 같다.

그림 9.(a) 푸리에 변환 결과 영상 (b)첫 번째 컴포넌트만 통과된 영상 Fig. 9 (a) Result image of Fourier transform (b) Result image of Butterworth band-pass filter

가운데 영역은 배경이고, 대각선은 첫 번째 컴포넌트(first component)로 위상의 데이터를 가지고 있는 영역이다. 그림 9(b)는 버터워스 대역 통과 필터(Butterworth band-pass filter)를 이용하여 첫 번째 컴포넌트만 통과된 결과이다.

주파수 영역에서 필터링된 결과를 다시 역 푸리에 변환하여 식(7)처럼 위상을 계산할 수 있다. 그림 10은 역푸리에 결과 영상으로 정현파에 대한 영역만 선택되고 배경 부분은 제거된 것을 확인할 수 있다.

그림 10.역 푸리에 변환 결과 영상 Fig. 10 Result image of inverse Fourier transform

그림 11(a)는 작은 주기의 프린지 패턴 영상을 PMP방법으로 위상을 계산하여 기준면과의 위상차에 대한 결과이다. 그림 11(b)는 큰 주기의 프린지 패턴 영상을 FTP방법으로 위상을 계산하여 기준면과의 위상차에 대한 결과이다. 그림 11(a)는 세밀하게 측정되었지만, 2π모호성이 발생하여 BLU Bar의 높이 변화가 없는 것처럼 측정되었다. 그림 11(b)는 2π모호성은 없지만, 전체적인 형태정도만 측정된 것을 확인할 수 있다.

그림 11.(a) PMP를 이용하여 계산한 위상차 (b) FTP를 이용 하여 계산한 위상차 Fig. 11 (a) Phase difference by PMP (b) Phase difference by FTP

FTP방법으로 계산된 위상차로 식(9), (10)을 이용하여 2π 모호성이 제거된 위상차의 결과는 그림 12과 같다.

그림 12.FTP를 이용한 이중 파장법 결과 위상차 Fig. 12 Phase difference by double frequency method using FTP

최종적으로 FTP를 이용한 이중 파장법으로 계산된 위상차를 식(11)를 이용하여 높이로 변환한 결과는 그림 13와 같다.

그림 13.BLU의 3D 형상 측정 결과 Fig. 13 3D measurement result of BLU

5.2. 성능 비교

측정 정밀도의 성능을 비교하기 기준면을 1.5mm로 올려 각각의 방법으로 측정하였다. 이 때 작은 주기의 패턴 영상은 동일하고 큰 주기의 패턴 영상만이 서로 다르다. 표 2는 그 결과이고 성능이 동일한 것을 확인할 수 있다. 또한, 기존 이중 파장법을 사용하여 BLU를 측정하였다. 그림 14(a)는 큰 주기의 프린지 패턴이 투영된 영상이다. 그림 14(b)는 최종적으로 기존 이중 파장법으로 측정된 BLU이다. FTP를 이용한 이중 파장법과 동일하게 측정된 것을 확인할 수 있다.

표 2.측정 정밀도 비교(단위 : mm) Table. 2 Comparison of accuracy & repeatability(unit: mm)

그림 14.(a) 큰 주기의 패턴이 투영된 영상 (b) 기존 이중 파장법으로 측정된 결과 Fig. 14 (a) Captured images of long period pattern (b) 3D measurement result by typical double frequency method

표 3는 기존 이중 파장법과 FTP를 이용한 이중 파장법의 측정 시간을 나타낸다. 촬상 시간에서 기존 이중파장법은 10장의 영상을 FTP를 이용한 이중 파장법은 6장의 영상을 촬상한 시간이다.

표 3.측정 시간 비교(단위 : ms) Table. 3 Comparison of measurement time(unit : ms)

계산 시간에서 CPU는 Intel i7을 사용하였고, 푸리에 변환시 FFTW[10]라이브러리를 사용하였다. 총 측정시간이 FTP를 이용한 이중 파장법이 약 1.8배정도 빠른 것을 확인할 수 있다.

 

Ⅵ. 결 론

본 논문에서 FTP를 이용한 이중 파장법을 제안하고 실험을 통해 성능을 검증하였다. 여러 장의 영상을 추가적으로 획득하여 이용하는 기존의 이중 파장법에서 한 장의 영상만을 추가적으로 획득하여 이용하는 FTP를 이용한 이중 파장법은 측정 소요시간을 단축하면서 같은 성능을 보였다. 실시간으로 정밀한 3D 형상 측정에서 활용 가능할 것으로 보인다.