Correction of Error due to Camera Shaking when Vibration Measurement by Using Camera Image

카메라 영상을 이용한 진동 변위 측정 시 카메라 흔들림 보정 방법

Abstract

Accelerometer and laser vibrometers are widely used to measure vibration of structures like a building or piping. Recently, the research measuring vibration by using camera image is introduced. However, this method has a disadvantage. If camera moves by the vibration cannot measure the vibration displacement of structure. We proposed the enhanced technique for measuring vibration using camera. This paper took the experiment for correction of error due to camera shaking. We verified through an experiment. And the accuracy of the method measuring the vibration displacement by using the camera images was analyzed.

1. 서 론

건물이나 플랜트 배관의 구조물 진동을 측정하기 위해서는 가속도계나 레이저 측정기를 많이 사용하고 있다. 최근에는 고온이나 방사선 환경과 같은 기존 센서를 설치 및 사용하기 어려운 영역에서 카메라 영상을 이용하여 비 접촉 방식으로 진동을 측정할 수 있는 연구가 제시되고 있다. 카메라를 이용한 진동 측정 방법은 타겟을 이용한 진동 측정 방법(1~3)과 타겟 없이 진동을 측정하는 방법(4~6)으로 나눌 수 있다.

카메라 영상을 이용하면 한 번의 촬영으로 많은 영역의 진동을 동시에 측정 할 수 있고, 또한 진동 측정을 위하여 장비 설치가 쉬운 장점이 있다. 그러나 Fig. 1에서와 같이 카메라를 이용하여 진동을 측정하기 위해서는 카메라를 삼각대 또는 팬틸트에 장착하여 사용하게 된다. 이러한 경우 삼각대나 팬틸트는 진동에 의하여 흔들림과 같은 구조적인 문제점을 가질 수 있다. 카메라 영상을 이용한 진동측정 방법은 카메라가 고정되어 있다는 조건을 가지고 있어야 한다. 그러나 카메라가 진동에 의하여 움직일 경우 영상을 이용하여 구조물의 진동을 측정하는 방법은 오차를 피할 수 없다.

Fig. 1Camera mounted on a pen-tilt

카메라 진동 보정 방법으로는 카메라에 센서를 부착하여 진동을 보정하는 방법(7)과 카메라에서 취득한 영상을 이용하여 보정하는 방법(8)을 이용할 수 있다. 카메라에 센서를 부착하는 방법은 카메라 흔들림이 취득영상에 미치는 진동크기를 정확히 알 수 없다. 카메라와 측정 대상과의 거리에 따른 진동크기 환산이 어려운 단점이 있다. 취득 영상을 이용한 방법은 카메라의 흔들림이 연속영상의 흔들림으로 나타난다. 따라서 카메라의 진동을 분리할 수 있으면 측정 대상체의 진동 변위측정이 가능하다. 또한 별도의 센서가 필요하지 않고 기존에 설치 되어있는 카메라를 그대로 이용할 수 있는 장점을 가지고 있다.

따라서 이 논문은 카메라에서 취득한 영상을 이용한 방법을 제시한다. 카메라 진동을 보정하는 방법으로 진동이 없는 영역을 이용하여 측정 대상체의 진동을 분리하고 진동 변위 측정시 카메라 흔들림에 의한 오차를 보정하는 방법을 제안한다. 또한 제안된 방법을 검증하기 위하여 실험을 통하여 정확도를 확인한다.

 

2. 카메라 진동에 의한 영상 변화

카메라 영상을 이용한 구조물의 진동을 측정하기 위하여 카메라가 고정되어 있고 움직임이 없어야 한다. 그러나 진동이나 고정 결함으로 움직임이 발생할 경우 기존의 방법을 사용할 수 없는 문제점이 있다.

Fig. 1과 같이 팬틸트에 카메라가 장착된 경우 수직이동과 수평이동의 움직임이 회전과 같은 움직임보다 많이 나타날 수 있는 구조적인 문제점을 가지고 있다. Fig. 2와 같이 카메라가 수평이동, 수직이동 그리고 회전함에 따라 영상이 달라지는 경우 영상의 변위 오차를 구하여 보정하여야 한다.

Fig. 2Image changes due to camera movement

 

3. 카메라 진동 보정 방법

카메라 진동을 보정하기 위한 기본적인 방법은 Fig. 3과 같다.

카메라에서 취득한 영상을 이용하여 카메라 진동을 보정하기 위하여 Fig. 3(a)의 기준 영상에서 ROI(region of interest) 영역인 Fig. 3(b)를 선택한다. ROI선정은 가로 및 세로 방향으로의 직선 에지를 포함하며 진동의 영향을 받지 않는 영역을 선택한다. Fig. 3(b) 영상에서 실수형 에지 검출 방법을 이용하여 Fig. 3(c)와 같이 에지를 검출한다. Fig. 3(c)에서 검출한 가로 및 세로 방향의 에지를 커브 피팅(curve fitting)하여 Fig. 3(d)와 같이 두 개의 직선을 구한다. 두 개의 직선을 이용하여 교차점과 직선의 기울기를 검출하면 Fig. 3(e)와 같이 진동에 의한 카메라 상하 및 좌우 이동과 카메라 회전을 계산할 수 있다.

3.1 에지 검출 방법

앞에서 설명한 Fig. 3(c)와 같이 모서리의 에지를 검출하는 방법으로 사용한 EEPD(expected value of edge probability distribution) 실수형 에지 검출방법을 설명한다(9,10).

Fig. 3Correction of camera vibration. (a) Original image (b) ROI image (c) Edge detection (d) A straight line detection by using curve fitting (e) Detection of camera vibration

Fig. 4에서 모서리 가로 방향 에지 를 검출하기 위한 방법을 예를 들어, 영상에서 모서리 에지검출을 위한 영역으로 m×n 사이즈의 S(m,n)을 Fig. 5와 같이 설정한다.

Fig. 4Edge detection by using EEPD

Fig. 5Edge detection area for

설정된 S(m,n)영역의 모서리 에지 검출 방법은 식 (1)과 같이 2차원 영상에서 x방향 i에서의 y축 편미분 △Sij를 산출한 후 식 (2)를 통하여 x방향 m 사이즈 각각에 대한 대표 값 F(i)를 산출한다. 여기에서 산출된 F(i)는 픽셀단위의 실수형 에지 좌표 값이 된다.

3.2 교차점 및 회전각 산출

3.1절의 에지 검출 방법을 이용하여 검출된 모서리의 가로방향 및 세로방향의 에지를 Fig. 6과 같이 커브 피팅(curve fitting)을 이용하여 , 에 대한 직선방정식을 구한다. 이 두 직선을 이용하면 교차점 B(x,y)와 직선 의 θ각을 산출하여 카메라의 진동을 구할 수 있다.

Fig. 6Detection of intersection and rotation angle

실수형 에지 검출 방법을 이용하여 구한 모서리 에지를 직선으로 커브피팅하는 방법은 최소 자승법 (least square method)을 이용한다.

최소 자승법은 Fig. 7에서와 같이 점과 직선과의 편차 제곱의 합이 최소가 되는 점들을 지나는 최적의 직선을 구한다.

Fig. 7Least square method

식 (4)의 S가 최소가 될 때 식 (3)은 최적의 직선이 된다. 식 (4)를 a와 b에 대하여 편미분하여 식 (5), (6)과 같이 a와 b를 구한다.

따라서 최적의 직선을 구할 수 있다.

이와 같이 커브피팅을 이용하여 구한 의 직선 방정식과 의 직선 방정식인 식 (7), (8)을 이용하면

식 (9), (10)과 같이 두 직선의 교차점인 B(x,y)를 산출 할 수 있다.

Fig. 6에서 식 (13)을 이용하여 직선 의 θ각을 산출 할 수 있다. 교차점 B(x,y)와 의 θ각을 이용하면 카메라의 상하 및 좌우 움직임과 회전을 산출 할 수 있다

3.3 카메라 진동 보정 방법

기준영상의 ROI영역에서 교차점 B(x,y)와 θ각을 알고 있으면, 기준영상 이후 취득한 영상에서의 교차점 B'(x,y)와 θ′각을 비교하여 카메라 회전에 의한 오차와 진동 변위량을 계산할 수 있다.

Fig. 8에서는 실제 카메라를 이동 및 회전한 영상을 보여준다. 점선 사각형은 ROI영역을 나타낸다. 3.1장과 3.2장에서 설명한 방법을 이용하여 기준영상인 Fig. 8(a)의 ROI영역에서 교차점 B(x,y), θ각과 다음 프레임 영상인 Fig. 8(b)의 ROI영역에서 교차점 B'(x,y), θ '각을 구할 수 있다. Fig. 9는 교차점 B(x,y), B'(x,y)와 θ , θ '을 이용하여 카메라 상하 및 좌우 움직임에 의한 오차와 카메라 회전에 의한 영상에서의 오차를 보정하는 식 (14), (15)를 설명한다.

Fig. 8An image taken by camera

Fig. 9에서 S0는 기준영상이고, Si는 기준영상 이후의 영상이다. S0영상을 기준으로 다음 Si영상의 교차점 B'(x,y), θ '각을 비교한다. 교차점 B(x,y)와 B'(x,y) 일치하고, 회전각 θ와 θ '이 일치하면 카메라 진동 및 회전이 없음을 나타낸다. 그러나 교차점과 회전각이 일치하지 않는 경우 Fig. 9와 같이 S0영상의 교차점 B(x,y)좌표에 Si영상의 교차점 B'(x,y)의 좌표를 일치시킨 후 식 (14), (15)를 이용하여 오차를 보정한다.

Fig. 9Correction method of shaken image

식 (14), (15)의 dx와 dy는 카메라 회전과 이동에 의한 x방향 및 y방향의 측정 변위 오차를 나타낸다. 카메라를 이용한 구조물의 진동변위 측정 시 카메라 진동에 의한 측정 변위 오차인 dx와 dy를 적용하여 보정 할 수 있다.

 

4. 실험 및 검증

4.1 실험 환경

카메라 진동 보정 실험을 위하여 Fig. 10과 같이 지름이 38.2 mm인 파이프에 가속도 센서를 설치한후 가진기를 이용하여 10 Hz로 가진 하였다. 카메라는 640×480의 해상도 이미지이며 촬영속도는 200 frame/sec로 영상을 취득하였다. 사용한 렌즈는 35~90 mm 줌렌즈를 사용하였고, 촬영거리는 1.0 m에서 촬영을 하였다.

Fig. 10Experimental setup for measuring vibration displacement

4.2 카메라 진동 보정 전 실험

이 실험에서는 Fig. 10과 같은 실험환경에서 카메라에 인위적인 충격을 주어 획득한 영상을 이용하였다.

Fig. 11은 실제 실험을 통하여 촬영되어진 영상을 보여준다. 영상과 가속도 센서를 이용하여 측정한 신호의 주파수 분석 결과를 Fig. 12에서 보여준다. 가속도 센서를 이용한 결과는 10 Hz의 주파수를 보여주고 있지만 영상을 이용한 결과는 10 Hz외에 6 Hz와 같은 여러 주파수가 나타난다. 이것은 카메라 진동에 의한 오차임을 알 수 있다. 이와 같이 카메라에 진동이 있을 경우 측정 오차가 발생함을 알 수 있다.

Fig. 11An image taken by camera

Fig. 12Auto power spectrum of camera vibration before correction

Fig. 13은 Fig. 11에서 측정한 배관 구조물의 진동 변위를 측정한 결과이다. 가속도 센서의 RMS는 0.22475 mm이고, 영상을 이용한 측정포인트의 RMS는 0.34063 mm이다. 0.11589 mm의 오차를 포함한 진동변위가 측정됨을 알 수 있다.

Fig. 13Comparison of vibration displacements measured by sensor and camera

4.3 카메라 진동 보정을 위한 기준포인트 측정

4.2장에서는 카메라의 진동을 보정하지 않고 배관 구조물의 진동을 측정하였다. 따라서 진동 변위 오차에 의한 잘못된 진동 변위가 측정되었다. 따라서 본 논문에서 제안한 카메라의 진동 보정방법을 적용하기 위하여 기준 포인트를 선정하고 카메라의 진동 오차를 측정하였다.

Fig. 14와 같이 진동 보정을 위하여 움직임이 없는 기준 포인트 영역을 선정하여 카메라 진동 오차를 측정하였다. Fig. 15는 기준 포인트를 이용하여 측정한 카메라 진동 신호의 주파수 분석 결과로 6 Hz의 중심 주파수가 있음을 보여주며 이는 카메라 진동에 의한 오차이다. 따라서, 이 오차를 보상해 주면 정확한 구조물 진동 측정이 가능해 진다.

Fig. 14An image taken by camera

Fig. 15Auto power spectrum of camera vibration

Fig. 16과 Fig. 17은 카메라 진동에 의한 진동 변위와 회전각을 보여준다.

Fig. 16Displacement of camera vibration

Fig. 17Spectrum phase of camera vibration

4.4 카메라 진동 보정방법 검증

Fig. 18은 배관 구조물의 진동 측정 시 카메라의 진동 보정을 위한 기준포인트 및 측정 포인트를 선정하여 실험한 영상을 보여준다.

Fig. 18An image taken by camera

4.3절에서 실험한 카메라 진동 오차 측정값을 이용하여 카메라 진동을 보정하면 실제 배관 구조물의 진동을 측정할 수 있다. Fig. 19는 카메라 진동 오차를 보정하여 실제 배관 구조물의 진동을 측정한 결과를 보여준다. 가속도 센서에서 측정한 결과와 영상을 이용하여 측정한 결과 모두 10 Hz의 주파수를 나타내고 있다.

Fig. 19Auto power spectrum of camera vibration after correction

Fig. 20은 배관 구조물의 진동 변위를 측정한 결과이다. 가속도 센서의 RMS는 0.22475 mm이고, 영상을 이용한 측정포인트의 RMS는 0.22554 mm이다. 따라서 0.00079 mm의 오차를 보여준다. 이 오차율은 0.35 %이다.

Fig. 20Comparison of vibration displacements measured by sensor and camera

 

5. 결 론

카메라를 이용한 진동 변위 측정 시 카메라 흔들림에 의한 영향을 보상하기 위한 방법을 제안하였다. 고정된 구조물을 이용하여 카메라의 흔들림을 측정하였다. 제안된 방법의 검증을 위하여 실험을 수행하였으며 진동변위 측정 데이터에 포함된 카메라 진동에 의한 영향을 보상할 수 있음을 확인하였다. 따라서 카메라를 이용한 구조물의 진동 측정 방법에서 카메라 흔들림에 의한 진동이 제거되므로 진동 측정의 정확성을 높일 수 있을 것으로 기대된다.

 

기 호 설 명

S0 : 기준영상 Si : 비교영상 B(x,y) : S0의 ROI영역에서 두 직선의 교차점 θ : S0의 ROI영역에서 직선의 기울기 각 B’(x,y) : Si의 ROI영역에서 두 직선의 교차점 θ’ : Si의 ROI영역에서 직선의 기울기 각 dx : x방향의 측정 변위 오차 dy : y방향의 측정 변위 오차