Real-time Tensile Strain Measurement System based on ArUco Marker

ArUco 마커 기반 실시간 인장변형률 측정 시스템

Abstract

During tensile test, tensile strain of tensile tester is measured by movement distance of upper zig and initial specimen's length. Conventional tensile tester program obtains the tensile strain after the end of the test, however the method is not appropriate in real time because the results are calculated until the test is finished. We suggest a real-time measurement system of tensile strain using ArUco Marker in OpenCV library. The system is designed to detect marker attached on the upper zig and calculate specimen's tensile strain. According to comparison of the calculated data and the results of the tester, errors approximately showed 0.128 mm on 3840×2160 video resolution.

1. 서론

인장은 어떤 힘이 물체의 중심축에 평행하게 바깥 방향으로 작용할 때 물체가 늘어나는 현상이며, 인장시험은 고무, 스펀지, 우레탄 등과 같은 공업용 재료의 기계적 성질을 알아내기 위하여 수행되는 가장 기본적인 실험이다.인장 시험은 공업용 재료의 강도에 관한 기본적인 설계 정보를 얻기 위해 널리 사용되고 더 나아가서 이를 설계의 기초 자료로 활용한다. 시험을 통하여 물체가 잡아당기는 힘에 견딜 수 있는 최대 응력인 인장강도(Tensilestrength), 단위 길이 당 신장량(Extension)인 인장변형률(Tensile strain)을 측정한다.시험 전에 정해진 형상 및 규격에 따라 시편(specimen)을 준비하고 인장 시험기에 시편을 고정하기 위해 보조용 기구인 지그(Zig)를 사용한다. 시편은 인장 시험기의 지그에 물려지는 물림 부 중 한 쪽은 움직이지 않는 하단 지그에, 다른 한쪽은 상하로 서서히 인장하는 상단 지그에 고정한다. 최종적으로 인장 시험기는 인장 하중에 의해 상 단지 그가 상하로 움직인 거리인 신장량과 초기 시편의 길이를 사용하여 인장 시험기의 인장변형률을 측정한다.

인장 시험기는 인장 시험기의 양쪽 나사선이 회전하여 이송부가 상하로 움직일 때 이송부 위에 있는 로드 셀(Load Cell)에서 하중을 제어하고 컴퓨터로 신호를 보내어 인장강도, 인장변형률 등을 측정한다. 본 논문에서 인장 시험을 수행한 인장 시험기는 Instron사 제품으로, 자사 소프트웨어인 Blue hill을 사용하여 인장 시험기의 인장 강도, 인장 변형률, 응력-변형률 곡선(Stress-StrainCurve)등을 측정하였다. 시험에 대한 입력 조건인 시편의 너비, 높이와 같은 정보는 검사 전, 도중 또는 후에 입력 가능하지만 인장강도, 인장변형률과 같은 시험 결과는 시험종료 후에 산출된다는 단점을 가지고 있어 실시간으로 데이터를 획득하여 활용할 수 없는 문제가 있다.

인장 시험기로부터 실시간으로 인장변형률을 측정하는 선행 연구가 존재하지 않아, 이에 본 논문에서는 인장 시험을 수행할 때 ArUco마커[2]를 활용하여 실시간으로 인장변형률을 측정하는 시스템을 제안한다.제안 시스템은 Fig.1과 같이 인장 시험기 상단 지그에 마커를 부착하고 부착된 마커를 활용하여 상단 지그의 상하 이동거리를 실시간으로 획득하고 인장 시험기의 인장변형률을 측정한다.

Fig. 1. Upper zig attached ArUco Marker.

또한, 영상 해상도에 따라 기록된 인장 변형률의 오차를 보정하기 위해 본 논문에서는 인장 시험기의 인장변형률과 예측한 인장변형률 데이터를 시간에 따라 구간별로 보간하고 단순 선형 회귀(Simple LinearRegression)[3]를 통하여 최적의 인장변형률 기록 시간을 분석하고 오차를 보정하는 방법을 제안한다.

논문은 다음과 같이 구성되어 있다.2장에서는 실시간으로 인장변형률을 측정하는 방법을 제안하고 3장에서는 제안한 방법의 실험 결과를 다룬다. 마지막으로 4장에서 결론을 맺는다.

2. 실시간 인장변형률 측정 방법

2.1 시스템 구성

Fig.2는 본 논문에서 제안하는 실시간 인장변형률 측정 시스템 구조도이다. 제안한 방법은 입력 영상을 보정하는 카메라 보정(CameraCalibration) 모듈, 영상으로부터 ArUco마커를 검출하는 마커 검출 (MarkerDetector)모듈, 그리고 검출된 마커를 활용하여 인장변형률을 측정하는 인장변형률 측정(Ten- sile Strain Calculator) 모듈로 구성된다.

Fig. 2. Flow chart of System.

카메라 보정 모듈은 정해진 규격의 체스판에 따라 카메라에 대한 왜곡 계수를 획득하고 얻은 왜곡 계수를 사용하여 영상에 대해 왜곡 보정을 수행한다. 그리고 마커 검출 모듈에서 상단 지그에 부착된 정사각형 형태의 ArUco마커를 검출한다. 영상으로부터 마커가 검출되면 인장변형률 측정 모듈에서 마커의 상하 이동 거리와 초기 시편의 길이에 따른 인장 시험기의 인장변형률을 측정한 후에 마커 검출 결과 영상, 수행 시간 그리고 인장변형률을 기록한다.

2.2 카메라 왜곡 보정

카메라로부터 전송된 입력 영상들은 3차원 공간상의 점들을 2차원 평면 이미지에 투사(perspective projection)함으로써 얻어진다. 이때, 카메라의 초점거리, 중심점 등과 같은 카메라 내부 혹은 카메라의 설치 높이, 방향 등과 같은 외부의 영향으로 인하여 왜곡이 발생한다. 왜곡을 보정하기 위해 3차원 점들이 영상에 투영된 위치를 구하거나 역으로 영상 좌표로부터 3차원 공간좌표를 복원할 때에는 내부 요인을 제거해야 정확한 위치 계산을 할 수 있으며 이러한 내부 요인의 파라미터 값을 구하는 과정을 카메라 보정 모듈에서 수행한다.

카메라 보정 모듈은 입력 영상에 대한 전처리 과정이다. 먼저, 입력 영상을 흑백 영상으로 변환하고 영상 내에 체스판 패턴을 검출한다. 그리고 검출된 체스판 모서리의 3차원 위치 정보와 영상 내 2차원 위치 정보 쌍을 얻은 후 OpenCV라이브러리 내 cal- ibrateCamera함수의 입력으로 사용하여 영상에 적용할 카메라 내부 행렬과 왜곡 계수를 얻는다. 카메라 내부 행렬과 왜곡 계수를 이용하여 다음 입력으로 들어오는 영상의 왜곡을 보정한다.

Fig.3(a)는 원본 영상이고 영상으로부터 획득한 카메라 내부 행렬과 왜곡 계수를 적용하여 보정된 결과는 Fig.3(b)와 같다.인장 변형률 측정 모듈은 보정된 영상을 사용함으로써 인장변형률의 수치적 오차를 개선하여 더욱 정확한 값을 예측한다.

Fig. 3. Example of Camera calibration. (a) Original Image (b) Result image of Camera calibration.

2.3 ArUco 마커 검출

ArUco마커는 N*N크기의 비트와 비트를 둘러싼 테두리로 구성된 정사각형 마커이며 형태와 크기에 따라 각기 다른 고유 번호를 갖는다.

마커 검출 모듈은 주어진 마커 집합이 입력 영상 내에 있는지 판단하고 검출한다. 먼저, 마커가 포함된 입력 영상을 흑백 영상으로 변환한다. 이후, 마커 영역을 추출하기 위해 Otsu알고리즘을 적용하여 영상을 이진화한다[2]. 이진화 영상으로부터 Fig.4와 같이 마커의 윤곽선을 추출한 뒤, 모서리 4개에 대한위치 정보를 마커 후보군으로 저장한다.

Fig. 4. Processing of Marker Location Information.

각 마커 후보군이 정면을 바라보도록 평면화하여 Fig.5(a)와 같이 선형 모서리를 가진 정사각형 형태를 갖는지 확인한다.Fig.5(b)와 같이 주어진 크기에 따라 후보군을 격자무늬로 나누어 격자 내 비트맵 구조를 분석하고 마커의 식별자가 주어진 집합 내에 존재하는지 확인한 후에 마커가 존재하는 경우에 인장변형률 측정 모듈을 수행한다.

Fig. 5. (a) Perspective transformation for marker and (b) analysing on a grid pattern.

2.4 인장변형률 측정

인장변형률을 측정하기 위해서 인장변형률 측정 모듈에서는 검출된 마커를 통하여 상단 지그의 상하 이동 거리(mm)를 측정한다.

마커 검출 모듈에서 처음 획득한 마커 좌표 정보 중 좌측 상단 y축 좌표를 y₁, 좌측 하단 y축 좌표를 y₀, 실제 마커 높이를 h라고 할 때, 입력 영상의 픽셀당 세로 길이 s는 식 (1)과 같다.

\(s=h /\left(y_{0}-y_{1}\right)\)       (1)

\(E=\left(y_{1}-y_{2}\right) * s,\)       (2)

\(T S=E / l\)         (3)

신장량 E는 s와 y₁, y₂를 이용하여 식 (2)와 같이 계산된다. E에 사용한 시편의 길이 l로 나누어 인장변형률 TS을 획득한다.

Fig. 6. Example of swaying marker during detection.

2.5 인장변형률 오차 최적화

인장 시험 속도가 분당 5mm인 것과 픽셀 당 세로 길이가 0.106mm일 때, 시험 영상에서 마커가 세로 픽셀 한 개를 움직일 때까지 약 1.277초가 소요되어 시스템에서 0.1초마다 기록한 인장변형률이 정확하지 않았다. 또한, 영상으로부터 마커를 검출할 때에 Fig.7과 같이 마커가 흔들리는 현상으로 인하여 정확한 위치를 예측하기 어려워 예측 결과와 정답 값과의 오차를 증폭시키는 현상을 보였다.이에 본 논문에서는 선형적으로 증가하는 인장변형률의 특성을 고려하여 인장 시험기의 인장변형률과 예측한 인장 변형률을 단순 선형 회귀(Simple Linear Regres- sion)와 기록 시간 보간법을 통해 예측한 인장변형률의 오차를 개선하였다.

Fig. 7. ArUco marker example.

3. 실험

3.1 실험 환경 및 구현

인장 시험에 사용한 인장 시험기는 Instron5667, 비디오 신율계(VideoExtensometer)는 Instron2663- 821이다.인장 시험 속도는 분당 5mm로 설정하고 초기 시편 길이에 대하여 각 단계별 신장량은 10%, 30%, 50%, 70%, 100%로 증가하도록 설정했다. 시간에 따라 반복되는 응력 주기는 스텝마다 5회씩 반복하여 총 25회 수행했다.

본 논문 실험에 사용된 영상의 해상도는 3840× 2160이며 초당 프레임 수(fps)는 30이고 영상의 픽셀당 세로 길이는 약 0.106mm이다.0.1초마다 인장변형률을 기록하는 인장 시험기의 특성에 맞춰서 제안시스템도 0.1초마다 인장변형률을 기록했다.

Fig.7는 본 논문에서 사용한 길이가 30mm인 4×4 정사각형이면서 고유 번호가 0인 마커이다.

3.2 실험 결과

인장변형률 측정 시스템의 우수성을 평가하기 위하여 식 (4)인 평균 제곱 오차(MeanSquareError)를 통해 평가하였다. 상단 지그의 움직임에 따라 변화되는 신장량과 고정된 값인 초기 시편의 길이를 통해 인장변형률이 계산되는 것을 고려하여, 본 논문에서는 신장량을 기준으로 오차를 비교하였다. 결과는 Table1과 같다. 인장 시험기의 신장량과 예측한 신장량은 약 8.67801mm의 큰 오차를 보였다.

\(M S E=\frac{1}{n} \sum_{i=1}^{n}(\hat{y}-y)^{2}\)         (4)

Table 1. The result for Square Error about Tester’s Extesion and Predicted Extension.

3.3 선형 회귀를 통한 오차 최적화

인장 시험기의 상단 지그가 일정한 속도로 상하로 서서히 인장하므로 인장변형률이 선형적으로 증가하는 것을 알 수 있으며 인장 시험기의 인장변형률과 예측한 인장변형률을 그래프로 나타내면 Fig.8과 같이 선형적으로 나타난다.선형 관계를 갖는 인장 시험기의 인장변형률과 예측한 인장변형률의 특성을 고려하여 단순 선형 회귀를 통해 측정 오차를 개선하였다.

Fig. 8. Graph of (a)tensile tester’s tensile strain and (b)predicted tensile strain.

단순 선형 회귀를 수행한 결과는 Table2와 같다. 인장 시험기의 신장량에 대한 예측 신장량은 약 8.678 mm에서 4.85mm까지 감소하고 전체적인 오차율은 약 1.78% 감소하였다. 정답 값에 최대한 가까운 값을 갖도록 개선시키기 위해 시스템에서 0.1초마다 기록한 인장변형률이 정확하지 않은 것을 고려하여 인장 시험기의 신장량과 예측한 신장량을 1초, 5초, 10초 구간별 평균값으로 보간하고 선형 회귀를 적용하였다. 신장량을 각 구간별 평균값으로 보간하고 단순 선형 회귀를 수행한 결과는 Table3와 Fig.9과 같다. 1초로 보간하고 단순 선형 회귀를 수행한 결과 정답 값에 대한 오차율이 9.09%감소하였다.5초로 보간하고 단순 선형 회귀를 수행한 결과는 오차율이 약 27.94%감소하였고 10초로 보간하고 단순 선형 회귀를 수행한 결과는 오차율이 약 4.87%감소하였다. 결과적으로, 5초 단위로 신장량 데이터를 보간하고선형 회귀를 적용한 결과가 오차 감소율이 가장 크며 최적의 결과임을 나타낸다.

Table 2. Result of Error Optimization for tensile strain.

Table 3. Table interpolating time by interval.

Fig. 9. Graph of Linear Regression of interpolated predicted tensile strain on tester tensile strain. (a) origin data (0.1 second), (b) interpolated into 1 second, (c) interpolated into 5 seconds, (d) interpolated into 10 seconds,

4. 결론

본 논문에서는 인장변형률을 실시간으로 획득하여 활용할 수 없는 문제점을 해결하기 위하여 ArUco 마커를 활용한 인장 시험기의 인장변형률을 측정하는 방법을 제안하였다.제안한 시스템은 입력받은 영상을 카메라의 내부 행렬과 왜곡 계수에 따라 보정하고 보정된 영상으로부터 마커를 검출한다.그 후에 검출한 마커로 상단 지그가 초기 위치에서 이동한 인장변형률을 실시간으로 획득한다.인장 시험기의 인장변형률과의 오차를 비교한 실험에서 약 8.678 mm의 큰 오차를 보였으나 구간별 보간법과 선형 회귀를 통해 오차를 최적화하여 약 27.94배 감소한 0.128mm의 오차를 보였다.본 논문에서 제안한 시스템은 시험 종료 후 인장 시험기의 인장변형률을 산출할 수 있는 기존 프로그램과 비교했을 때 실시간으로 인장 시험기의 인장변형률을 측정할 수 있었다.