Correction Method of Movement Path for Depth Touch by Adaptive Filter

적응적 필터를 통한 깊이 터치에 대한 움직임 경로의 보정 방법

Abstract

In this paper, we propose the adaptation filtering for correcting the movement path of the recognized object by the depth information. When we recognize the object by the depth information, the path error should be occurred because of the noises in the depth information. The path error is corrected by appling the lowpass filtering, but the lowpass filtering is not efficient when the changes of the object's movement are rapid. In this paper, we apply the adaptation filtering that it gives weights adaptively as the difference between the predicted location and the measured location. To apply the adaptation filtering, we can see that the proposed method can correct accurately the path error of the radical change from simulation results.

1. 서 론

객체 인식 및 추적 분야는 영상 처리 분야에서 활발하게 다루어지고 있는 분야 중 하나이다. 영상처리를 통해 객체를 인식하고 추적하는 방법으로는 영상의 색상 정보를 이용하여 객체를 인식하고 추적하는 방법이 쓰였다[1-3]. 하지만 이러한 방법들은 배경과 객체의 색상이 유사하거나 외부의 조명 등의 요인으로 인해 객체의 색상이 변동되는 경우에 대해서는 성능이 떨어진다는 약점이 있다. 색상의 변동에 취약한 약점을 극복하기 위해 히스토그램 분석을 통해 문턱 값을 조절하는 방법[4-6], 인간의 시각 모델을 바탕으로 조명의 영향을 줄이는 레티넥스(Retinex) 알고리즘을 적용하는 방법[7], 영상이 조명과 물체의 반사율의 관계를 통해 조명을 추정하는 조명-반사율 모델(Illumination-Reflectance model)을 이용하는 방법[8] 등이 연구되었지만, 이러한 방법은 연산량이 많아진다는 단점이 있다.

깊이 카메라에 대한 연구가 활발해짐에 따라 깊이 카메라를 통한 사물 인식의 연구가 활발하게 이루어지고 있다[9-10]. 깊이카메라를 이용하면 조명의 영향을 받지 않고 거리정보를 이용하여 배경과 객체를 분리하여 적은 계산량으로 정확히 객체의 움직임을 추적할 수 있다. 하지만 깊이 카메라에서 측정되는 깊이 정보는 정확한 값이 측정되지 않고, 일정 오차가 포함되기 때문에 정밀한 사물 인식을 하는데 어려움을 겪는다[11-12]. 깊이 카메라를 통해 정밀한 사물 인식을 수행하기 위해서는 깊이카메라에서 발생하는 잡음을 제거하는 과정이 필수적이다.

깊이 영상에 포함된 잡음 요인 때문에 식별된 객체의 움직임 추적을 할 때, 잡음이 포함된 경로가 추적되는 문제점이 발생한다. 기존 영상처리를 이용한 움직임 추적에서 발생하는 잡음을 제거하는 방법으로는 저주파 필터를 적용하는 방법과 칼만 필터를 적용하는 방법이 있다. 저주파 필터를 적용한 방법은 직전 위치 정보와 현재 위치 정보에 각각 고정가중치를 부여하여 경로를 보정하는 방법이다. 저주파 필터를 이용하여, 객체의 현재 위치의 측정치를 보정함으로써 객체의 경로를 보정하는 연구가 이루어졌다[13-14]. 저주파 필터는 식이 간단하여 연산속도가 빠르고, 보정 결과도 거의 정확하지만, 급격한 변화에 대해서는 이전 위치를 보정에 사용하는 저주파 필터의 특성으로 인해 보정이 부정확하다는 단점이 있다. 칼만필터는 초기화 단계에서 객체의 예상되는 경로를 모델링한 후, 직전 위치에서 모델링된 경로를 적용하여 다음 위치를 예측한다. 그 후 측정된 위치와 예측된 위치를 예측오차와 측정오차를 통해 위치를 보정하여 경로를 보정하고, 이를 토대로 경로의 모델링을 갱신하는 방법이다. 칼만 필터를 이용하여 자동 보안 시스템에서 CCTV를 통해 인식된 사람의 움직임을 보정하거나[15], 로봇팔의 경로를 보정하여 정확한 경로로 로봇팔이 움직이게 하는 연구[16] 등이 이루어졌다. 칼만 필터를 이용한 방법은 경로의 움직임과 경로의 오차에 영향을 주는 외부요인의 예측이 가능한 객체에 대해서는 성능이 뛰어나지만, 임의로 움직이는 객체에 대해서는 경로 보정 성능이 뛰어나지 못하다는 단점이 존재한다. 따라서 깊이 정보를 이용하여 사물을 인식함에 있어서, 사물의 움직임을 추적하기 위해서는 새로운 필터링 방법이 필요하다.

본 논문에서는 깊이 정보를 이용하여 객체를 측정하여 추적할 때, 움직임 잡음을 효과적으로 제거하면서도 움직임에 대해 즉각적으로 반응할 수 있는 적응적 필터링 방법을 제안한다. 먼저 추적하고자 하는 객체의 움직임을 등속도 움직임으로 가정하여 시스템을 모델링한다. 그 후 모델링된 시스템을 통해 전단계에서의 움직임 정보를 통해 현재 단계에서의 사물의 위치를 추정할 수 있다. 이 때 추정된 사물의 위치와 현재 단계에서의 사물의 위치의 차이를 측정한다. 추정된 위치와 측정된 위치의 차이에 따라 가중치를 적응적으로 부여한다. 이 방법을 이용하여 신속하게 깊이 정보를 통해 깊이 카메라를 통한 움직임 추적을 정확하게 수행할 수 있다.

 

2. 깊이 정보의 측정에 의한 경로 오차의 특성

깊이 정보를 이용하여 사물을 인식할 때, 정확한 깊이 정보를 획득하는 것이 사물 인식 성능과 직결된다. 하지만 깊이 카메라에서 깊이 값을 측정할 때, 정확한 깊이 값이 고정적으로 측정되지 않고, 지속적으로 잡음이 섞인 깊이 값이 측정되는 문제가 있다. Fig. 1에서는 깊이 카메라를 통해 변화가 없는 곳을 지속적으로 촬영하였을 때 한 화소에서의 깊이 값의 변화를 측정한 것이다. 정확한 측정값을 중심으로 측정값이 변동되는 것을 확인할 수 있다. 이러한 측정시의 잡음은 깊이 값을 기준으로 물체를 추적하는데 있어서 잘못된 지점을 특정 점으로 인식하여 잘못된 이벤트를 제공하거나, 물체를 오인식하는 원인이 된다.

Fig. 1.Characteristics in the measured depth information: (a) Change of depth information for a pixel and (b) Noises in a frame.

또한 깊이카메라의 해상도도 경로 오차에 큰 영향을 미친다. 물체의 깊이 값의 특징을 이용하여 특징점을 찾아내어 이를 추적하는 알고리즘을 적용할 때 깊이 카메라의 측정 오차로 인해 특징점의 위치를 몇 화소 정도 어긋나게 검출할 수 있다. 만약 깊이 카메라의 해상도가 충분히 크다면, 측정상의 잡음으로 인해 특징점 위치 검출이 몇 화소 오차가 발생하였다 해도 실제 위치와의 오차가 거의 나지 않을 것이다. 하지만 실제로는 깊이카메라의 해상도가 낮음으로 인해 Kinect 깊이 카메라의 경우 1 화소 거리의 오차가 3m 거리에 있는 물체를 기준으로 했을 때 2.5cm의 차이를 보인다. 이러한 오차는 깊이 정보를 통해 터치를 인식하는 알고리즘[17]을 적용하였을 때, 터치 점의 위치가 깊이 카메라의 측정오차로 인해 Fig. 2처럼 터치 경로가 불규칙한 모양으로 그려짐을 알 수 있다.

Fig. 2.Errors in object recognition and tracking the movement of the object using the depth information.

이러한 경로 오차를 줄이는 방법으로는 간단하게는 해상도가 높고 깊이 측정 오차가 적은 깊이 카메라를 이용하는 방법이 있지만, 현재 깊이 센싱 기술이 정교하지 않기 때문에 입력된 경로를 필터링을 통해 보정하는 과정이 필수이다.

 

3. 깊이 터치의 경로 보정을 위한 적응적 필터 방법

깊이 카메라를 이용하여 사물을 인식하여 움직임을 추적할 때, 깊이 카메라의 잡음으로 인해 부정확한 움직임 정보를 얻는 문제가 있다. 이러한 문제점을 해결하기 위한 기존 필터링 방법으로는 저주파 필터를 이용하는 방법이 있다.

저주파 필터는 급격한 변화를 완만하게 하는 필터다. 저주파 필터는 식 1을 이용하여 측정 값을 보정한다. 식 1에서 xn 는 n번째 값에 대한 측정값이고, yn는 n번째 값에 대한 보정값이다. α는 필터링에 이용할 가중치이다. 이는 전 단계의 보정값과 현 단계의 측정값에 일정한 가중치를 부여하여 결과를 구하는 형태로 나타나게 된다. 저주파 필터는 식이 간단하기 때문에 연산속도가 빠르지만, 급격한 변화에 대해 응답성이 떨어지는 단점이 있다.

본 논문에서는 저주파 필터에서 나타나는 급격한 변화에 대해 응답성이 떨어지는 단점을 보완한 적응적 필터링 방법을 제안하고자 한다. 기존 저주파 필터에서 고정된 가중치를 객체의 움직임을 통해 예측을 하여, 예측된 움직임과의 차이를 통해 적응적인 가중치를 부여함으로써 급격한 변화에서도 응답성을 높일 수 있다. 만약 예측된 객체의 위치와 실제 측정된 위치의 차이가 작다면 예측된 위치의 신뢰도가 높다. 하지만 예측된 값과 측정된 값의 차이가 크다면 예측된 값은 거의 신뢰할 수 없고, 실제로 측정된 위치를 더 신뢰할 수밖에 없다. Fig. 4는 제안하는 필터링 과정을 보여준다.

먼저 객체의 움직임을 이전 단계의 움직임 정보를 통해 예측하는 단계가 필요하다. 이 때 객체의 이상적인 움직임을 등속운동계로 가정한다. 이는 각 프레임간 촬영속도가 객체 이동 속도보다 빠르기 때문에, 등속운동으로 간주하여도 그 오차가 크지 않다고 가정할 수 있다. n 단계에서 객체의 위치 정보 pn와 한 프레임간 객체가 움직이는 객체의 속도 정보 vn 가 포함된 객체의 움직임 정보가 있을 때, 객체는 등속운동을 하고 있으므로 예측된 객체의 움직임 정보는 다음과 같이 표현할 수 있다.

Fig. 3.Process of the lowpass filtering.

Fig. 4.Process of the proposed filtering.

그 후 실제의 위치 pm를 측정한다. 그 후 vn,과 pn, pm을 이용하여 예측된 위치와 실제 측정된 위치의 거리 d에 따라 가중치 α를 식 (3)를 적용하여 적응적으로 결정한다. 이 때 예측된 위치와 측정된 위치의 차이가 T 이상의 화소 거리를 가진다면, 예측된 위치에 대해 전혀 신뢰를 할 수 없다고 판단하여 측정 위치의 값이 그대로 보정 위치가 된다.

그 후 저주파 필터링과 유사하게 식 (4)를 적용하여 보정된 위치를 구한다. 식 (4)에서 pe는 예측위치, pm는 측정 위치, pc는 보정 위치를 의미한다.

보정 위치를 구한 뒤, n+1 단계의 움직임 정보를 식 (5)를 통해 갱신한다

 

4. 모의 실험 및 결과

본 논문에서 제안하는 적응적 필터링의 정확도를 측정하기 위해 깊이 정보를 통해 인식된 깊이 터치의 움직임을 측정하였다. 이때 깊이 카메라로는 Microsoft Kinect v2를 사용하였다. 이 깊이카메라를 통해 512 × 424 해상도와 초당 30프레임으로 영상을 촬영하였다. 또한 대상 스크린은 폭은 약 2.2m, 높이는 1.7m이며 해상도는 1024x768인 스크린을 사용하여 실험을 수행하였다.

이 때 깊이 터치 움직임을 분석하기 위해 터치된 지점에 모니터에 선을 긋는 이벤트를 수행하게 하였다[17]. 이 이벤트를 이용하여 삼각형, 사각형, 원 모형을 그리게 함으로써 필터의 성능을 분석하였다.

Fig. 5는 기존 저주파 필터와 제안된 적응적 필터링을 적용한 결과이다. 필터링을 적용한 결과 필터링을 적용하지 않았을 때와 달리 경로가 상대적으로 고름을 확인할 수 있다. 하지만 저주파 필터링을 적용했을 때는 도형의 꼭지점 부분에서는 보정의 효율이 떨어지는데, 이는 저주파 필터링이 급격한 변경을 제거하는 특성 때문에 보정이 제대로 이루어지지 않았기 때문이다. 반면 제안된 적응적 필터링을 적용한 결과에서는 꼭지점에서도 보정의 효율이 일정함을 확인할 수 있다.

Fig. 5.Drawn shapes through depth touch: (a) Applying the lowpass filtering and (b) Applying the proposed filtering.

Fig. 6은 위치의 변동에 따른 필터의 반응을 나타낸 것이다. Fig. 6에서 수평축은 프레임을 나타내며, 수직축은 프레임간 위치의 변화량을 나타낸 것이다. 실선은 측정값을 나타낸 것이고, 점선은 필터링을 거친 결과를 나타낸 것이다. 그래프에서 저주파 필터링 방법은 변화에 대해 무조건 변화를 일정량 감쇠시키는 것을 볼 수 있다. 반면 제안된 적응적 필터링 방법은 일정 수준 이하의 변화에 대해서는 변화를 줄이지만, 일정 이상의 변화가 생길 경우 변화를 신속하게 따라간다는 것을 볼 수 있다.

Fig. 6.Reaction of filters according to the change in the depth touch position: (a) Lowpass filtering and (b) Proposed filtering.

필터링의 정확도를 측정하기 위해 ㄹ자 도형을 그리게 하여 정확도를 측정했다. 이 때 Fig. 7에처럼 터치 경로에서 프레임마다 측정된 터치 경로가 x, y 축과 이루는 각도 θ1, θ2 중 작은 각도가 ㄹ자에서 벗어나는 정도를 측정하는 하나의 척도가 될 수 있다. 이렇게 측정된 오차 각도를 평균하여 정확도를 측정하는 척도로 삼았다.

Fig. 7.Accuracy measurement of touch path.

필터를 적용하지 않았을 경우, 저주파 필터를 적용했을 경우와 제안된 적응적 필터를 적용했을 경우에 대해 정확도를 Table 1과 같이 측정하였다. 이 때 필터를 적용하지 않았을 경우에는 오차 각도가 평균 12.668°이고, 저주파 필터의 경우 평균 10.762°인 반면, 제안된 필터의 경우 6.813° 로써 성능 개선이 저주파 필터보다 훨씬 뛰어남을 확인할 수 있다.

Table 1.Result of measurement for the filtering accuracy according to applied method

또한 제안한 필터링 방법에서 T를 변경하여 정확도를 Table 2와 같이 측정했다. 이 때 T가 너무 작으면, 필터링의 효과가 거의 없었고, T를 높일수록 보정의 성능이 좋아지는 것을 확인할 수 있었다. 하지만 일정 T 이상에서는 다시 보정의 효과가 줄어들었다. 또한 T가 커짐에 따라 전체적으로는 보정의 효과가 크지만, 원본에서 급격하게 변하는 부분에 대해 보정 후 형태왜곡이 발생하였다. 이는 Fig. 9에서 T가 커질수록 모서리 부분이 점차 둥그러지는 왜곡이 일어나는 것으로 확인할 수 있다.

Table 2.Result of measurement for the filtering accuracy according to T

 

5. 결 론

본 논문에서는 깊이 정보를 통해 측정된 객체의 움직임 경로를 적응적인 필터링을 통하여 보정하는 방법을 제안하였다. 깊이 정보를 통해 물체의 경로를 추적할 때, 깊이 측정 오차와 낮은 깊이 카메라의 해상도로 인해 경로 오차가 발생하였다. 이러한 깊이 센싱의 잡음을 해결하는 것은 일차적으로 측정 장치의 측정 성능을 개선하는 방법이 있다. 하지만 이 방법은 난이도가 높고, 비용도 높게 들기 때문에 잡음의 특성을 이해하여 필터링을 통해 잡음을 제거하는 방법을 통해 잡음을 거의 제거할 수 있다. 하지만 기존 저주파 필터링은 급격한 변화에 대해 잡음 제거의 성능이 떨어졌다. 본 논문에서는 기존 저주파 필터링 방법에서 예측을 통해 예측값과 측정값의 비교를 통해 가중치를 적응적으로 부여하여 필터링을 적용하였다. 제안된 필터링 방법을 통해 기존 저주파 필터링 방법에서 보였던 급격한 변화 입력에 취약한 단점을 해결할 수 있었고, 정확도도 기존 저주파 필터링에서 더 좋아졌다. 본 논문에서 제안한 방법을 통해 깊이 측정 잡음을 빠르고 정확히 제거할 수 있음으로 인해 깊이를 통한 물체 인식 및 추적 성능을 개선할 수 있을 것으로 기대한다.

Fig. 8.Drawn orthogonal shapes for measuring accuracy: (a) No filtering, (b) Lowpass filtering and (c) Proposed filtering.

Fig. 9.Distortion of the orthogonal shape according to T: (a) 60, (b) 300, and (c) 500.