1. 서 론
학원 통학차량 승하차 시 아동 사망사고는 현재 지속적으로 발생하고 있으며, 그 사회적인 파장이 매우 크다. 이에 본 논문에서는 학원 통학차량으로부터 아동 승하차시 위험여부를 검사하여 경고하는 움직임 물체 검출 기반의 학원통학차량 승하차 위험 경고 시스템을 제안한다. 보통 대부분의 사고는 통학차량이 출발한 직후에 발생하며, 사고 후 매우 짧은 시간 내에 사망 사고로 이어지는 경향을 보이고 있다. 결국 경고 시스템은 차량정차와 동시에 차문이 열리면서 아동들의 승하차가 끝나고, 차문이 닫히면서 차량 출발 후 일정시간 내에 위험 구역 내에서 움직임을 가지는 객체의 존재 여부를 신속히 판단하여 그 위험성 여부를 차량 운전자에게 전달하여야 한다. 결국 이러한 신속성이 요구되는 경고 시스템에서의 알고리즘은 실행 시간이 적으면서도 경고의 신뢰성이 확보될 수 있도록 설계되어져야 한다. 본 논문에서 위험 검사 구역을 총 세 개의 구역으로 분리하였다. 우선 구역1은 정지한 차량으로부터 가로, 세로 1.5m×2.3m 떨어진 구간으로, 구역2는 약 0.6m 이내로 떨어진 구간으로 정의한다. 즉 그림 1에 보인 것처럼 구역1에서는 차량으로 부터 다소 떨어진 영역까지 움직임 객체 검사를 수행하며, 구역2 에서는 차량과 가까운 영역 즉 사고 발생률이 높은 구간에서의 움직임 객체를 집중 검사한다. 구역3은 차량의 문이 열린 직후부터 아동들의 승하차 진행 여부를 검사하기 위한 구간이다. 구역1과 구역3에서는 차량이 정차하여 문이 열린 후 닫힐 때까지, 구역2에서는 차량문이 닫힘 후 부터 차량 출발 후 10초 동안 까지 움직임 객체가 검사된다.
2. 제안 시스템의 개요
영상획득을 위해 실제 학원 통학차량에 그림 2와 같이 비전 모듈을 장착하였다. 카메라의 장착 위치 및 방향은 장착의 용이성, 차량 훼손의 최소화, 입력 영상 취득 등을 고려하여 차량 운전자 반대쪽 사이드 미러 (Side mirror)에 장착하였다. 카메라가 사이드 미러 부분에 장착되어 있으므로 카메라로부터 가까운 영역과 먼 영역 간의 원근 왜곡이 발생한다. 그림 1(a)의 구역1은 이를 고려하여 카메라로부터 가까운 영역과 먼 영역간의 원근 비를 계산하여 움직임 객체 검사 영역을 설정하였다. 반면 구간2는 차량에 근접해 있고 구간1에 비해 상대적으로 좁은 영역이므로 원근 왜곡을 고려하지 않고 직사각형 형태의 영역으로 설정하였다.
3. 움직임 객체 검사 알고리즘
3.1 절대 차영상
일반적으로 배경 모델링의 신뢰성이 높을수록 더 정확히 객체를 추출하고 추적하는 것이 가능하다. 대부분 초기 배경 모델링에 사용되는 영상들은 최고의 조건하에서 획득하는 것이 일반적이지만, 본 연구에서는 차량이 정차할 때 마다 배경이 바뀌는 조건이므로 매번 새로운 영상을 획득하여 배경 모델링 및 갱신을 수행해야 하는 어려움이 있다. 본 논문에서는 이러한 조건을 고려하여 통학차량 정차 직후의 1초 동안 입력된 30개의 영상 프레임을 가지고 식 (1)을 사용하여 배경 모델링을 수행하였다[1].
그림 1(a) 구역1 (b) 구역2 (c) 구역3 Fig. 1 (a) Zone1 (b) Zone2 (c) Zone3
그림 2통학버스의 사이드 미러에 장착된 카메라 Fig. 2 Attached camera under side mirror of hagwon-bus
여기서 It(x,y)는 입력영상, Bt(x,y)는 모델링된 배경영상, Bt−1(x,y)는 전(前) 배경 영상을 나타낸다. α는 실험적으로 결정되는 상수로써 크면 클수록 빠른 배경 갱신이 가능하다. 통학차량이 정차한 후 식 (1)을 통해 얻어진 배경영상은 이후 갱신과정 없이 통학차량이 출발하기 위해 차문이 닫히기 전까지 움직임 객체를 검출하기 위해 사용된다. 실제 상황에서 관찰한 결과 차량의 문이 열리고 아동들이 하차하는데 걸리는 시간은 빠르면 십여초 내외, 특별한 경우를 제외하면 늦어도 1분 이내임을 알 수 있었다. 또한 대부분의 아동들은 구역1을 수초 안에 벗어남도 확인하였다. 결국 본 연구에서는 배경영상의 갱신 내용이 반영될 정도의 충분한 정차 시간을 확보하기 어려우므로 연속적인 배경영상의 갱신 과정은 생략하였다. 배경 모델링 후에 연속적인 입력영상 It(x,y)와 모델링된 배경영상 Bt(x,y)을 사용하여 절대차영상(Absolute difference image) Dt(x,y) 얻어낼 수 있다.
3.2 구역1의 움직임 객체 검사
영상에서 사람의 검출 및 추적을 위해 많이 사용하는 대표적인 특징은 에지의 기울기 및 방향 정보이다. 예를 들어, EOH (Edge Orientation Histogram) 나 HOG (Histogram of Oriented Gradient) 는 에지의 크기와 방향 정보를 적절히 활용한 특징 서술자들이다[2,3]. 앞서 서술한 것처럼 짧은 승하차 시간을 고려해 볼 때 만약 위험구역 내에 어떤 움직임이 발생되었다면 객체 움직임 검사 알고리즘은 이를 실시간으로 신속하게 검사하여 운전자에게 경고해 줄 수 있어야 한다. 게다가 변화무쌍한 승하차 주변 환경을 고려해 볼 때 외부 조건의 변화에 또한 강인해야 한다. 이런 관점에서 볼 때 성능 대비 긴 처리 시간이 요구되는 EOH나 HOG 방법 대신 간단하면서도 환경 변화에 강건한 새로운 움직임 객체 검출 방법이 필요하다. 이에 본 논문에서는 영상에서 추출 가능한 엔트로피 값들 활용하여 움직임 객체 검사를 수행하였다. 우선 식 (2)를 사용하여 얻어낸 절대 차영상 Dt(x,y) 내의구역1을 k개의 블록으로 분리한다. 이때 주목할 것은 그림 3의 왼쪽 하단부에 보인 것처럼 원근 왜곡을 고려하여 서로 다른 면적을 가진 블록으로 나눈다는 것이다. 각각의 블록을 채우고 있는 차이값에 대해서 확률밀도함수 를 구한다.
그림 3구간1에서의 블록별 엔트로피 값 Fig. 3 Entropy value for each block in Zone
여기서 는 k 번째 블록에 포함되어 있는 차이값들인 g() 의 각각의 개수를 나타내며, Ak는 k번째 블록의 크기를 나타내는데 원근 왜곡에 의해서 서로 다른 크기를 가진다. 구해진 블록별 확률밀도함수로부터 식(4)의 엔트로피를 계산한다.
그림 3에 구역1을 k개의 블록으로 분리한 후 블록별 엔트로피 값을 구한 결과를 보였다. 결국 움직임이 크게 존재하는 블록의 엔트로피 값이 상대적으로 적거나 움직임이 존재하지 않은 블록에 비하여 커짐을 확인할 수 있다. 마지막으로 식 (5)를 통해 움직임 블록(Motion block)들을 선별함으로써 최종 객체의 움직임 여부를 판정한다.
계산된 블록별 엔트로피 값이 Th=4.5보다 크다면 움직임 블록으로 간주하였으며 두개 이상의 움직임 블록이 발견되었을 때 구역내에 움직임 객체가 있다고 판정하였다.
3.3 구역2의 움직임 객체 추적을 통한 검사
그림 1(b)에서 볼 수 있듯이 구역2는 좁고 긴 직사각형 형태로 차량과 최대로 근접해 있으므로 차량의 정차 및 출발 시 움직임 객체가 존재한다면 사고로 이어질 수 있는 가능성이 큰 구역이다. 그러나 좁은 영역(아동 한 명 정도 들어갈 넓이) 이라는 특성 때문에 구역1과는 달리 승하차 주변 환경에 거의 영향을 받지 않을 확률이 높다. 이것은 배경 영상에 움직임 물체가 존재할 확률이 현저히 낮으므로 입력영상 간의 차 만으로도 신뢰성 있는 움직임 객체를 검출할 수 있음을 의미한다. 본 논문에서는 배경영상과 입력 영상의 차이를 통해 움직임 객체를 검출한 후, 검출된 움직임 객체를 파티클 필터를 통해 추적(Tracking) 한다. 이때 계산된 RGB 채널별 색상 히스토그램에서 최대로 누적된 저장소의 인덱스들을 움직임 객체의 특징으로 결정하였다. 주목할 것은 구역2는 사고 발생 빈도가 잦고 발생 시 사망 위험이 큰 차문 옷 끼임 사고를 방지하기 위하여 정의되었다.
3.4 구역3의 움직임 객체 검사
구역3은 그림 1(c)에서의 같이 자동차 문이 열렸을 때 아동들이 승하차 시 짧은 시간동안 스쳐가는 영역이 된다. 즉 구역3에 움직임이 검출되었다면 아동들의 승하차가 진행중임을 의미하므로, 운전자에게 위험 경고를 전달하게 된다. 이 경우에는 비록 구역1에 움직임 객체가 없다고 판단되었을 지라도 일정한 시간 동안 운전자에게 위험성에 대한 경고를 주도록 하였다(본 논문에서는 2초간). 움직임 객체 검출은 방법은 다음과 같다.
여기서 IC 는 현재 입력영상, IP는 바로 직전 입력영상, IB 는 배경영상을 나타낸다. 표준편차 STDR 이 문턱치 Th=10보다 클 경우 움직임 객체가 검출된 것으로 판단하였다.
4. 실험결과
초당 30 프레임으로 입력되는 320×240의 크기를 가지는 영상을 Intel® CoreTM i7-2600 CPU 3.4GHz와 4GB 메모리를 가지는 데스크탑 PC를 사용하여 움직임 객체 검사를 수행하였다. 그림 4는 DB1을 구역1과 구역3 에서의 움직임 객체 검사에 대한 결과 영상들을 보여주고 있다. 구역1 영역을 35개의 블록으로 나눈 후 블록별 엔트로피 값을 식 (4)를 사용하여 구하였다. 그림 5는 추적 대상 객체인 태권도복을 입고 있는 아동 마네킹의 차문 옷 끼임 사고를 가상시나리오로 하여 모의실험을 수행한 결과이다. DB3에서 차문이 닫힘과 동시에 배경영상과 입력영상 간의 밝기 차이를 이용하여 구역2에 존재하는 추적 대상 객체를 검출한다. 이렇게 검출된 추적 대상 객체로부터 색상 정보를 특징점으로 추출한 후 파티클 필터 기반의 움직임 물체 추적을 수행하게 된다. 그림에서 볼 수 있듯이 통학버스가 운행중 임에도 불구하고 아동 마네킹을 정확히 추적함을 볼 수 있다. 이것은 제안한 방법이 차문 옷 끼임 사고에 대해 적절한 경고를 내릴 수 있음을 의미한다. 제안한 방법의 성능 평가를 위하여 TP (True Positive), FN (False Negative), FP (False Positive)를 분석하여 표 1에 recall과 precision을 계산하였다. 구역1과 구역3에서의 객체의 움직임 검사 (DB1, DB4)와 구역2에서의 차문 옷 끼임 마네킹 추적 (DB2, DB3) 실험에서 모두 우수한 성능을 보임을 알 수 있다. 또한 실행 속도 관점에서도 28~29 frame/sec를 유지함으로써 실시간 적용이 가능한 수준이다.
5. 결 론
본 논문에서는 컴퓨터 비전에 기반한 학원 통학차량의 승하차 위험 경고 시스템을 제안하였다. 실제 필드에 적용하기 위해서 구동 알고리즘은 단순하면서도 강인한 성능을 가지도록 설계되었다. 획득된 DB들을 사용한 모의실험을 통해 제안한 방법은 3개의 위험구역 내의 움직임 객체의 존재에 대해 신속하고 신뢰성 있는 경고를 제공할 수 있음을 확인할 수 있었다. 향 후 연구 과제로는 차량 정차 시 구역1 내에 일시 고정된 움직임 물체가 존재할 경우에 대한 해결책 및 그림자로 인한 오경고 방지에 대한 연구가 필요하다.
그림 4구역1과 구역3 에서의 움직임 객체 검사 결과 Fig. 4 Result of moving object inspection for zones 1 and 3
그림 5구역2 에서의 움직임 물체 추적 결과 Fig. 5 Result of moving object tracking for zone 2
표 1재현율과 정확도 Table 1 Recall and Precision
References
- C. R. Wren, A. Azabayehan, and A. P. Pentland, "Pfinder: Real-time Tracking of the Human Body," IEEE Trans. Patt. Anal. Mach. Intell., vol. 19, No. 7, pp. 780-785, July 1997. https://doi.org/10.1109/34.598236
- H. Yang, Z. Song, and R. Chen, "An incremental PCA-HOG Descriptor for Robust Visual Hand Tracking," Lecture Notes in Computer Science, vol. 6454, pp. 687-695, 2010.
- K. Levi and Y. Weiss, "Learning Object Detection from a Small Number of Examples: The Importance of Good Features," In Proc. IEEE Conf. Comp. Vision Pattern Recognition, Vol-ume2, pp. 53-60, Washington, DC, 2004.