Design and Implementation of Safety system to prevent human accidents caused by low-speed vehicles

저속 주행 자동차에 의한 인명 사고 예방을 위한 안전 시스템의 설계 및 구현

Abstract

Proximity sensors and rearview cameras for automobile safety are common, but many accidents are still occurring. Using the All Around View and object recognition algorithm to show the front, back, left, right and bottom of the vehicle, the sensor detects the presence of a living body when the vehicle starts or parks, and displays the outside of the vehicle on the screen. In addition, the object recognition algorithm is used to visualize the object by expressing the position of the object. In this way, we propose a strong safety system that can prevent human accidents caused by the vehicle by sensing, screen, and expression.

자동차 안전을 위한 근접센서 및 후방카메라가 일반적이다. 하지만, 여전히 많은 사고가 발생하고 있다. 생체 감지 센서, 자동차의 앞, 뒤, 좌, 우와 하부까지 보여주는 All Around View 및 사물 인식 알고리즘을 사용하여 차량이 출발하거나 주차할 때 주위에 생체가 있는지 센싱하고 차량 외부를 화면에 표시한다. 또한 사물인식 알고리즘을 활용해서 사물의 위치를 표현해서 물체를 명확하게 화면에 시각화한다. 이렇게 센싱, 화면, 위치 표현에 의해 차량에 의한 인명 사고을 예방할 수 있는 강력한 안전 시스템을 제안 한다.

Ⅰ. 서론

자동차가 출발을 하거나 주차를 할 경우, 안전을 위한 근접센서, 후방카메라가 보편화 되어 있지만, 아직까지 많은 사고가 발생 되고 있다. 특히 차량 후진 사고는 2014~2016 기간 중 2만 5천 6백 건이나 발생했다. 년간 8만 5천건 이상 발생했다. 또한 사망자는 같은 기간 2014~2016 기간 중 186명이나 발생했다. 특히 화물차에 의한 사망사고가 119건으로 64%에 달한다^[1].

최근 4차 산업 발전과 더불어 다양한 IoT센서, 고성능 소형카메라, 인공지능 기술이 개발되고 보급되고 있다. 다양한 형태의 인체 감지 센서를 사용할 수 있고, 고성능 소형 카메라 모듈도 보급화 되어서 간편하게 사용할 수 있다. 카메라의 실시간 화면을 통해 인공지능 기술을 접목해서 사물을 식별하고 위치를 나타낼 수 있는 사물 인식 알고리즘도 경량화되어 소형 컴퓨터(Raspberry Pi 3 B+ & NCS2)에서 8FPS이상의 속도로 구현 가능하다.

본 논문에서는 인체감지센서, 싱글 보드 컴퓨터, 사물 인식알고리즘에 대한 조합에 의해 차량이 출발하거나 주차할 경우 발생할 수 있는 인명 사고를 완벽하게 방지할 수 있는 방법을 제안한다. 1차 센서로 인체 감지를 하고 인체가 감지될 경우, 카메라에 의해서 자동차 주의를 시각화하고 사물 인식 알고리즘에 의해서 카메라에서 받은 영상을 실시간 분석해서 인식된 사물을 화면에 표현해서 인명 사고를 방지한다.

간단한 시스템을 구성해서 안전 시스템을 인체 감지 센서, 사물 인식 인공지능을 통해서 구현이 가능한지 실험을 통해 확인하고, 실제 현실적으로 사용하기 위해서 보완해야할 사항을 제시한다. 특히 PIR 센서는 동작을 감지하는 방식인데, 정지한 사람을 감지할 수 있는 센서가 필요하고 이에 대해 조사한다. Raspberry Pi 싱글 보드 컴퓨터는 사양의 한계로 구현 속도가 높지 않은데, 사양을 높일 수 있는 방안에 대하여 제시한다. 그리고 마지막으로는 센서, All Around View, 사물인식을 통한 완벽한 안전 시스템에 대해서 제안한다.

본 논문의 구성은 다음과 같다. 2절에서 자동차 인명 사고의 현황을 조사하고 자동차 안전 시스템에 대해서 현재 구현되고 있는 기술들을 조사했다. 3절에서 인명사고 예방을 위한 안전 시스템 설계에 대해서 소개하고 4절에서는 센서~비젼~사물인식에 대한 구현 및 평가했고 이를 기반으로 완벽한 안전 시스템에 대한 제언을 하고 5절에서 본 논문에 대한 결론으로 마무리했다.

Ⅱ. 관련 연구

2절에서는 자동차 인명 중 후방사고, 깔림 사고에 대한 통계 수치와 사례 대해서 조사했다. 그리고 현재까지 구현된 주정차시 자동차 안전 시스템에 대해서 조사했고 센서와 IoT보드와 사물인식 알고리즘에 대해서 정리했다.

1. 자동차 인명 사고

자동차에 의한 인명 사고에는 주행 중 사고, 주정차시 사고 등 여러 가지가 있지만 본 논문에서는 주정차시 발생할 수 있는 사고에 대해 초점을 맞췄다. 특히 차량 후진 사고는 2014~2016 기간 중 2만 5천 6백 건이나 발생했다. 년간 8만 5천건 이상 발생했다. 또한 사망자는 같은 기간 2014~2016 기간 중 186명이나 발생했다. 특히 화물차에 의한 사망사고가 119건으로 64%에 달한다^[1].

공사장에서 발생하는 사고로는 깔림 사고가 대표적이다. 주요 원인으로 작업자나 사람이 사각지대에 노출되어 운전자의 시야에 들지 못하여 일어난다. 그래서 최근 5년간 해결방안으로 후방카메라 및 각종 센서로 해결을 하고자 하는 연구가 있었으나 후진으로 인하여 깔림사고는 표 1에서 보는 바와 같이 빈번하게 일어나고 있다. 그 원인으로 차량 사각지대에 대한 정확한 감지가 불분명한 점과 아직까지 깔림사고 방지를 위한 법률 규정이 갖춰 지지 못한 점이 크다.

표 1. 덤프트럭&레미콘(보닛트럭)에 의한 사고

Table 1. Accidents by Dump Truck or Remicon Truck

2. 자동차 안전 시스템

주정차를 돕기 위한 자동차 안전 보조 장치로 초음파 센서를 이용한 후방감지 시스템과 후방카메라가 있다. 후방감지 시스템은 뒷범퍼에 3~5개의 초음파 센서를 장착해서 초음파 신호를 송신해서 물체에 반사되서 오는 반사파를 감지해서 거리를 감지한다. 후방 감시 카메라는 차량 후면에 카메라를 설치해서 운전자가 직접 후방을 보면서 후진을 조작할 수 있도록 도와준다. 최근에는 차량 주변에 초음파 센서를 장착해서 차량 주변의 장애물을 감지하도록 상용화되었다^[2-3]. 그리고 후방 감지 카메라도 4개의 카메라를 활용해서 차량 주변을 차량위에서 내려다 보는 방식인 버드뷰 방식으로 차량 하부 주변을 디스플레이해서 주차시 주변을 볼 수 있게 하는 AVM(Around View Monitoring) 시스템으로 사용되고 있다^[4-7] .

그림 1. 자동차 안전 시스템 (1) 르노삼성 장애물 감지 시스템 (2) 현대 AVM 시스템

Fig. 1. Automotive Safety System (1) Renaulsamsung obstacle detection system (2) Hyundai AVM system

3. 인체 감지 센서, IoT 보드 및 사물인식 알고리즘

인체 감지를 위한 센서에는 PIR센서, 마이크로웨이브 센서가 있다. 일반적으로 많이 볼 수 있는 센서는 현관문에 사람의 출입시 불이 켜지는 전등을 보면, PIR센서가 부착되어 있다. 이 센서에 의해서 사람이 오는 것을 감지해서 전등이 켜지게 된다. 그리고 다른 사례로는 건물 내침입 감지 시스템에 사용된 바 있고^[8-9] 사물의 유무를 탐지하여 에스컬레이터 등의 안전 설계에 사용된 바 있다 ^[10-12]. 이 PIR(passive infrared) 센서의 원리는 그림 2로 설명할 수 있다. 인체의 표면온도는 일반적으로 20~35℃ 정도이며, 방사되는 적외선 파장분포는 대체로 약 10㎛ 부근에서 피크를 나타낸다. 이 적외선의 변화량을 감지하여 사람의 존재 유무를 감지하는 것이 PIR 센서이다. 만약 움직임이 전혀 없다면 적외선의 변화량이 생기지 않기 때문에 감지가 어렵다. 또한 물체가 너무 가까워져서 센서의 주변온도가 상승하게 되면 감도가 급격하게 떨어진다^[13].

그림 2. PIR 센서의 원리

Fig. 2. Principle of PIR Sensor

마이크로웨이브 센서는 마이크로웨이브 신호를 방출하고 신호가 센서로 다시 반사되는 데 걸리는 시간을 측정한다. 이를 에코 시간이라고 하는데, 이 에코 시간은 감지 영역의 모든 고정된 물체로부터 거리를 계산하여 작업할 기준선을 설정하는 데 사용된다. 감지 구역으로 이동하는 사람은 마이크로웨이브 빔을 방해하여 에코 시간을 변경하여 동작을 감지하게 된다^[14].

표 2. PIR센서와 마이크로웨이브 센서 비교

Table 2. Comparison of PIR Sensor and microwave sensor

24GHz 마이크로웨이브를 활용한 센서를 조사했다. 마이크로웨이브를 이용한 거리 측정이 가능한 센서로 혁신적인 독점 신호 처리로 움직이는 물체를 감지할 수 있으며 실내 및 실외 환경에서 움직이는 물체까지의 거리를 계산하여 출력하는 기능을 가지고 있다. 그림 3은 화창한 날씨에 사람, 자동차의 접근을 센싱하는 화면이고, 그림4은 비오는 날씨에서 사물을 감지하는 화면이다. 사람이 멀어져가는 신호가 (1)로 표현되고, 빗방울에 의해 센싱되는 신호가 (2)로 나타난다^[15].

그림 3. 맑은 날의 사물 감지

Fig. 3. Measurement Objects in sunny day

(1) People walking away from the front of the sensor

(2) Vehicle approaching the sensor from a distance

그림 4. 흐린 날의 사물 감지

Fig. 4. Measurement Objects in rainy day

(1) People walking away from the front of the sensor

(2) The effect of rainfall on the distance measurement of pedestrian is small, but the raindrop on the front of the case has a slight influence.

IoT보드는 일반적으로 많이 사용되는 Raspberripi3 B+(4x ARM 코텍스-A53, 1.4GHz/1GB LPDDR2 SDRAM)가 있다. 사물인식 알고리즘을 구동했을 때, 사양의 한계로 0.5~1FPS(Fram Per Second)로 구동된다. 더 빠른 성능을 위해서 Intel NCS2를 조사했다. 이경우에는 Intel에서 개발한 OpenVino라는 알고리즘을 사용해야 한다. Intel 자료에 의하면 이 방식으로 8FPS까지 향상 가능하다^[16]. “YOLOv3 on Jetson AGX Xavier 성능 평가”를 참고하면, NVDIA사의 Jetson agx xavier를 사용할 경우, YOLOv3-tiny는 220FPS까지 가능하고 YOLOv3은 608의 경우, 20FPS까지 가능하다^[17].

사물인식 알고리즘의 경우에는 그림 5와 같이 수많은 논문에서 알고리즘들이 소개되었다. 이전의 사물 인식 알고리즘은 객체를 탐지하기 위해 해당 객체에 대해 분류자를 사용하고 테스트 이미지의 다양한 위치와 스케일을 적용해서 평가를 하는데, 복잡한 구조 때문에 연산 시간이 많이 소요 됐다., 최근에 소개된 YOLO(You Only Look Once)라는 알고리즘은 간단하고 직관적이다. 입력 크기를 SxS로 조정하고 이미지에 단일 컨볼루션 네트 워크를 실행하며, 모델 신뢰도에 따라 임계 값을 결정한다^[18]. 간단한 구조 때문에 그림 6에 나타난 바와 같이 뛰어난 FPS 속도를 보여 준다^[19-20].

그림 5. Object Detection 논문 흐름도

Fig. 5. Flow chart for Object Detection papers

그림 6. Object Detection 알고리즘 속도 비교

Fig. 6. Comparison of Object Detection algorithms

Ⅲ. 인명사고 예방을 위한 안전 시스템 설계

주정차시 혹은 저속 주행시 인명사고를 방지하기 위한 안전 시스템은 인체 감지 센서, 카메라 모듈, IoT보드, 사물인식 알고리즘으로 구성이 된다. 1차로 사물인식 센서로 사람이 감지 되면 카메라 모듈이 켜지고 실시간 사물인식 알고리즘에 의해 모니터 화면에 인식된 객체가 바운딩 박스형태로 표현된다. 이 객체가 사람인 경우에 차량 운행이 정지되고 운전자가 확인했다는 의미로 터치 패널을 두 번 두드리면 안전 모드가 해제되어 차량 운행이 가능해진다.

그림 7. 인명사고 예방을 위한 안전 시스템 설계

Fig. 7. System Architecture of Safety system to prevent human accidents

센서의 경우에는 차량 하부, 차량 전후좌우에 설치가 필요하다. 카메라의 경우에는 기존 AVM 시스템에서는 전방, 후방, 백미러 아래 좌우 설치해서 차량 하부 주위를 감시하고 차량 하부를 감시하기 위해서 전방과 후방에 카메라를 배치해서 타이어 부분을 볼 수 있도록 한다. 차량 전방과 후방, 측면 좌우에 설치해서 전방위 모니터링이 가능하도록 카메라를 배치한다. IoT보드는 NVIDIA 사의 Jetson AGX Xavier를 사용하고 사물인식 알고리즘은 YOLOv3-608을 사용해서 실시간 사물 감지 속도를 20FPS로 구현한다.

그림 8. All Around View Monitoring System

Fig. 8. All Around View Monitoring System

Ⅳ. 구현 및 평가

센서, IoT보드, 카메라, 사물인식 알고리즘을 구현해 보기 위해서 간단하게 시스템을 구성해보고 차량에 장착해서 센서~사물인식 시스템을 구현한다.

1. 구현 환경

실험을 위해서 PIR 센서, 싱글 보드 컴퓨터, 카메라를 하기와 같이 구성했다.

그림 9. 테스트를 위한 하드웨어 구성

Fig. 9. Hardware for testing

표 3. 하드웨어 사양

Table 3. Hardware Specification

라즈베리파이에 하드웨어 연결은 모니터는 리본케이 블을 사용해서 연결했고 전원 단자를 연결했다. 웹캠은 USB로 연결하면 했다. PIR센서는 그림 10과 같이 GPIO23번을 사용했다.

그림 10. PIR 센서 설치

Fig. 10. PIR Sensor install

2. 구현 및 평가

차량 장착은 후방 기준으로 구상도를 하기와 같이 설정했다.

그림 11. 차량 장착 예

Fig. 11. Vehicle Mounting Example

시스템 구성을 위해 Raspberrypi3 B+에 리눅스 기반의 라즈비안 OS를 설치했다. 카메라 모듈을 설치하고 23번 GPIO포트를 사용하도록 PIR센서를 구성했다.

소프트웨어 구성을 위해 Object detection 알고리즘을 찾던 중, Raspberry에서 구동할 수 있는 light한 버전인 YOLO v3 tiny버전을 활용했다.

그림 12. 사물 인식 테스트

Fig. 12. Object detection testing

PIR Sensor를 구동 시키기 위해서, 하기 코드를 활용했다. 23번 GPIO 단자를 사용하기 위해서 MotionSensor 명령을 호출해서 pir이라는 함수를 정해서 23번 GPIO 신호를 수신한다. “pir.wait_for_motion()”명령을 사용해서 센서를 활성화하고 센서가 동작되면 23번 GPIO 단자에 신호를 보내게 된다.

센서와 사물인식 테스트를 위한 시스템 구조는 다음과 같다.

그림 13. 테스트를 위한 시스템 구조(센서 ~ 사물 인식)

Fig. 13. System Architecture for testing (sensor ~ object detection)

Detection 프로그램이 실행되면, PIR 센서가 활성화되고, 외부에서 생체 움직임이 포착이 되면 카메라가 켜지면서 화상 이미지를 취득하고 Yolov3-tiny를 통해서 사물을 인식해서 사각형 영역을 표시해서 위치를 표현하고 분류된 사물의 이름을 표시한다. 만약 움직임이 센서에 의해서 포착이 안 되면 아무런 동작도 하지 않는다.

그림 14. 감지 화면 (‘Person’이 마젠타 색상의 박스로 표현됨)

Fig. 14. detecting screen (‘Person’ is described as Magenta box)

간단한 장치와 실험을 통해서 싱글 보드 컴퓨터에서 object detection이 훌륭하게 구현되는 것을 확인했다. 다만 컴퓨터 사양의 한계 때문에 1FPS(Frames Per Second) 수준 정도로 만족해야 했다. 실험에서 PIR센서는 움직이는 물체에 대해서만 감지가 가능하고, Object detection 속도도 1 FPS로 30FPS 수준에는 한참 못 미치는 수준이다. 개선 목표는 하기와 같이 잡았고 개선 사항에 대해 조사한 내용을 기술하겠다.

표 4. 센서, 연산 속도 현재 수준 및 목표

Table 4. Sensor, process speed current state and target

센서 부분은 앞서 소개한 바와 같이 정지한 상태의 인체를 감지할 수 있는 센서가 필요하다. 시각 시스템의 경우, 이미 상용화된 Around View에서 한 단계 더 진보한 All Around View를 제안한다. 이미 차량 차량 하부 주위뿐만 아니라, 측면까지 완벽하게 표현할 수 있는 방법이 제안 ^[21] 되었고 차량 하부에 광각 렌즈를 추가해서 차량 하부까지 볼 수 있는 방식을 제안한다. 대형 트럭의 경우, 후진 등에서 발생하는 협착 사고를 후방 카메라만으로 해결할 수 없다. 이에 차량 하부까지 볼 수 있는 All Around View가 필요하다.

이러한 View에서 인공지능 사물인식 알고리즘을 15FPS 이상으로 구현해서 센서로 검출이 되고 사물인식으로 감지가 되면, 사용자가 확인했다는 의미에서 화면에서 인식된 객체에 사각 영역을 터치할 경우, 운행이 가능하도록 시스템을 구현해서 차량에 의한 인명 사고가 완벽히 제거할 수 있는 안전 시스템을 제안한다.

그림 15. 하부를 포함한 올 어라운드 뷰([21] 참조)

Fig. 15. All Around View including bottom of the vehicle

사물인식 기술은 현재 인식해서 화면에 위치를 표시해 주는 수준에서 다음 단계는 인식된 물체를 추적하는 기술로 발전될 것이다. 그 다음 단계는 추적 기능을 활용해서 움직임을 예측하게 되면 사람 혹은 강아지가 차량으로 오는지, 아니면 반대로 가는지를 판별해서 위협을 감지하는 수준으로 발전될 수 있다^[22-23].

그림 16. 사물 인식의 발전 방향

Fig. 16. Progression of object detection (detection → tracking → prediction)

V. 결론

본 연구에서는 차량 저속 운행시 인명 사고 방지를 위한 안전 시스템을 설계했다. PIR센서, 비전 사물 인식 기술로 간단한 시스템을 구현하고 테스트했다. Raspberry 싱글 보드 컴퓨터로 1FPS 수준의 사물인식이 가능했고 상위 컴퓨터로는 8~20FPS까지 가능하고 현재의 발전 속도를 보면 2~3년 내에 더 간단하고 정확한 알고리즘 발전과 더불어 30FPS도 가능할 것이다.

완벽한 시스템 구성을 위해 움직이는 생체뿐만 아니라 정지된 생체를 탐지할 수 있는 센서, 차량의 하부, 전후측면까지 가능한 All-Around View, 인공지능 기반 사물인식 기술을 활용해서 고도화된 안전 시스템을 구축할 수 있다. 여기에 사물 인식 기술은 사물 추적, 동작 예측 기술까지 더해져서 스스로 위협을 감지할 수 있는 수준이 된다면, 차량에 의한 인명 사고를 미리 예방할 수 있는 차량 안전 시스템으로 발전할 수 있다.