Ⅰ. 서론
자율주행자동차는 세계 유명 자동차회사 뿐 아니라, 국내 자동차 산업 및 ICT산업, 관련 부품업계 등 시장선점을 위한 경쟁 및 정부와 관련 기관의 연구개발과 상용화를 위한 노력이 진행 중이다[1].
현재 차량의 센서에 의존하는 독립형 자율주행기반 자율주행자동차는 센서 오류발생으로 인한 인지능력의 한계로 자율주행자동차 사고가 발생하는 실정이다.
본 연구의 키워드는 자율주행자동차 및 일반자동차에게 무단횡단자로 인해 발생한 이벤트를 실시간 알림으로써 2차 사고를 사전에 예방하기 위해 적용한 자율협력주행 인프라인 보행자Care 시스템을 개선하고자 하는 것이다.
보행자Care 시스템은 자율주행실증단지의 자율주행통합관제센터 및 운행 중인 자율주행자동차에게 무단횡단 발생 시 해당 이벤트를 실시간으로 전달하고 보행자에게는 보행신호등에 따른 경고 및 안내방송을 하는 시스템이다.
본 연구는 객체검지방법에 대한 신뢰성 확보를 위해 보행자Care 시스템의 Lidar센서에 카메라센서를 추가로 결합하고 Lidar의 CH별 검지방법 및 개선된 시스템 알고리즘을 적용하여 무단횡단 이벤트 상황을 정확히 판단하고 횡단보도에 다수인원이 대기시 발생하는 미검지 상황을 제거하여 신뢰성을 향상시키고자 한다. 그리고 이벤트 중복제거 및 정확도 개선을 위해 보행자Care 시스템의 Lidar센서 및 지능형 CCTV를 통해 생성되는 동일시간, 장소, 객체에 대한 이벤트 중복집계를 제거하여 이벤트 데이터의 정확한 집계가 되도록 한다.
개선된 사항의 적용으로 정확한 이벤트 데이터를 자율주행자동차로 전달하여 더욱 안전한 운행과 연구 및 실증, 데이터 수집을 통한 정확한 집계가 가능할 것으로 기대한다.
Ⅱ. 본론
1. 자율주행기술 구현방식
자율주행기술의 구현방식은 독립형 자율주행과 커넥티드형(협력형) 자율주행이 있다.
독립형 자율주행은 차량 센서를 통한 수집데이터를 자체 판단하여 주행하는 방식으로, 인지거리의 부족, NLOS(Non Line Of Sight) 상황, 차량 센서 오류 발생시 사고 발생 가능성이 커진다.
커넥티드형 자율주행은 차량과 각종 인프라 구축으로 V2X(Vehicle to Everything) 통신을 통한 정보를 주고받아 차량 센서와 더불어 데이터를 확장 보완하며 운행하는 방식으로 독립형 자율주행의 인지거리 부족 등의 단점을 보완할 수 있다. 단기적으로는 제한된 지역 내 커넥티드형 자율주행에서, 장기적으로는 센서가 고도화된 독립형 자율주행을 기반으로 최소화된 커넥티드형 자율주행으로의 발전이 유력하다[2].
표 1은 자율주행기술 구현방식 비교로 독립형과 커넥티드형을 각 항목별로 비교한 것이다. 사각지대 감지, 주변 차량의 경로 예측, 주변 상황 인지, 정보 전달 능력, 유효 통신 거리, 날씨변화와 센서 오류에 따른 주행 안전위험도, 차량 제작비용, 차량에 따른 안전도 편차 등은 통신을 활용한 커넥티드형이 유리하며, 통신망 오류에 따른 주행 안전 위험도, 인프라 투자비용 등은 자체센서를 이용한 독립형이 유리하다[3].
표 1. 자율주행기술 구현방식 비교
Table 1. Comparison by Implementation Method of Autonomous Driving Technology
2. 보행자Care 시스템
보행자Care 시스템은 자율주행자동차 운행시 보행자의 안전을 위해 설치하는 자율협력주행 인프라이다.
횡단보도 내의 무단횡단자 발생 시 경고방송 및 발생이벤트에 대한 정보를 자율주행 통합관제센터로 보내고 자율주행 통합관제플랫폼에서는 이벤트 정보를 수집한다.
통합관제플랫폼은 운행중인 자율주행자동차가 무단횡단 이벤트가 발생한 지점 반경 100m 내에 진입 시 해당이벤트에 대한 사항을 전달하여 무단횡단을 사전에 인지하고 보행자의 인명사고를 예방할 수 있다.
그림 1은 보행자Care 시스템의 구성도로 현장시설물인 고정/추적CCTV카메라, 스마트함체, 보행신호 음성안내 보조장치, LTE Router를 통해 영상정보, 검지이벤트정보, 제어정보를 자율주행 통합관제센터의 보행자 Care AP/DB(Application/Database) 서버로 전송하며, 통합관제플랫폼은 이벤트정보에 대한 연동수집 및 자율주행자동차에게 이벤트정보를 송신한다.
그림 1. 보행자Care 시스템 구성도
Fig. 1. Configuration of Pedestrian Care System
보행자Care 시스템의 현장시설물은 경찰청 표준규격의 보행신호 음성안내 보조장치와 지능형 CCTV(Intelligent Closed Circuit Television)를 통한 영상검지방식을 적용했다.
보행신호 음성안내 보조장치의 기본기능은 신호등주에 설치되어 보행자가 횡단보도 대기공간에 진입 시 보행 적/녹색 신호에 따른 경고 및 안내 음성방송을 통하여 즉시 인지할 수 있다.
그림 2에서, 보행신호 음성안내 보조장치의 구성도로 제어부는 음성안내 보조장치를 구성하는 각 장치들을 제어하고, 통신기능 및 동작상태 모니터링 등을 수행하는 중앙제어장치의 기능을 수행한다. 위반감지부는 보행적색신호에 정해진 횡단보도 구역에서 보행자가 차도를 침범하거나 무단횡단을 시작하는 보행자를 감지하고 제어부에 전송하여 위반사항을 처리할 수 있는 기능 등을 수행한다. 보행신호감지부는 교통신호제어기로부터 보행신호 상태를 데이터로 전송받거나, 보행신호등의 등기부전원출력 상태를 감지하여, 이를 제어부에 전송하는 기능 등을 수행한다. 음향신호발생부는 제어부의 제어에 따라 음향신호를 발생 및 소멸하는 기능 등을 수행한다[4].
그림 2. 보행신호 음성안내 보조장치의 구성도
Fig. 2. Configuration Diagram of Walking signal voice guidance aids
3. 보행자Care 시스템의 개선할 사항
기존 보행자Care 시스템에서 개선해야 할 부분은 첫째, 보행신호 음성안내 보조장치의 객체검지방법에 대한 신뢰성 확보이다. 보행신호 음성안내 보조장치 위반검지부의 CH검지에 따른 무단횡단 판단 절차 개선방법과 보행자를 검지할 시 1인 단독으로 검지되는 정상상황과 비교하여 다수의 인원이 대기시 미검지되는 사례가 발생되는 문제점을 개선하기 위해서 각 상황별 객체검지방법의 신뢰성 확보에 대한 개선이 필요하다.
둘째, 이벤트발생에 대한 이벤트 건수 중복제거 및 정확도 개선의 필요성이다. 본 연구에서는 보행신호 음성안내 보조장치의 Lidar센서와 지능형 CCTV에서 각각 발생되는 이벤트의 집계 시 동일 장소/시간 및 동일인이 발생시키는 이벤트에 대해서 중복 집계하는 문제를 제거하여 데이터의 정확도를 향상시키고자 한다.
Ⅲ. 시스템 설계
1. 시스템의 설계 및 고려사항
보행자Care 시스템의 객체검지방법은 보행신호 음성안내 보조장치의 객체 검지와 지능형 CCTV에서 설정한 이벤트정책을 통해 발생하는 이벤트를 검지하여 전송한다.
자율주행 통합관제플랫폼은 발생한 이벤트를 집계하여 확인하며, 해당 이벤트는 이벤트 발생지점 100m이내운행 중인 자율주행자동차 및 V2X단말을 설치한 일반자동차로 실시간 전송한다.
해당 이벤트 정보를 수신한 자율주행자동차는 이벤트지역을 접근하여 운행하기 전 보행자의 안전을 위한 감속과 운행정지 등을 할 수 있다. 따라서, 이벤트 발생으로 인한 관제뿐 아니라 자율주행자동차의 운행에 영향을 미치는 검지방법에 대한 신뢰성 확보가 매우 중요하다.
보행신호 음성안내 보조장치의 위반검지부가 무단횡단자를 검지할 시 CH검지에 따른 무단횡단 판단 절차와 다수의 인원이 대기시 미검지되는 상황에 대한 신뢰성향상 방안의 시스템 개선이 요구된다.
지능형 CCTV는 보행자의 위험한 횡단에 대한 부분을 검지하도록 이벤트 정책을 반영하지만, 국내 기술동향을 보면 자율주행차량, 일반차량, 보행자 등이 혼재된 혼합류 상황에 대한 인식 측면에서는 아직까지 혼합류 객체를 구분해서 인식하는 것이 불가능하며, 단말기 장착 차량에 한정되고 보행자 인식은 단순히 보행자 유무 정도를 인식하는 등 극히 제한적인 측면에서만 적용되고 있다[5].
2. 객체검지방법에 대한 신뢰성 확보방안
무단횡단 보행자 검지향상방안과 신뢰성을 높이기 위한 연구로 직접적인 보행자 검지를 하는 보행신호 음성안내 보조장치 운영개선을 통하여 무단횡단 보행자의 객체검지 방법에 대한 신뢰성 향상방안을 고려하였다.
보행신호 음성안내 보조장치의 위반감지부를 검지시전·후진 CH검지순서를 반영하여 각 신호등에 따른 보행자 진입상황을 판단할 수 있도록 설계하였다. 보행자가적색신호일 때 검지부에 진입 후 전진하는 상황이 발생하여 보도를 벗어났다고 판단되면 무단횡단으로 인식하는 알고리즘으로 개선하였다.
표 2는 신호등에 따른 보행자 진입상황을 비교한 것이다.
표 2. 신호등에 따른 보행자 진입상황 비교
Table 2. Comparison of Pedestrian Entry by Traffic Light
보행자가 보행신호 음성안내 보조장치 위반검지부의 검지 후 전진과 후진을 할 경우 일반적인 전·후진에 대한 CH검지순서는 표 3의 전·후진 CH검지순서와 같다.
표 3. 전·후진 CH검지순서
Table 3. Forward·Reverse CH detection Sequence
따라서 표 2와 표 3을 적용하여 적색신호등일 때 횡단보도를 지나가는 무단횡단 상황을 가정하면 전진상황으로서 CH1을 진입하여 CH별 검지상황을 거쳐 CH4를 최종 보행자가 빠져나가는 시점을 기준으로 적색신호등을 최종 유지하는 상황일 때로 결론낼 수 있다. 해당 이벤트가 발생하는 상황에 대해서만 자율주행 통합관제센터로 전송하면 이벤트 건수에 대한 상황이 정확하고 신뢰성 있을 것이다.
다수인원 대기시 Lidar센서를 이용한 방식만으로는 인원을 미검지 하는 사례가 계속 발생될 수 있고, 최초 검지된 인원이 계속 검지된 상태에서 검지부 반대편의 인원이 무단횡단을 할 시 최초 검지된 인원 때문에 검지가 계속 유지되어 무단횡단 이벤트가 발생하지 못할 수 있다.
이러한 문제는 보행신호 음성안내 보조장치의 4CH Lidar 방식을 기반으로 영상방식을 혼합한 하이브리드형을 반영하여 Lidar센서에서 검지하지 못하는 상황에 대해 카메라센서를 통한 영상혼합방식으로 정확도를 향상시킬 수 있다.
그림 3은 기존 시스템 대비 개선방식으로 그림의 좌측은 기존 장치이고 우측은 4CH Lidar 방식의 장치에 카메라센서를 추가로 반영하여 개선한 방식이다.
그림 3. Hybrid Lidar방식
Fig. 3. Hybrid Lidar
기존 Lidar방식의 보행신호 음성안내 보조장치에서 발생한 다수인원의 감지상황에서 무단횡단 이벤트 발생 시 정확한 인원파악 및 카운팅을 위하여, 보행신호 음성안내 보조장치 스피커부 아래에 카메라 센서를 추가로 반영하여 Lidar 및 카메라센서를 통한 중첩 감지를 적용하여 무단횡단자의 미검지 상황 발생제거 및 객체검지에대한 신뢰성을 향상시킬 수 있다.
그림 4는 개선된 시스템 알고리즘으로 기존의 Lidar 검지와 추가 반영한 카메라센서를 이용한 보행자 중첩검지를 동시에 한다.
그림 4. 개선된 시스템 알고리즘
Fig. 4. Improved Pedestrian Care System Algorithm
보행신호등의 신호 별로 적색, 녹색, 녹색점멸 시에 따라 각각의 방송을 하며, 보행자가 횡단보도를 건너는 중에 보행신호등이 변경되면 지능형 CCTV 이벤트정책을 통해 무단횡단 상황을 확인하고 검지위치 및 이벤트 전달이 가능하다. 즉, 개선된 시스템을 적용하면 객체검지방법에 대한 신뢰성 확보뿐 아니라 카메라센서를 이용하여 검지한 객체에 대해 물체 또는 사람인지 여부도 확인할 수 있어 오인식 및 오판별에 대한 신뢰성 향상이 가능하다.
3. 이벤트 중복제거 및 정확도 개선방안
발생한 이벤트 건수에 대한 집계결과의 정확도를 높이기 위해 동일 장소와 시간, 동일인이 발생한 이벤트 건에 대하여 중복집계하지 않는 시스템 개선방안을 제시하므로써 이벤트 집계데이터의 정확도를 높이고자 한다.
그림 5는 이벤트 발생 처리 알고리즘이다.
그림 5. 이벤트발생 처리 알고리즘
Fig. 5. Event Processing Algorithm
이벤트에 대한 정확도 개선방안으로 보행자Care 시스템을 통해 수집되는 이벤트에 대해 상호매칭하는 알고리즘을 반영한다. 보행신호 음성안내 보조장치의 Lidar센서를 통한 검지와 고정CCTV카메라를 통한 영상검지에 대해서 동시간대에 발생한 이벤트를 비교·판단하여 동일객체에 대해서는 이벤트발생을 2건이 아닌 1건의 이벤트로 판단 후 전송하여 집계한다.
그림 6은 중복이벤트 제거를 위한 시스템 알고리즘으로 Lidar센서와 카메라센서로 혼합 개선된 Hybrid방식의 보행자 1차검지와 고정CCTV카메라 검지의 2차검지로 발생된 이벤트 2건을 시간동기화 및 객체 이미지 비교를 통해 상호 매칭시켜 동일객체 판단과 중복집계를 제거하고자 한다.
그림 6. 중복이벤트 제거를 위한 시스템 알고리즘
Fig. 6. System Algorithm for Eliminating Duplicate Events
표4는 최초 보행자Care 시스템을 적용했을 때와 현재 이벤트 처리 개선사항 적용 후의 이벤트 발생건수이다.
표 4. 보행자Care 시스템 이벤트 발생건수
Table 4. Event Count of Pedestrian Care System
Lidar와 카메라센서를 통한 객체검지와 고정CCTV카메라를 통한 객체검지가 동시에 발생할 시 해당 객체에대한 ID를 부여하여 동일 객체인지 여부를 판단하는 것이 중요하다. 이벤트가 발생할 시 이 기종간의 객체검지시 발생하는 시간차에 따른 오카운팅 및 미카운팅이 발생하지 않도록 해야 하며 객체검지 시 시간동기화를 통해 해당 객체가 동일할 경우 중복 카운팅이 되지 않도록 확인해야 한다.
Ⅳ. 결론
본 논문은 자율주행자동차와 관련센서 등의 연구 및 실증을 위한 자율주행실증단지에서 자율주행자동차의 운행간 보행자 안전 및 무단횡단 이벤트의 관제를 위해 구축한 보행자Care 시스템을 개선하고자 하였다.
실증데이터를 기반으로 개선사항을 도출하였고 객체검지방법에 대한 신뢰성 확보를 위해 현재 운영 중인 보행신호 음성안내 보조장치의 Lidar센서 CH검지순서에 대한 개선과 카메라센서 추가반영을 통한 개선된 시스템 알고리즘을 제시하였다.
본 연구는 카메라센서의 반영에 대한 개선된 시스템알고리즘 적용을 제시하여 알고리즘 적용 시 보행자와 차선검출, 이동물체 검지 등을 통한 미검지 사례 보완 및 보행자 카운팅도 가능할 것으로 사료되며, Lidar만을 이용한 시스템에서 발생하는 문제점을 보완할 수 있을 것으로 기대된다.
참고문헌
- Seung-Wan Chae , "Prospects for Top 10 Internet Issues in 2017", Korea Internet & Security Agency, pp. 24-29, 2016.
- Hyun-Woo Lee, "Final Report on the Operation Services of the Future Forum on the Convergence of Self-driving Cars in 2018", Korea Transportation Safety Authority, pp. 73-75, 2018.
- Jun-Sik Kim "Vehicle Communication Technology for Autonomous Driving", Institute for Information & communication Technology Planning & evaluation, pp. 5-13, 2017.
- KNPA, "Standard guidelines for walking signal voice guidance aids", Korean National Police Agency, pp. 2-5, 2017.
- Jeong-Wook Lee, "Intersection Pedestrian and Vehicle Detection Technology", Institute for Information & communication Technology Planning & evaluation, pp. 32-37, 2019. ISSN 1225-6447
- Noh Jowon, Joh Eungyoung, Kim JinTea, Lee Sunghwa, "A Study on the Implementation of simple Portable Directional Finding System for 5G Mobile Communication", The Journal of The Institute of Internet, Broadcasting and Communication Vol.20. No.3, p.25-30, 2020 https://doi.org/10.7236/JIIBC.2020.20.3.25