서론
연구의 배경 및 목적
최근 기후 변화, 인프라 노후화, 신유형 모빌리티의 등장, 불특정 범죄사고 발생 등으로 인해 관측, 예측이 어려운 도심 이상상황의 발생 빈도가 증가하고 있다. 국민의 삶을 위협하는 도심 생활안전 이상상황에 대한 실시간적 모니터링, 대응, 예방 필요성의 요구가 높아지고 있다. 국민들의 생활안전 이상상황을 모니터링 하는 가장 강력한 수단은 CCTV이다. 한국은 226개 기초지자체마다 스마트도시통합운영센터를 운영하고 있으며, 이를 기반으로 CCTV 영상을 통해 교통, 방범, 재난 등 도시의 이상상황을 모니터링하고 있다(Park et al., 2020). 하지만 CCTV는 야간 상황에 취약하고 사생활 침해 문제가 발생하는 등 여러 가지 단점이 제기되고 있다(Ahmed et al., 2022). 한국에서 크게 이슈였던 2021년 4월 25일 심야시간대에 발생한 의대생 실종·사망사건이 대표적인 예이다. 해당 사건은 유동인구가 많은 도심 한강공원에서 일어난 사고임에도 불구하고, 진입로를 제외한 공원 내부에는 사생활 보호 차원으로 CCTV가 없어서 사건 정황을 파악하는데 어려웠다. 더불어 화재, 도로 상태(빙판, 침수 등), 시설물 상태 등 온도 변화에 따른 대형사고의 초기 징후를 파악하기에 CCTV는 아직 역부족이다.
CCTV의 한계를 극복하기 위해, 최근 급속도로 발달하고 있는 AI, IoT, 빅데이터 등 첨단기술을 접목시킨 고도화된 관제기술이 도입되고 있다. CCTV의 자동관제를 위한 영상분석 연구(Chae et al., 2020; Socha et al., 2020; Khan et al., 2020; Kim et al., 2022), CCTV 관제권 밖 영역의 보다 세밀한 상황 파악을 위한 IoT 접목 연구(Carreno et al., 2015; Lee, 2015; Son et al., 2021)가 그 예이다. 이 중 열화상은 물체 온도에 의해서 표면에서 복사되는 적외선 열에너지를 적외선 검출기를 통해 측정된 복사 강도를 영상으로 나타낸 것을 말한다(Hwang et al., 2019). 장파장 적외선을 활용한 열화상 카메라는 열화상 검출기를 통해 검출된 적외선 열에너지를 이미지 처리 과정을 통해 시각화 시켜주는 장치이며, 열을 가진 물체가 발산하는 복사열을 감지하기 때문에 조명의 유무와 상관없이 물체를 확인할 수 있다(Hwang et al., 2019). 특히 야간상황에서 열화상 카메라 기반 열화상/IR 이미지 객체인식이 일반 RGB보다 우수하다는 다수의 연구가 진행된 바 있다(Batchuluun et al., 2019; Lee et al., 2021). 이에 전통적으로 사용되는 군사 목적 뿐 아니라 야간 감시, 소방 방재, 인명 구조, 해상 감시, 교통, 구조 등 매우 다양한 분야에서 활용되고 있다. 구체적으로 야간 상황, 온도변화에 따른 객체 상태 변화, 화재 전조현상 등을 실시간으로 파악할 수 있는 장점을 갖고 있다. 이에 본 연구는 CCTV에서 감지하지 못하는 이상상황을 감지하기 위해 열화상센서를 중심으로 기상센서 데이터, 대기오염 관측센서, 공공 데이터 등 다종 복합센서 기반 도심 생활안전 이상감지 서비스 테스트베드를 구축하고, 테스트베드 데이터와 사용자 요구사항 분석을 통한 서비스 시나리오를 선정한다. 이를 기반으로 지자체 스마트도시통합운영센터 담당 공무원 대상 서비스 중요도를 분석하여 실질적인 서비스 구현방안을 제시하고자 한다.
연구의 범위 및 방법
범죄사고, 교통사고 등 시민 안전을 위협하는 도심 이상상황을 보다 폭 넓게 관제하기 위해 도로 및 주변 시설물 등 센서의 감지공간을 공간적 범위로 설정하고자 한다. 도로는 차량 운행도로 뿐 아니라 골목길과 같은 이면도로를 함께 포함하며, 열화상센서에서 확보 가능한 화각 내에서 주변 도로시설물, 건물 역시 포함된다. 이를 고려하여 도로에서 다양한 활동, 실험이 가능한 테스트베드를 선정하도록 한다. 연구의 내용적 범위로는 테스트베드에서 이루어지는 열화상센서 기반 다종 복합센서 정보를 통한 도심 생활안전 이상감지 서비스가 그 대상이다.
연구의 방법을 살펴보면 다음과 같다. 실제 센싱 데이터를 사용하기 위해 테스트베드 기반 데이터 수집환경을 구축하고, 이를 기반으로 실데이터를 수집한다. 이후 테스트베드 DB 구축 프로세스를 제시하고 이를 토대로 DB 구축 및 데이터 라벨링 작업을 수행한다. 보다 실용적인 시나리오 도출을 위해 지자체 담당 공무원, AI 및 IoT 관련 교수와 개발자를 대상으로 사용자 요구사항을 분석하여 서비스모델을 선정한다. 주요 수요처로 선정한 스마트도시통합운영센터 담당 공무원을 대상으로 서비스 중요도 분석을 수행하고, 이를 고려한 서비스 구현방안을 제시하고자 한다.
선행연구 고찰
주 감지수단인 열화상 이미지 분석을 통한 서비스 분야별 선행연구를 살펴보고자 한다. 화재 분야의 경우 열화상 이미지 배열을 통해 급속한 화재 전파를 수반하는 플래시오버 현상 감지 연구(Mozaffari et al., 2022), 제어반 전자접촉기 발화위험성 연구(Lee, 2019), 주차차량 전기화재 원인 및 진단 연구(Choi, 2020), 화산 감시(Nazari et al., 2020) 등이 수행되었다. 주로 야간 시간대를 고려한 열화상 이미지 기반 사람 인식 관련 연구는 다음과 같다. 열화상 카메라를 이용한 효과적인 관제시스템 개발 연구(Wong et al., 2009; Wong et al., 2011), 사람의 얼굴 인식 연구(Pavez et al., 2022), 이상행동 인식(Wang et al., 2022; Lee et al., 2022) 등이 있다. 보행자를 포함한 교통 및 도로 관련 연구는 다음과 같다. 도로에서의 주야간 보행자 감지(González et al., 2016), 자율주행을 위한 노출 부족영역에서의 객체 감지(Munir et al., 2022), 도로의 포트홀 감지(Aparna et al., 2022) 등이 수행된 바 있다. 시계열적으로 변화되는 지역, 객체 및 시설물에 대한 연구는 다음과 같다. 지역적 관제 연구로는 적외선 위성영상 기반 매립지 온도변화 감지(Gusso et al., 2015), 도시공간의 열섬 현상 연구(Loveday et al., 2019; Song et al., 2019; Zhu et al., 2022)가 수행되었다. 시설물을 대상으로 한 연구를 살펴보면, 철도 인프라 요소 관제 연구(Stypułkowski et al., 2021), 건물의 콘크리트 구조물의 철근 부식 등 건물 외관 감지(Kim et al., 2023), 건물의 열교(Thermal bridges) 진단 연구(Kim et al., 2021)가 수행된바 있다. 열화상 카메라 기반의 다분야 서비스모델의 선호도 평가 연구가 진행된 바 있으나, 실제 데이터가 아닌 전문가그룹의 의견과 선호도조사로만 분석되었다(Choi et al., 2023).
위 연구들을 통해 열화상 이미지를 중심으로 IoT 센서 데이터를 활용하여 화재, 주야간 객체, 도로 및 교통, 도시공간 관제 등 다양한 분야로의 연구 확장이 이루어지고 있음을 알 수 있었다. 하지만 이들 연구는 각 기술 및 서비스분야의 개별영역에서의 연구이며, 실질적인 관제센터 내 서비스 도입을 위한 종합적 관점에서의 연구는 부족한 실정이다. 본 연구는 테스트베드에서 확보 가능한 데이터셋을 기반으로 도심 내 감지할 수 있는 포괄적이고 다양한 생활안전 이상감지 서비스 구축방안을 제시하는 점에서 선행연구와의 차별성을 갖는다.
테스트베드 구축
테스트베드 선정
본 연구의 핵심인 실제 현장상황을 모사한 학습데이터 구축 및 서비스 구현을 위한 테스트베드를 선정하고자 한다. 테스트 베드는 데이터 수집 용이성, 현장실험 가능 여부 등을 고려하여 본 연구자가 소속되어 있는 연구원 내 주도로로 선정하였다. 테스트베드에는 주 센서인 열화상센서를 포함하여 RGB 카메라, 온도, 습도, 대기압 등의 기상정보, 일산화탄소, 휘발성 유기화합물 등 대기오염정보 등을 관측하는 AIoT 센서를 설치하였다. 원활한 데이터 수집을 위해 보안성, 개인정보, 네트워크 구성 등을 연구원 관련 부서와 사전 협의하였다. 테스트베드 설비 설치 및 원시데이터는 Fig. 1과 같다.
Fig. 1. Test-bed construction
테스트베드 데이터 수집
열화상 카메라부터 수집되는 열화상 원시데이터는 객체 유무 확인 및 분류과정을 거쳐저품질, 비식별화 대상 데이터를 삭제하는 전처리 작업을 수행하였다. 원시데이터 품질 확인 후 결함 객체 박스형태의 가공 가이드라인을 생성한 뒤 원천데이터로 저장하는 프로세스를 적용하였다(Fig. 2).
Fig. 2. Data preprocessing
열화상 이미지의 딥러닝 분석 과정에서 객체 온도변화 감지의 서비스 향상을 위해 기상환경 데이터를 포함한 AIoT 데이터 구축이 필요하다. 이를 위해 유관과제 시제품인 AIoT 센서플랫폼을 테스트베드에 구축하여 현장의 외부/지면 온도(°C), 습도(%), 대기압(hpa), 일산화탄소(CO), 휘발성 유기화합물(VOCs, Volatile Organic Compounds), IMU 등 기상 및 AIoT 데이터를 수집하였다. 또한 향후 실용화를 고려하여 기상청 공공 데이터 중 초단기 실황 데이터를 API 연계 구축하여 기온, 1시간 강수량, 동서바람성분, 남북바람성분, 습도, 강수형태, 풍향, 풍속 등의 요인을 1분 간격으로 수집하였다(Fig. 3).
Fig. 3. AIoT data construction
테스트베드 DB 구축
보다 체계적인 테스트베드 학습DB 구축을 위해 수집, 정제, 가공, 검수 프로세스를 정립하였다. 첫째, 데이터 수집 단계는 촬영계획 수립, 데이터 수집, 전처리/메타 데이터(환경정보) 입력, 수집 데이터 검수로 구성하였다. 카메라는 열화상과 RGB를 동시에 출력하는 듀얼카메라로 선정하였다. 열의 온도 차이를 통해 출력되는 열화상 영상의 장점과 객체의 명확한 형태감지, 보다 긴 감지거리 등 RGB 영상이 갖는 장점을 복합적으로 활용하기 위함이다. 또한 열화상과 RGB 이미지 융합분석을 통해 신뢰도 향상 및 상호간 검증이 가능할 것으로 판단된다. 해당 열화상 및 RGB 영상을 VMS와 Socket 방식을 통해 원천 데이터를 획득한다. 둘째, 데이터 정제 단계는 원시데이터에서 정상, 비정상 데이터를 분류하고, 비정상 데이터의 삭제, 정제 데이터의 검수로 구성된다. 원천데이터의 생성 과정에서는 VMS에 저장된 RGB, 열화상 영상을 이미지화 하여 선택 후 가공하는 방법과 로우데이터를 통해 열화상 이미지를 생성하는 방법을 적용하였다. 데이터의 환경정보(메타데이터) 수집 및 기록 또한 정제 단계에서 적용하여 원천데이터에 포함되어 있는 온도값을 활용한다. 온도값의 경우 열화상 카메라에서 송신되는 온도의 Binary 정보를 이용하여, 각 픽셀의 온도정보를 실시간으로 저장한다. 픽셀에 표기되는 온도는 절대온도 값(Kelvin)으로 저장되기 때문에 이를 상대온도 단위(섭씨)로 변환하여 저장한다. 이미지는 최소 온도와 최대 온도를 기준으로 정규화한 뒤, 이를 0에서 255의 값으로 표출하였다. 셋째, 데이터 가공 단계에서는 학습 데이터 라벨링을 위해 데이터 라벨링 타입 선정, 라벨링 데이터 포맷 정의, 라벨링 데이터 정보구조 정의, 라벨링 데이터 파일형식을 정의한다. 열화상 이미지, 라벨링(annotations), 관측 데이터, 공공 데이터 등 데이터 라벨링 정보구조에 대한 정의는 Table 1과 같다. 넷째, 데이터 검수 단계에서는 최종 생성된 원천 데이터와 라벨링 데이터의 오류를 검사하고, 이상 유무를 식별한다. 관련 학습 DB 수집 시스템과 라벨링 데이터는 Fig. 4와 같다.
Table 1. Labeling information
Fig. 4. Learning DB collection system
서비스 시나리오 선정
사용자 요구사항 분석
서론에서 언급했듯이 한국은 226개 기초지자체마다 구축되어 있는 스마트도시통합운영센터에서 재난, 교통, 방범 등의 도시 이상상황을 모니터링하고 있다. 최근 정보통신기술과 스마트시티 운영기술이 발달하면서 AI, IoT, 빅데이터, 디지털트윈 등의 첨단기술을 접목시킨 고도화된 관제기술이 도입되는 추세이다. 보다 많은 시민의 안전을 관제하기 위해서는 지자체 스마트도시통합운영센터에서의 운영이 최우선적으로 고려되어야 한다. 지자체 관제센터에서의 서비스 운영을 전제하고, 건설현장, 도로 및 시설물 관리 등을 수행하는 공공, 민간의 수요처 확장을 함께 고려해야 될 것으로 판단된다. 이에 지자체 스마트도시통합운영센터 담당 공무원 3명을 주축으로 열화상 영상분석 개발자 3명, 관련학과 교수 3명, IoT 관련업체 대표 2명 등 총11명과의 집단심층토의(Focus Group Interview, 이하 FGI)를 진행하여 사용자 요구사항을 조사하였다.
FGI 분석결과를 크게 기술 분야와 서비스 분야로 정리하고자 한다. 기술 분야 요구사항의 경우 CCTV만으로 해결할 수 없는 도심 내 생활 이상상황 또는 전조현상을 다종 IoT 센서를 결합한 복합적 분석이 필요하다. 특히 열화상 센서 뿐 아니라 RGB 카메라, 즉 CCTV 영상을 복합적으로 분석해야 서비스 확장이 가능하다는 의견이 제시되었다. 열화상 카메라는 일반 CCTV에 비해 설치비용이 크기 때문에 CCTV에서 확인이 어려운 대상 및 범위, 예를 들어 범죄발생률이 높거나 교통/재해 사고 발생이 예상되는 곳 위주로 선별하여 집중 모니터링을 해야 한다는 의견이 제시되었다.
서비스 분야 요구사항의 경우 일반 CCTV에서 감지가 어려우며, 열화상, 타 AIoT 센서에서 관측되어지는 열의 차이, 기상요인 등으로 서비스 제공이 가능한 서비스모델 구성이 필요하다는 의견이 중점적으로 제시되었다. 화재 전조현상, 도로 기상위험, 도심 열섬, 야간 객체 탐지 등이 그 예이다. 위 의견과 실제 수집되는 데이터의 특성을 고려하여 크게 세 가지의 서비스 유형으로 분류하였다. 첫째, 주야간 동적 객체 감지이다. 보행자, 자동차, 킥보드, 자전거 등 동적 객체를 탐지하고, 탐지된 객체들이 복합적으로 활동할 때 위험사항을 감지하는 서비스 유형이다. 특히, 열화상카메라의 장점인 야간 객체감지에 특화되어 일반 RGB CCTV를 보완, 대체 가능한 서비스모델이다. 둘째, 급격한 객체의 온도변화 감지이다. 화재, 불법 흡연, 오염물질 배출 등 급격한 객체의 온도변화를 감지하여 실시간적으로 재난상황을 감지하고 골든타임을 확보하는 서비스 유형이다. 셋째, 시계열적 객체의 상대 온도변화 감지이다. 여름철 고온의 도로 및 시설물들의 온도 변화, 겨울철 도로 결빙 등 시계열적으로 나타나는 공간, 객체별 상대적 온도변화를 감지하여 대형사고를 예방하는 서비스 유형이다. 기타 의견으로는 열화상 카메라가 갖는 단점, 즉 상대적으로 고가의 장비, 짧은 인식거리 등을 극복할 수 있는 당위성이 명확히 제시되어야 하며, 유지관리, 관제인력 등 실현 가능성에 중점을 둬야 할 필요가 있다는 의견이 제시되었다.
서비스 시나리오 선정
서비스 요구사항에서 제시된 동적 객체 감지, 급격한 객체의 온도변화 감지, 시계열적 객체의 상대 온도변화 감지 등 세 개의 서비스모델 항목을 기반으로 확장되는 서비스 시나리오를 제시하고자 한다. 현장의 실용성 측면을 고려하여 테스트베드에서 수집되는 데이터를 기반으로 서비스 시나리오를 선정하였다(Table 2).
Table 2. Selection of Service Scenario
첫째, 주야간 동적 객체 감지의 경우 1차적으로 보행자, 자동차, 킥보드, 자전거 등 동적 객체 대상을 선정하였다. 테스트베드인 연구원의 경우 공유 킥보드, 자전거는 출입 불가수단이기에 1차 동적 모빌리티 객체 감지만으로도 유의미한 서비스가 가능하였다. 2차적으로는 감지된 동적 객체들의 활동하며 발생시키는 다양한 시나리오를 도출하였다. 중분류 보행 위험사항 감지 서비스에는 군집, 배회, 따라감(스토킹), 사람 대 사람충돌상황, 침입, 쓰러짐 등의 세부 시나리오가 도출되었다. 충돌 위험사항 감지 서비스에는 보행자 차량 충돌, 보행자 킥보드 충돌, 보행자 자전거충돌, 킥보드 차량 충돌 등 동적 모빌리티 객체와 보행자 간 충돌 위험상황에 대하 세부 시나리오가 도출되었다. 해당 시나리오는 야간, 악천후 등 기상조건이 열악한 상황에서 사고 발생률이 높고, 해당 조건일 때 RGB CCTV로는 한계가 있어 열화상카메라와 접목한 객체 감지률향상이 반드시 필요하다. 관련하여 따라감(스토킹), 군집, 충돌위험 등의 시나리오는 Fig. 5와 같다.
Fig. 5. Detection of day and night dynamic object
둘째, 급격한 객체의 온도변화 감지 서비스이다. 화재 전조현상 감지의 경우 감지되는 공간 및 유형에 따라 도로, 시설물, 산림 화재로 분류되며, 발화되는 초기단계를 감지하여 큰피해를 입기 전 골든타임을 놓치지 않는 것이 핵심이다. 누수현상 감지의 경우 배관에서 누수되는 가스, 사업장에서 발생하는 탄소, 질소산화물, 불연소 가스 등 대기오염물질을 감지하는 서비스이다. 화재 및 누수현상은 열화상카메라의 핵심원리인 열의 온도 변화 감지를 통해 선제적으로 위험상황을 조기 파악할 수 있다. 또한 AIoT 센서에서의 일산화탄소, 휘발성 유기화합물, 미세먼지 데이터를 통해 융·복합적으로 이상상황을 정확히 감지할 수 있다. 관련하여 거리별(20m, 40m, 60m, 80m, 100m) 화재 발화실험 및 화재 합성데이터를 통해 데이터셋을 구축하였다(Fig. 6).
Fig. 6. Fire experiments by distance and synthetic data
셋째, 시계열적 객체의 상대 온도변화 감지 서비스이다. 해당 서비스는 시계열적인 기상환경의 변화에 따른 위험상황을 감지하는 서비스로서 열섬, 결빙, 침수 등의 세부 시나리오가 도출되었다. 이 중 열섬현상 감지는 도심의 열섬현상, 도로표면의 이상고온 등을 감지하는 서비스이다. 이는 여름철 도심 열섬 뿐 아니라 도로에 따라 설치되어 있는 지하 매립 열수송관 파손 및 폭발사고를 예방할 수 있을 것으로 판단된다. 겨울철 도로 결빙현상 역시 대형 교통사고를 예방하는 중요한 시나리오이다. 겨울철 교통사고의 주된 요인인 도로 결빙, 즉블랙아이스 현상은 육안 및 일반 CCTV로는 확인이 어렵기 때문에 열화상 및 기상 데이터의 활용이 반드시 필요하다. 폭우, 도로변 배수구 막힘 등에 따른 도로 침수상황 감지 서비스 역시 중요한 시나리오이다. 최근 이상기후 빈도가 높아지며, 매년마다 폭우에 따른 침수사고가 발생하고 있다. 침수에 따른 인명사고를 예방하기 위해서는 RGB 및 열화상 이미지, 기상 데이터 등을 활용하여 침수 조기징후를 파악해야 한다. 본 시나리오는 열화상카메라의 객체 온도 변화 뿐 아니라 외부온도, 지면온도, 습도, 대기압 등의 AIoT 센서 데이터, 공공 데이터 중 강수형태, 강수량 등의 기상 데이터가 함께 분석되어야 정확도 및 신뢰도를 높일 수 있다(Fig. 7).
Fig. 7. Normalization and detection of surface temperature
서비스 중요도 분석
분석 개요
앞서 선정한 서비스 시나리오의 실질적 현장 활용을 위하여 사용자의 의사결정을 지원하고 서비스별 중요도를 파악할 수 있는 AHP 분석을 수행하고자 한다. AHP는 의사결정 계층 구조 구성요소 간 쌍대비교를 통하여 평가자의 경험, 지식에 대한 포착이 가능하다(Saaty, 1983). 본 연구는 도심 생활안전 이상감지 서비스의 3개의 대분류와 8개의 중분류를 계층구조화 하여 AHP 분석을 수행하였다. 참고로 소분류는 총 21개 항목으로 이를 전체 평가할 경우 쌍대비교 기반의 AHP 분석 특성상 평가자의 설문 피로도를 높여 불성실한 응답이 발생할 수 있다. 평가자는 본 연구의 주 수요처로 설정한 지자체 스마트도시 통합운영센터의 담당 공무원 10명으로 구성하였다. 응답자가 관제센터 기반의 도심 생활안전 이상감지 서비스를 직접 선정, 운영하기 때문에 본 연구 및 설문에 대한 이해도가 매우 높고, 이를 통해 분석결과의 신뢰성을 확보할 수 있었다. 참고로 AHP 연구에서는 응답자 수가 적더라도 전문성, 논리 일관성이 전제된다면 표본의 크기는 문제되지 않는다(Kim et al., 2013).
AHP의 중요작업 중 하나인 계층화 작업을 수행하였다. 상위항목인 1계층을 주야간 동적 객체 감지, 급격한 객체의 온도변화 감지, 시계열적 객체의 상대 온도변화 감지 등 3개의 객체 감지 유형으로 설정하였다. 하위항목인 2계층의 경우 주야간 동적객체 감지 유형은 동적 모빌리티 객체 분류/감지, 보행 위험상황 감지, 충돌 위험상황 감지 서비스로 구성되며, 급격한 객체의 온도변화 감지 유형은 화재 전조현상 감지, 누수현상 감지 서비스로 분류하였다. 마지막으로 시계열적 객체의 상대 온도변화 감지 유형은 열섬현상 감지, 결빙현상 감지, 도로침수 감지 서비스로 설정하였다. 참고로 21개 소분류 서비스 시나리오의 경우 2계층의 객체 감지 서비스 분야에 결속되어 있으므로 1, 2계층의 중요도 경향을 파악하는 것으로도 본 분석의 의의를 도출할 수 있을 것으로 판단된다(Table 3).
Table 3. Hierarchical structure
서비스 중요도 분석결과
AHP 분석에 앞서 설문 일관성 검증 작업을 수행하였다. 일관성 비율(Consistency Ratio, 이하 CR)은 비교행렬의 일관성지수(Consistency Index, 이하 CI)와 n 크기에 따라 산정된다. 다수의 비교행렬CI의 평균 무작위지수를 이용하여 산출되며, 일반적으로 CR이 0.1보다 작으면 일관성이 양호하다고 판단한다. 본 분석에 활용된 10개 표본의 CR은 0.025로 매우 양호한 일관성을 나타냈다. 도심 생활안전 이상감지 서비스의 상대적중요도 분석결과를 정리하면 Table 4와 같다. 1계층인 객체 감지 유형별 중요도 분석결과, 주야간 동적 객체 감지의 중요도가 0.443으로 타 유형에 비해 큰 차이로 높게 평가되었다. 인명피해가 일어나는 사건·사고가 주로 사람, 차량 등 동적객체로 인해 발생되기 때문으로 해석된다. 이어서 급격한 객체의 온도변화 감지 0.266, 시계열적 객체의 상대 온도변화 감지 0.207 순으로 분석되었다. 어느정도 대비할 시간이 주어지는 시계열적 온도변화에 따른 현상보다는 갑작스럽게 발생 가능한 급격한 온도변화 현상을 빠르게 파악하는게 화재와 같은 대형사고를 예방 또는 최소화 할 수 있기 때문으로 해석된다.
Table 4. Result of relative importance
2계층인 하위항목을 살펴보면, 주야간 동적 객체 감지 유형의 경우 보행 위험상황 감지가 0.388로 가장 높게 나타났다. 군집, 배회, 따라감, 충돌 등 보행 중 위험상황 감지를 통해 범죄사고 징조상황을 파악하여 예방 및 실시간 대응 서비스의 가치가 높게 평가된 것으로 판단된다. 특히, 일반 CCTV로는 객체 감지율이 저하되는 야간상황에 대한 지자체 관제 담당자의 요구가 반영된 것으로 해석 가능하다. 이어서 보행자, 차량, 킥보드 등 모빌리티 간 충돌 위험상황 감지 서비스가 0.284(2순위), 인공지능 분석의 토대가 되는 동적 모빌리티 객체 감지가 0.239(3순위)로 분석되었다. 응답자인 지자체 관제 담당자의 경우 객체 유형별 데이터셋 구축보다는 이를 활용한 실질적인 서비스모델 운영에 높은 점수를 준 것으로 해석된다. 2계층 중 급격한 객체의 온도변화 감지 유형의 경우 화재 전조현상 감지 서비스(0.624)가 누수현상 감지 서비스(0.344)보다 큰 폭으로 높게 평가된 것을 알 수 있다. 대형 재난사고로 이어지며 큰 물적, 인명 피해를 발생시킬 수 있는 화재 징후에 대한 감지의 중요도가 높게 평가된 것으로 판단된다. 누수현상 역시 화재 또는 호흡기 질병 등 대형 인명피해로 이어질 수 있으니 간과할 수는 없는 서비스요소로 판단된다. 2계층 중 시계열적 객체의 상대 온도변화 감지 유형의 경우 결빙현상 감지가 0.412로 가장 높게 평가되었다. 도로 결빙에 따라 보행자를 포함한 모든 동적 모빌리티의 사고위험이 높아지는 것은 당연하나, 일반 CCTV를 통해 결빙현상을 찾아내기란 거의 불가능에 가깝다. 이러한 응답자의 요구가 반영된 결과로 해석된다. 이어서 도로침수 감지 0.351, 열섬현상 감지 0.178 순으로 분석되었다. 시계열적 요소가 강하고 즉각적인 사고 발생률이 낮은 열섬현상보다는 실질적인 사고 발생으로 이어지는 결빙, 도로침수의 서비스요소가 높은 평가를 받았다.
상위계층과 하위계층의 중요도를 곱하여 최종 산출된 서비스 분야의 중요도를 살펴보면, 보행 위험상황 감지 서비스(0.172) 1순위, 화재 전조현상 감지 서비스(0.166) 2순위, 충돌 위험상황 감지 서비스(0.126)가 3순위로 상위권에 위치하였다. 일반 CCTV에서는 객체 감지율이 낮아지는 야간 범죄, 교통사고 위협상황과 더불어 열화상센서의 핵심원리인 열의 온도변화 감지를 통한 화재 전조현상에 대한 사전파악 필요성이 반영된 결과로 해석된다. 이에 반해 결빙현상(0.085) 6순위, 도로침수(0.073) 7순위, 열섬현상(0.037)이 8순위에 위치하며 하위권을 형성하였다. 해당 서비스는 시계열적 객체의 상대 온도변화 감지 유형으로 온도 변화에 따라 서서히 변해가는 도로 및 시설물의 상태변화를 모니터링 하는 특징이 있다. 즉, 즉각적인 사고로 이어지지 않고 기상 센서의 추가 설치가 필요한 점 등이 고려되어 낮은 평가를 받은 것으로 판단된다.
서비스 구현방안
본 생활안전 이상감지 서비스가 실제 현장에서 구축 및 활용되기 위해 고려되어야 할 사항들을 정리하고자 한다. 첫째, 서비스 측면에서 목적에 맞는 위치 선별이 전제되어야 한다. 본 연구는 CCTV에서 확인이 어려운 이상상황을 감지하기 위해 주요수단을 열화상 카메라 및 기상센서로 설정하였다. 하지만 열화상 카메라는 일반 CCTV보다 해상도가 낮아 객체 감지거리가 짧고 장비 비용이 높은 단점을 갖는다. 기상센서 역시 추가적인 설치가 필요하므로 비용 및 관리에 어려움이 있다. 이에 서비스 목적에 맞는 심도깊은 설치장소의 선별작업이 필요하다. 예를 들어 방범 목적일 경우 범죄 발생률이 높거나 인적이 드믄 장소가 주요 설치지점이 될 것이다. 야간 교통사고 예방 목적의 경우 보행자 교통사고가 자주 발생하고 야간 통행량이 많은 교차로에 열화상카메라를 선별적으로 설치해야 한다. 도로안전을 위해 결빙, 침수가 자주 발생하는 지역 역시 마찬가지다.
둘째, 범용성을 고려한 기술적 고도화가 필요하다. 가장 중요한 것은 이상상황 감지의 신뢰성 확보로서 각 유형별 객체 또는 이상상황 감지율을 현장에 활용 가능한 수준으로 높여야 한다. 이를 위해서는 각 유형별 양질의 데이터셋 구축이 필요하나, 이상상황에 대한 데이터 확보가 쉽지 않은게 사실이다. 오픈 데이터셋을 제공하는 AI-Hub, 이미지넷을 이용하거나, 본 연구에서와 같이 모의실험 및 합성데이터를 생성하는 것도 좋은 방안이다. CCTV의 경우 관제영역이 제한적이기 때문에 모빌리티, 로봇, 드론 등 이동형장비를 이용한 관제영역의 확장도 필요하다. 이밖에 일반 RGB CCTV와의 영상 융합을 통한 인식률향상, CCTV 영상의 전이학습용 데이터셋 제공, 현장 기상관측보다는 기상청 공공 데이터 활용 등을 통해 범용성을 향상시켜야 현장 활용성이 높아질 것으로 판단된다.
셋째, 실질적 관제 서비스를 위한 시스템화가 필요하다. 본 연구는 지자체마다 구축되어 있는 스마트도시통합운영센터에서의 운영을 최우선적으로 고려하였다. 분야별 이상상황 영상분석 결과를 직관적으로 모니터링할 수 있는 통합시스템 구축이 필요하며, 해당시스템은 기존 관제시스템과의 호환성, 지자체 내부망에서의 운영을 위한 보안 및 개인정보보호 문제 등이 해결되어야 한다. 즉각적인 이상상황 대응을 위해 112, 119와의 영상 및 이벤트 전달이 실시간으로 가능한 스마트시티통합플랫폼과의 연계도 필요하다. 또한 지자체 관제자 뿐만 아니라 이상상황이 발생한 지점의 주변 시민들에게도 전달할 방법 역시 고려되어야 한다. 이 경우 서비스 유형에 맞춰텍스트, 영상, 소리 등 효과적인 전달방식 역시 고려되어야 할 것이다.
결론
본 연구는 열화상카메라, 기상센서, 공공 데이터를 융·복합화하여 CCTV에서 감지하기 어려운 도심 생활안전 이상감지 서비스 구축방안을 제시하였다. 이를 위해 실증용 테스트베드를 구축하고 관련 전문가그룹 기반의 FGI를 통해 서비스 시나리오를 선정하였다. 선정된 시나리오 서비스의 상대적 중요도 분석을 통해 서비스 우선순위를 파악하였으며, 이를 기반으로 실제 현장에 활용하기 위한 서비스 구현방안을 함께 제시하였다.
주요 결과는 다음과 같다. CCTV에서 감지하기 어려운 이상상황에 대한 데이터 기반 서비스 시나리오는 크게 주야간 동적객체 감지, 급격한 객체의 온도변화 감지, 시계열적 객체의 상대 온도변화 감지 서비스가 제시되었다. 구체적인 감지대상을 살펴보면, 동적 모빌리티 객체, 보행 위험상황, 충돌 위험상황, 화재 전조현상, 누수현상, 열섬현상, 결빙현상, 도로 침수현상 등이 도출되었다. 이를 주 수요처인 지자체 스마트도시통합운영센터 담당공무원을 대상으로 AHP 기반의 상대적중요도 분석한 결과는 다음과 같다. 1계층 분석결과, 주야간 동적 객체감지의 중요도가 가장 높게 평가되었다. 주로 사람, 차량 등 동적객체로 인해 인명피해가 발생빈도가 높기 때문으로 판단된다. 이어서 급격한 객체의 온도변화 감지 유형이 높게 분석되었는데, 이는 어느정도 대비할 시간이 주어지는 시계열적 온도변화에 따른 현상보다는 갑작스럽게 발생 가능한 화재, 누수 등 대형 재난사고를 예방하는 것이 보다 중요하게 평가된 결과로 사료된다. 총8개 항목의 2계층 분석결과, 보행 위험상황(1순위), 충돌 위험상황(3순위)이 상위권을 형성하였는데, 이는 일반 CCTV에서 객체 감지율이 낮아지는 야간 사건·사고의 위협상황에 대한 예방 및 대응의 중요성이 높게 평가된 것으로 판단된다. 2순위인 화재 전조현상 감지의 경우 열화상센서의 핵심원리를 이용하여 대형 화재 재난사고를 사전 파악하여 피해를 최소화해야 되는 관제자의 요구가 반영된 결과로 해석된다. 1계층 분석결과와 마찬가지로 결빙, 도로침수, 열섬현상 등 시계열적 객체의 상대 온도변화 감지서비스는 즉각적인 사고로 이어지지 않는 특징과 기상센서의 추가설치가 필요한 점 등이 고려되어 낮게 평가된 것으로 판단된다.
본 논문을 통한 시사점을 정리하면 다음과 같다. 본 연구는 테스트베드 기반의 실질적인 데이터 수집 및 데이터셋 구축을 통해 도심 생활안전 이상감지 서비스 시나리오 및 구축방안을 제시하였다. 특히 서비스 도입 및 운영에 관여하는 지자체 스마트도시통합운영센터 담당공무원을 전문가그룹으로 구성함에 따라 연구의 실용적 의의를 함께 갖는다. 또한 실데이터 기반의 이상감지 서비스를 도출한 기술적 의의와 더불어 사용자의 의사결정을 지원하는 사회과학적 의의를 동시에 갖는다. 지자체의 생활안전 이상감지 서비스 구축 시 본 연구는 유용한 자료로 활용될 것으로 기대된다.
본 연구가 갖는 한계는 다음과 같다. 첫째, 이상감지 서비스 구축을 위한 데이터 확보 및 데이터라벨링 작업까지 진행하였으나, 실질적인 데이터셋 기반의 AI 예측모델 적용은 수행하지 못하였다. AI 분석을 통한 예측력 확보, 모형 고도화 등 현장 활용을 위한 검증이 필요하다. 둘째, 테스트베드를 넘어 실질적인 지역 및 공간분석을 수행하지 못하였다. 실제 서비스 도입을 위해서는 서비스 분야별 필요지점의 지역적 특성, 관제인프라 수준 등 면밀한 현황조사 및 공간분석이 필요하다. 셋째, 상대적중요도 평가 방법론 측면에서 유효표본 수가 10개로 다소 적은 편이며, 지자체 운영자만을 대상으로 설문하였다. 지자체 뿐 아니라 AI 개발업체, 시민 등 폭넓은 의견수렴 과정이 필요하다. 본 연구의 한계점을 극복하고 실제 현장에 적용될 수 있도록 기술적 검증, 운영방안, 정책적 지원방안 등 후속연구가 지속적으로 진행되어 국민들이 안전한 삶을 영위하기를 기대한다.
Acknowledgement
본 연구는 과학기술정보통신부 한국건설기술연구원 연구운영비지원(주요사업)사업으로 수행되었습니다(20240143-001, 미래 건설산업 견인 및 신시장 창출을 위한 스마트 건설기술 연구).
References
- Ahmed, S., Bhatti, M.T., Khan, M.G., Lovstrom, B., Shahid, M. (2022). "Development and optimization of deep learning models for weapon detection in surveillance videos." Appiled Sciences, Vol. 12, No. 12, 5772.
- Aparna, Bhatia, Y., Rai, R., Gupta, V., Aggarwal, N., Akula, A. (2022). "Convolutional neural networks based potholes detection using thermal imaging." Journal of King Saud University - Computer and Information Sciences, Vol. 34, No. 3, pp. 578-588.
- Batchuluun, G., Nguyen, D.T., Pham, T.D., Park, C. (2019). "Action recognition from thermal videos." IEEE Access, Vol. 7, pp. 103893-103917.
- Carreno, P., Gutierrez, F., Ochoa, S., Fortino, G. (2015). "Supporting personal security using participatory sensing." Concurrency and Computation-Practice & Experience, Vol. 27, No. 10, pp. 2531-2546.
- Chae, S.U., Kwon, H.S., Park, S.R., Cho, W.H., Kwon, O.S., Lee, J.S. (2020). "CCTV high-speed analysis algorithm for real-time monitoring of building access." Journal of The Korean Society of Hazard Mitigation, Vol. 20, No. 2, pp. 113-118.
- Choi, M. (2020). "Root cause analysis of electric fires and risk diagnosis of parked vehicles." Journal of The Korean Society of Hazard Mitigation, Vol. 20, No. 1, pp. 245-250.
- Choi, W., Jang, B., Jung, I., Sung, H., Jang, Y. (2023). "Evaluation of preferences for a thermal-camera-based abnormal situation detection service via the integrated fuzzy AHP/TOPSIS Model." Applied Sciences, Vol. 13, 11591.
- Gonzalez, A., Fang, Z., Socarras, Y., Serrat, J., Vazquez, D., Xu, J., Lopez, A.M. (2016). "Pedestrian detection at day/night time with visible and FIR cameras: A comparison." Sensors, Vol. 16, No. 6, 820.
- Gusso, A., Cafruni, C., Bordin, F., Veronez, M.R., Lenz, L., Crija, S. (2015). "Multi-temporal patterns of urban heat island as response to economic growth management." Sustainability, Vol. 7, No. 3, pp. 3129-3145.
- Hwang, W., Oh, S.B., Nam, Y.J., Ro, S. (2019). "A study on the development of night vision thermal camera using deep learning." The Journal of Korean Institute of Communications and Information Sciences, Vol. 44, No. 12, pp. 2332-2338.
- Khan, P., Byun, Y., Park, N. (2020). "A data verification system for CCTV surveillance cameras using blockchain technology in smart cities." Electronics, Vol. 9, No. 3, 484.
- Kim, C., Choi, J.S. (2021). "Jang, H.; Kim, E.J. Automatic detection of linear thermal bridges from infrared thermal images using neural network." Appiled Sciences, Vol. 11, No. 3, 931.
- Kim, C., Kang, S., Chung, Y., Kim, O., Kim, W. (2023). "Quantification of the effective detectable period for concrete voids of CLP by lock-in thermography." Appiled Sciences, Vol. 13, No. 14, 8247.
- Kim, C.B., Hong, W.H., Jo, Y.B., Kim, J.D. (2013). "Extraction of evaluation criteria on technology and service related to smart grid and analysis of relative importance among evaluation criteria by AHP Method." Korea Environmental Policy And Administration Society, Vol. 21, No. 3, pp. 127-144.
- Kim, J., Park, S., Hong, C., Park, S., Lee, J. (2022). "Development of AI detection model based on CCTV image for underground utility tunnel." Journal of the Society of Disaster Information, Vol. 18, No. 2, pp. 364-373.
- Lee, H. (2015). "A study on social issue solutions using the "Internet of Things" (Focusing on a crime prevention camera system)." International Journal of Distributed Sensor Networks, Vol. 11, No. 9, 747593.
- Lee, J.I. (2019), "A study on the risk of fire of magnetic contactor at the control panel of refrigeration warehouse." Journal of the Korea Society of Disaster Information, Vol. 15, No. 3, pp. 313-322.
- Lee, J.M., An, Y.E., Bak, E.S., Pan, S. (2022). "Improvement of negative emotion recognition in visible images enhanced by thermal imaging." Sustainability, Vol. 14, No. 22, 15200.
- Lee, Y., Kim, S., Lim, H., Lee, H.K., Choo, H.G., Seo, J., Yoon, K. (2021). "Performance analysis of object detection neural network according to compression ratio of RGB and IR images." Journal of Broadcast Engineering, Vol. 26, No. 2, pp. 155-166.
- Loveday, J., Loveday, G., Byrne, J.J., Ong, B., Morrison, G.M. (2019). "Seasonal and diurnal surface temperatures of urban landscape elements." Sustainability, Vol. 11, No. 19, 5280.
- Mozaffari, H.M., Li, Y., Ko, Y. (2022). "Detecting flashover in a room fire based on the sequence of thermal infrared images using convolutional neural networks." The 35th Canadian Conference on Articial Intelligence, Toronto, Ontario, 2022L3.
- Munir, F., Azam, S., Rafique, M.A., Sheri, A.M., Jeon, M., Pedrycz, W. (2022). "Exploring thermal images for object detection in underexposure regions for autonomous driving." Applied soft computing, Vol. 121, 108793.
- Nazari, R., Alfergani, H., Haas, F., Karimi, M.E., Fahad, M.G.R., Sabrin, S., Everett, J., Bouaynaya, N., Peters, R.W. (2020). "Application of satellite remote sensing in monitoring elevated internal temperatures of landfills." Appled Sciences, Vol. 10, No. 19, 6801.
- Park, M., Lee, H. (2020). "Smart city crime prevention services: The Incheon free economic zone case." Sustainability, Vol. 12, No. 14, 5658.
- Pavez, V., Hermosilla, G., Pizarro, F., Fingerhuth, S., Yunge, D. (2022). "Thermal image generation for robust face recognition." Applied Sciences, Vol. 12, No. 1, 497.
- Saaty, T. (1983). "Priority setting in complex problems." IEEE Transactions on Engineering Management, Vol. 30, No. 3, pp. 140-155.
- Socha, R., Kogut, B. (2020). "Urban video surveillance as a tool to improve security in public spaces." Sustainability, Vol. 12, No. 15, 6210.
- Son, G.S., So, S.H. (2021) "Kim, J., Park, S., Hong, C., Park, S., Lee, J. (2022) "A study on fire alarm test of IoT multi-fire detector combined Smoke/CO/Temperature sensor." Journal of the Society of Disaster Information, Vol. 17, No. 2, pp. 236-244.
- Song, B., Park, K. (2019). "Analysis of spatiotemporal urban temperature characteristics by urban spatial patterns in Changwon city, South Korea." Sustainability, Vol. 11, No. 14, 3777.
- Stypulkowski, K., Golda, P., Lewczuk, K., Tomaszewska, J. (2021). "Monitoring system for railway infrastructure elements based on thermal imaging analysis." Sensors, Vol. 21, No. 11, 3819.
- Wang, B., Jiang, X., Dong, Z., Li, J. (2022). "Behavioral parameter field for human abnormal behavior recognition in low-resolution thermal imaging video." Applied Sciences, Vol. 12, No. 1, 402.
- Wong, W.K., Chew, Z.Y., Lim, H.L., Loo, C.K., Lim, W.S. (2011). "Omnidirectional thermal imaging surveillance system featuring trespasser and faint detection." International Journal of Image Processing, Vol. 4, No. 6, pp. 518-538.
- Wong, W.K., Tan, P.N., Loo, C.K., Lim, W.S. (2009). "An effective surveillance system using thermal camera." IEEE. 2009 International Conference on Signal Acquisition and Processing, Kuala Lumpur, Malaysia, 10763554.
- Zhu, R., Dong, X., Wong, M.S. (2022). "Estimation of the urban heat island effect in a reformed urban district: A scenario-based study in Hong Kong." Sustainability, Vol. 14, No. 8, 4409.