실시간 화재진압을 위한 원격조종 무인소방 시스템

Tele-operation System of Unmaned Fire Truck for Real-time Fire Suppression

Abstract

본 연구는 실시간으로 원격제어가 가능한 무인소방 시스템을 제안한다. 안전지대에 위치한 조종자가 화재현장에 투입된 무인 소방대차를 무선통신으로 원격조종함으로서 재난 및 긴급 상황에 신속하고 안전한 방재 작업을 진행할 수 있다. 이를 위하여, 소화전에 연결되어 고압으로 살수 작업이 가능한 무인 소방트럭에 대하여 제안하고, 이를 시제품으로 개발 하였다. 또한 LTE통신 상황에서 서로 다른 영상형식에 따른 시간지연과 FPS를 정량화하여, 효과적인 실시간 원격 조종 시스템에 대하여 제안하였다. 제안된 시스템의 검증을 위하여, 안전지대의 조종자와 무인소방대차를 3km 떨어진 곳에 위치시키고 주행테스트를 진행하였다. 무인소방대차를 LTE통신을 통하여 접속하고, 영상과 모션을 조종자에게 전달하여 평균 120msec의 시간지연으로 주행 테스트한 실험 결과를 제시한다.

In this research, we suggest a real-time tele-driving system for unmanned fire truck control using the LTE communication system. The operator located in the safe area could drive the unmaned fire truck by implementing the secure tele-operation in case of the emergencies and disaster situation. A prototype of the unmaned fire truck was developed with a fire canon, a high pressure pump, a ball valve and a horse reel. The effect of time delay and FPS was quantified depending on the image sizes and the effective system for realtime tele-operation was suggested. To verify the suggested system, the test was performed between an operator and an unmanned fire truck which is approximately 30km apart. In this research, the immersion tele-driving system is suggested for real-time fire suppression with a 120ms time delay using LTE communication.

Ⅰ. 서론

기후와 변화와 산업화의 영향으로 대형화재나 재난상황이 해마다 증가하고 있다. 대형화재란 인명피해가 사망 5명이상 또는 사상자 10명 이상 발생한 화재이거나 재산피해가 50억 원 이상으로 추정되는 화재를 일컫는다. 대형 산불, 도시화재 등과 같은 재난∙재해가 발생하게 되면 2차 피해를 예방하기 위해 즉각적인 복구 작업을 해야 하는데, 화재 현장은 예측할 수 없는 많은 변수가 존재하기 때문에 소방 작업을 일선에서 수행하는 소방관들은 예측할 수 없는 위험한 환경에 처하게 되고, 그로 인해 신속하고 적극적인 복구 작업을 할 수 없는 상황에 놓이게 된다. 화재 현장에서 건물이 무너지거나 작업자와 장비가 매몰되는 상황 등 인명구조 및 재난 복구를 수행하는 작업자의 안전을 위협하는 많은 위험요소가 존재한다^[1].

따라서 위와 같은 상황에서 신속하고 적극적인 복구 작업을 수행하기 위해서는 화재진압 현장과 복구 작업의 일선에 있는 화재진압 특장 소방차 조종자의 안전이 확보 되어야만 한다. 이러한 문제를 해결하기 위해 산업 선진국을 중심으로 위험한 환경에서 무인 운영이 가능한 원격조작 특장 소방차를 연구개발하고 있다^[2].

본 논문에서는 LTE 통신을 사용하여, 재난현장에 있는 무인소방차의 영상과 진동을 평균 150 msec 이내로 조종자에게 전송하여, 조종자에게 실제 원격지의 무인소방차 위에서 조정하는 실감환경을 제공하는 원격조정 시스템을 제안한다.

Ⅱ. 무인 소방시스템 구성

본 논문에서는 원격의 조종자가 조작이 가능한 “방수포기능이 있는 무인 전기구동 특장 소방차”를 개발하였다. 소방관의 안전을 확보하면서, 원격의 무인 소방차를 제어하는 원격제어의 개념은 그림 1. 과 같이 정의된다^[3].

그림 1. 전송 데이터종류에 의한 원격제어 방식

Fig. 1. Tele-operation approaches by transferred data types

그림 1. (a)는 무선통신을 통하여 원격지에서 전송되는 영상을 기반으로 조종자가 무인 소방대차를 조종하는 개념이다. 이러한 원격제어시스템은 영상을 통하여 전달되지 못하는 대차의 진동, 작업현장의 지형 등을 조종자가 파악하기 힘들다^[4]. 그림 1. (b)는 이러한 단점을 보완하기 위하여, 무인소방차의 영상과 모션을 탑승형 Master 로봇에 동시에 전달하여 조종자가 원격의 무인대차에 탑승한 것과 같은 조종환경을 제공하는 개념이다. 본 논문에서는 이와 같이 영상과 모션을 조종자에게 동시에 전달하는 원격제어 방식을 택하였다.

다양한 화재 현장에 이동이 용이 하도록, 무한괘도 타입의 구동부로 최대 속도 10km/h로 화재현장 진입이 가능하다. 제안하는 전기구동 특장 소방차는 화재발생시 원격에서 투입하여, 초기 화재 진압을 목적으로 개발되어지므로, 복잡하고 비정돈상태의 화재현장을 진입하기 위하여 전면 범퍼와 험지 주행 가능한 궤도메커니즘으로 설계하였다.

표 1.은 제안한 전기구동 특장 소방대차의 시스템 제원을 보여준다. 특장 소방대차의 총 무게는 최대 250kg이며, 이송 메카니즘은 2축 무한괘도 타입이고 모터는 10kW DC모터 총 2개를 사용하였다. 이동 최대 등판각도 25도 이상으로 화재현장 진입할 수 있으며, 화재진압을 위하여 2축 팬-틸트 구동 방수포를 장착하였다.

표 1. 원격조종 무인 전기 소방대차의 시스템 제원.

Table 1. Specification of Unmaned Tele-operation Fire Truck System

무인 전기구동 특장 소방대차 위에 화재진압을 위하여 설치하여야 하는 구성품으로는 1) 고압펌프, 2)원격제어 가능 밸브, 3) 2축이상의 분사방향을 조종가능한 방수포, 4) 소방전과 연결이 가능한 릴이 있다. 사용된 소방부품들의 제품사진과 사양은 그림 2.와 표2와 같다. 고압소방펌프는 방수포의 성능을 최대화하기 위하여 A2급과 C1급사이의 성능을 가지는 펌프로 구성하였다.

그림 2. 무인 소방대차 구성품

Fig. 2. Components for Unmaned Fire Truck

표 2. 원격조종 무인 전기 소방대차의 시스템 제원.

Table 2. Specification of Unmaned Tele-operation Fire Truck System

원격조종자는 무인소방대차의 주행뿐만 아니라, 효과적인 화재 진압을 위하여 분사의 방향과 거리, 직사와 분사의 종류 등을 LTE통신을 사용하여 화재현장의 영상을 보면서 제어가 가능하다.

이를 소형화된 소방대차에 수압강하를 최소화하는 배치를 위하여 그림 3.과 같이 각기 모델링하여 구성하였다. 그림 3.에서 보듯이 무인 전기구동 특장 소방차는 옥내소방전이나 옥외소방전과 연결하여 급수를 받아 작동되며, 길이 100m 의 소발 릴에 의하여 무인소방대차의 작동 범위가 결정된다. 또한 2축방수포의 살수거리를 높이기 위하여 고압펌프를 장착하였다. 또한, 원격의 조종자가 살수의 시간과 위치를 조종할 수 있도록 볼밸브를 장착하였다.

그림 3. 제안된 원격조종 무인소방 시스템 연결도

Fig. 3. Connection Diagram for Unmaned Fire Truck Tele-operation System

그림 4.과 전체적으로 완성된 무인 전기구동 특장 소방차의 모델링과 시제품을 보여 준다.

그림 4. 제안된 전기구동 소방대차 시제품

Fig. 4. Proposed Unmaned Fire Truck System

Ⅲ. 실시간 영상 전송

영상정보는 원격제어를 위해 필요한 가장 기본적인 데이터로 Slave 로봇에 장착된 카메라를 이용하여 수집하게 된다. 영상정보의 경우 시야각이 넓을수록 모바일로봇의 상황을 파악하는데 용이하므로, 복수의 카메라로 영상을 결합하여 현장감을 극대화 시킬 수 있다. 본 시스템에서는 OV2640 카메라에 광각렌즈를 장착하여 사용한다. 시야각은 116도로 최소 3대의 카메라로 360도의 영상을 재현할 수 있다.

원격제어의 지연시간은 네트워크의 상황에 따라서 발생하는 master와 slave 사이의 데이터 전송 지연시간을 의미한다. 또한 FPS(Frame per second)는 마스터 단에서 전송된 영상을 재생하는 시간을 의미한다^[5].

원격제어의 지연시간과 FPS를 줄이기 위해서는 영상데이터의 사이즈가 작은 것이 유리하기 때문에 Beacon 모듈에서 영상데이터를 JPG로 압축하여 전송하게 된다. VGA해상도 일 경우 24bit 비트맵의 데이터사이즈는 921,654Byte지만 JPG로 압축해서 전송하게 될 경우 대략 30,000 ~ 50,000Byte 정도로 차이가 굉장히 커진다. 다만 JPG로 압축해서 전송하게 될 경우 영상 중간의 데이터가 한 Byte라도 누락되게 되면 누락된 Byte 뒤쪽의 모든 영상이 볼 수 없게 된다는 단점이 있다.

영상정보의 해상도가 높아지게 되면 선명한 영상을 얻을 수 있지만 데이터의 사이즈가 커지기 때문에 지연시간과 FPS가 길어지게 되고, 해상도가 낮아지게 되면 지연시관과 FPS가 짧아지지만 흐린 영상을 얻게 된다.

본 논문에서는 QVGA(320x240), CIF(400x296), VGA(640x480), SVGA(800x600) 총 네 종류의 해상도를 비교, 분석하였다. 각 영상정보는 JPG로 압축되어 전송되며 해상도의 데이터 수는 영상에 따라 다른 압축률을 가지기 때문에 영상이 복잡한 정도에 따라 다른 양을 갖는다.

그림 5에서는 해상도별로 영상을 바꿔가며 데이터의 사이즈가 어느 정도 되는지 확인하였다. 그림 5 (a)는 영상들의 평균값과 표준편차로 실제 사용하게 될 때의 영상의 사이즈의 대략적인 범위를 알 수 있으며 QVGA는 2,000 ~ 7,500Byte, CIF는 4,000 ~ 8,000Byte, VGA는 8,000 ~ 18,000Byte, SVGA는 14,000 ~ 24,000Byte 정도로 확인 되었다. 그림 5 (b)는 최댓값과 최솟값으로 영상의 압축률, 통신 중 잃어버린 데이터 등으로 SVGA라고 하더라도 8,000Byte정도의 적은 양의 데이터도 올 수 있다는 것을 알 수 있다.

그림 5. 해상도별 데이터사이즈

Fig. 5. Data size depending on image resolution

1. 해상도별 지연시간

지연시간은 촬영한 영상데이터가 인터넷을 통해 Master 전송되기 까지 걸리는 시간으로 이는 원격제어 시스템에서 가장 중요한 요소이다. 지연시간이 길어질수록 사용자가 대응할 수 없는 시간이 길어지는 것이기 때문에 지연시간에 따라 원격제어를 통하여 Slave로봇을 얼마나 빨리 동작시킬 수 있는지를 결정하게 된다. 본 논문에서는 LTE 환경(측정결과 평균 92Mbps의 속도임)에서 테스트하였으며, 지연시간의 경우 인터넷 속도와 가장 크게 연관된 정보로 인터넷의 속도에 따라 다른 데이터가 측정된다.

해상도별 지연시간을 확인하기 위해 Master 프로그램에서 Slave로봇으로 임의의 데이터를 하나 보내주고 데이터를 수신한 Slave로봇은 영상을 촬영하며 데이터를 수신한 시간부터 영상의 전송 직전까지의 시간을 잰 후 되돌려주고 그 시간을 측정하였다. 영상은 랜덤하게 촬영하였으며 테스트 결과 그림 6.의 결과를 얻었다.

그림 6. 해상도별 지연시간 테스트 결과

Fig. 6. Time delay test results depending on image resolution

먼저 그림 6. (a)를 보면 측정한 지연시간이 QVGA와 CIF, VGA와 SVGA해상도의 결과가 거의 유사한 것을 확인 할 수 있다. 본 논문에서는 지연시간을 Slave로봇이 영상을 촬영하고 압축하는데 걸린 시간, 데이터 사이즈, LTE Delay(지연시간에서 Slave로봇이 촬영하는데 걸린 시간을 뺀 시간)로 나누어 확인하였다. 그림 6. (b)를 보면 데이터의 사이즈가 작아졌을 때 영상이 통신에 걸리는 시간은 줄어들었지만 카메라가 촬영을 하고 압축하는 시간은 증가됨을 볼 수 있다. 그림 6. (c)는 LTE Delay를 해상도별로 정리한 그래프이며 그림 6. (d)는 LTE Delay의 평균값과 표준편차이다.

이는 영상의 압축률이 높으면 영상을 압축하기 위해 걸리는 시간이 더 오래 걸리기 때문으로 보이며 이는 카메라와 MCU의 성능이 좋을수록 줄어들게 될 것 이다. 데이터가 전송되기까지 걸리는 시간은 CIF와 SVGA가 QVGA와 VGA보다 오래 걸리지만 실제 사용자가 느끼는 지연시간은 차이가 없기 때문에 QVGA와 VGA보다 CIF와 SVGA를 사용하는 것으로 정하였다.

2. 해상도별 FPS

FPS(Frame per Second)는 Master 단에서 전송받은 영상데이터가 모니터에 송출되고 그다음 영상데이터가 송출되기까지의 시간으로, 이는 움직이는 물체나 모바일로봇이 움직이고 있을 때 화면이 얼마나 선명하고 부드럽게 보이는가의 차이를 가진다. 해상도가 낮을수록 움직이는 물체를 좀 더 선명하게 보이고 더 부드럽게 움직일 것 이다. FPS는 카메라 영상의 크기와 크래픽 처리 성능에 따라 결정된다.

해상도별 FPS를 확인하기 위해 Slave로봇에서 보내주는 영상이 한번 출력 될 때마다 시간을 기록하여 매 데이터마다 전 시간을 빼주어 측정하였다.

그림 7.에서 보듯이 해상도별 FPS의 경우 QVGA와 CIF 해상도의 결과와 VGA와 SVGA의 결과 값이 거의 유사한 결과가 나왔다. 이는 FPS의 경우 인터넷의 속도보다는 카메라와 MCU의 연산속도에 영향을 많이 받기 때문에 이러한 결과가 나온 것으로 보인다.

그림 7. 해상도별 FPS 테스트 결과

Fig. 7. FPS test results depending on image resolution

Ⅳ. 실시간 원격제어 구동테스트

본 장에서는 만들어진 무인소방 시스템을 LTE통신을 사용하여 원격제어 테스트결과를 수행하였다. 그림 8과 같이 조종자는 Master 로봇에 탑승하여 HMD를 착용하고 한 개의 Extreme 3D pro를 사용하여 무인 소방대차(Slave 로봇)를 구동한다^[6].

그림 8. 제안한 무인 원격제어 소방 시스템

Fig. 8. Proposed Unmaned Fire Truck Tele-operation System

테스트는 안전을 위해 Master 로봇은 실내에서 진행되었으며 무인 소방대차는 3km 떨어진 운동장에서 진행하였다.

그림 9.는 마스터에 탑승한 조종자의 조종신호(roll 모션)에 따른 무인소방대차 모터의 추종 결과이다. 안정된 모터구동을 위하여 조종신호를 DMP(Digital Motion Processor) 엔진, Kalman 필터, 상보(complementary) 필터에 각기 적용하여 추종하였으며, 상보필터를 거친 데이터가 평균 120 msec로 가장 근사하게 추종됨을 확인하였다.

그림 9. 조종신호에 따른 무인소방대차 모터의 추종 결과

Fig. 9. Motor driving test results depending on control signal

무인 소방대차(Slave 로봇)는 영상을 보내주는 곳이므로 업로드속도가 중요하고, 조종자(Master 로봇)는 영상을 받는 곳이므로 다운로드 속도가 중요하다. Slave 로봇의 업로드 속도가 느려질수록 지연시간이 길어지게 되고 Master 로봇의 다운로드 속도가 느려질수록 영상이 많이 깨지게 된다. 테스트 당시에는 Slave 로봇의 통신 속도는 12 Mbps정도로 측정되었으며 Master쪽의 인터넷 속도는 90 Mbps로 측정되었다.

주행테스트 결과 간헐적으로 통신이 끊어지는 현상이 있었지만 무인 소방대차의 조종 자체에는 큰 문제가 없었다. 그림 10.은 소방대차의 속도를 달리하며 조종자의 조종신호로 무인 소방대차가 원격으로 움직인 궤적을 나타낸다.

그림 10. 조종신호에 따른 무인소방대차의 추종 결과

Fig. 10. Motion test results depending on control signal

Ⅴ. 결론

본 연구에서는 LTE 통신을 사용하여, 실시간으로 화재진압이 가능한 원격제어 무인소방시스템을 제안하였다. 효율적인 원격제어를 위하여 영상의 크기별로 시간지연과 FPS에 대한 정량화를 진행하였으며 이를 통하여 시간지연이 평균 120 msec로 실시간으로 조종하는 실험을 수행 하였다.

또한, 소방관의 안전을 확보할 수 있는 무인소방대차 시스템을 제안하였으며, 원격의 조종자가 무인대차의 주행과 방수포의 위치를 제어할 수 원격조종 무인소방 시스템을 개발하였다.

앞으로 제안한 원격조종시스템을 다양한 무인기와 무인중장비, 자율주행 자동차에도 적용 가능한 효율적이고 유연한 원격조종 시스템으로 확장하고자 한다.