Design of an Exploration Drone for Digital Twin based Building Control

Abstract

본 논문에서는 디지털 트윈 기반의 건물 관제 시스템에 활용할 수 있는 건물탐사 드론을 제안한다. 기존 건물 관제 시스템은 고정된 센서 박스를 통해 관제 정보를 관리하므로 관리 체계의 사각지대가 발생하는 문제점과 순찰을 통한 인위적인 방법은 자원적 한계성을 가진다. 본 논문은 온습도 센서와 가스 누출 탐지 센서를 내장한 드론을 통하여 관제 사각지대를 중심으로 건물의 내부 경로를 탐색하고 영상과 더불어 실시간으로 정보를 전송하여 관제 시스템의 문제점을 극복하고자 한다. 또한, 옵티컬 플로어 센서를 이용한 안정적인 호버링 기능을 가지며 기존 디지털 트윈 기반의 건물 관제 시스템에 적용할 수 있게 한다. 본 연구의 결과는 드론 활용을 통하여 향후 디지털 트윈 관제 시스템의 질적 향상에 많은 도움이 될 것으로 사료된다.

In this paper, we propose a building exploration drone that can be used for a digital twin-based building control system. The existing building control system using a fixed position sensor box has a problem that a management blind spot occurs. And because people patrol themselves, it takes a lot of human resources. In this paper, a drone equipped with a temperature and humidity sensor and a gas leak detection sensor is used to search the internal path of the building centering on the control blind spot. It also aims to solve the problem of the building control system by transmitting information in real time along with the video. In addition, it has a stable hovering function using an optical floor sensor and can be applied to an existing digital twin-based building control system. The results of this study are believed to be of great help in improving the quality of digital twin control systems using drones.

I. Introduction

기존의 건물 관제 시스템은 일정한 관심 영역에 고정된 센서 박스를 설치하여 유무선으로 정보를 전달받아 모니터링하는 방식으로 운영되고 있다. 또한, 디지털 트윈을 접목하여 경쟁력 확보를 위한 많은 노력이 진행되고 있다. 건물 관제 시스템의 디지털 트윈은 물리적 환경의 변화라기보다 BIM(Building Information Modelling) 기술을 이용하여 건물을 3D 모델링하여 각종 센서의 동작 상태를 시각적으로 용이하게 표현하는 플랫폼을 의미한다. 물론 사물인터넷(IoT)이나 CPS(Cyber Physical System) 등의 핵심기술을 통한 생산성이나 경제성, 안정성에 대한 요구사항은 일정 부분 충족된 것이 사실이다[1]. 하지만, 건물 내부의 모든 영역에 고정된 센서 박스를 부착하기 힘들기 때문에 여전히 작업자가 현장에서 육안으로 확인하고 시설물 관리를 위한 유지관리 업무에 시간과 비용이 많이 소요되는 한계점을 가진다. 이전 연구에서 무선 화재 감지를 위한 디지털 트윈을 활용한 실시간 소방 통제 시스템을 제안한 바 있다[2]. 본 연구에서는 인력 위주의 시설 관리의 문제점을 극복하고 기존의 디지털 트윈 기반의 건물 관제 시스템에서 적용할 수 있는 건물 내 탐사 드론을 제안하고자 한다. 제안하는 드론은 온습도 센서와 가스 누출 탐지 센서를 내장하고 있으며 조도를 인식하여 자동으로 조명을 조절하는 기능을 가지고 있다. 또한, 건물 내 사각지대를 중심으로 내부 경로를 탐색할 수 있는 Waypoint 설정 기능과 GPS를 대체하기 위하여 옵티컬 플로어 센서와 라이다 센서를 이용하여 고도를 인식하고 안정적인 호버링이 가능한 특징을 가진다[3]. 논문의 구성은 2장에서 디지털 트윈과 드론을 이용한 건물 관제에 대한 배경지식을 살펴보고 3장에서 구현을 위한 기존 관제 시스템의 연동과 탐사 드론의 설계에 관해 기술한다. 4장에서 실제 구현된 탐사 드론에 대해 상세히 설명하고 5장에서 결과에 관해 기술한다.

II. Background

1. Related works

디지털 트윈은 사물인터넷과 인공지능 및 클라우드 등의 다양한 기술이 융합된 영역이며 핵심은 데이터라 할 수 있다. 실세계에서 발생하는 데이터는 사물인터넷 기반의 센서를 통해 취득되고 이는 자연스럽게 가상 공간을 형성하는 출발점이 된다. 가상 공간의 데이터는 일정한 전달 체계를 통하여 흐름을 생성하고 이를 통하여 가상 공간에 해당하는 디지털 세계를 실세계 객체와 매핑하게 된다. 매핑이 완료된 가상 공간의 모델은 마치 실세계의 객체와 동일한 요소로 인식되며 전달된 데이터를 감지, 분석, 예측을 통하여 실세계 객체를 제어하는 시스템이 된다. 기존 디지털 모델과의 차이점은 온·오프라인의 구별이 무의미하다는 것과 현실성과 즉시성이 공존하는 동시에 실시간으로 동적인 변화를 인식할 수 있다는 것이다. 즉, 디지털 트윈은 수집된 데이터를 기반으로 정형화 및 분석 작업을 통하여 지식기반의 최적화된 가상 시스템을 구축한다는 것이다.

Fig. 1. Implementation of Digital Twin based Building Control System using Wireless Sensor Box [2]

건물 관제를 위한 시스템은 이미지나 레이저를 이용한 건물 외관의 균열 식별이나 나사 풀림 등의 구조물 손상 및 도로 상태 평가 등의 시설물 관리와 각종 감지 센서를 통한 화재 및 비상 관리 영역으로 구분될 수 있다[4].

박명철(2020)은 유·무선 감지 센서를 통한 데이터 취득과 함께 데이터 정제 기술 기반의 빌딩 관리를 위한 디지털 트윈 기반의 빌딩 관제 시스템을 소개하였다[2]. 이는 건물 내부를 3D 모델링하고 특정 위치에 무선 센서 박스를 배치하여 실시간으로 화재 감지를 위한 온도, 습도, 가스 및 먼지 측정을 통한 관제 시스템이다. 하지만, 건물 내부의 특정 관심 영역에만 센서 박스를 부착하였기 때문에 전체 건물을 관제하지 못하는 제한점을 가진다. 물론, 다수의 센서 박스를 설치할 수 있겠지만 이는 비용과 직결되기 때문에 실용성이 저하되는 결과를 초래한다.

2. Building condition inspection using Drones

국내외에서 드론을 활용한 건물 유지관리 사례는 열화상 카메라와 LiDAR 등의 기술을 접목하여 이미지 기반으로 응용되는 경우가 대부분이다[5-7]. RGB-D 센서와 3차원 회전 스캐너를 이용하여 지진 피해 건물에 대한 건물 외관의 균열을 식별하기 위한 모서리 감지나 손상된 건물의 특징점을 이용하여 기계 학습을 통한 분류 작업, 기하학적 형상을 인식하고 분류하는 사례도 있다[8]. 또한, 이미지 필터링을 통한 특징점을 추출하여 도로의 표면 손상의 크기 등을 분석하는 연구가 이어지고 있다[9]. 영역별로는 교량 점검을 위한 사례가 많으며 이는 접근이 어려운 교량의 하부 슬래브의 열화 분석이나 크랙 점검을 위한 3차원 모델링의 용도로 드론을 활용하고 있다[10]. 영국의 경우는 지하철 터널 유지보수를 위하여 드론을 활용하고 있으며 터널 내부의 위치를 측위하고 드론과의 충돌을 방지하기 위하여 레이저 등의 센싱 장치를 장착하고 있는 것이 특징이다[11]. 이러한 기존 연구는 인력 위주의 데이터 수집방식에서 자동화된 수집방식을 채택함으로써 경제적 효과와 양질의 정보를 수집하는 성과를 이루었다. 또한, 드론에서 촬영된 이미지의 3차원 모델링을 통하여 건물의 기울기와 균열을 탐지하는 등의 건물 하자 조사 영역에서도 활용되고 있다[12]. 실내 활용 영역에서는 층높이가 높은 실내 장비를 점검하는 용도로 많이 이용되고 있으며 이 경우에는 협소한 공간으로 인한 충돌을 대비하여 보호망을 장착한 드론이 활용되고 있다.

본 연구는 건물 실내에 장착된 무선 센서 네트워크를 드론으로 확장하기 위한 목적이므로 이미지는 현장을 모니터링하기 위한 용도로 활용되며 별도의 이미지 처리작업은 수행하지 않는다. 다만, 드론의 비행하는 경로의 온도와 습도, 가스 누출 탐지 등의 업무를 수행해야 하므로 기존 드론에 다양한 측정 센서를 장착하여 실시간으로 전송하는 기능이 추가로 요구된다. 즉, 기존의 활용 사례와 같이 취득된 데이터를 후처리하는 것이 아니라 취득한 데이터를 즉시 관제 시스템으로 전송하는 특징을 가진다. 그리고 협소한 실내 환경에서 발생하는 충돌을 회피하기 위한 알고리즘과 더불어 충돌 시 자체 호버링 될 수 있는 기능적 특징을 가진다. 또한, 전문적인 드론 조종사에 의존하지 않고 정해진 경로를 비행할 수 있는 자동 Waypoint 비행 기능을 통하여 자율비행 체제를 가진다. 실내에서는 GPS 신호를 수신하기 어려우므로 자기위치추정기법(Simultaneous Localization and Mapping)을 이용한다. 이는 주변 환경에 대한 맵과 위치를 인지할 수 있는 체크 포인터 설정을 통하여 별도의 통신기술 없이 주변 시설물에 대한 인식정보만으로 비행한다.

III. Design

1. Digital twin based building control

Fig. 2는 제안하는 전체 시스템의 구성 요소 간 기능과 데이터 흐름을 보인 것이다. 그림 상단의 기존 시스템은 고정된 무선 센서 박스를 의미하며 측정된 정보는 네트워크를 통해 3D 모델링 서버로 전송된다. 전송된 센서 정보는 모델링 요소에 매핑되어 최종적인 사용자 모니터링 화면으로 전송되게 된다. 그림의 하단은 본 연구에서 구현하고자 하는 추가 영역으로 위치에 독립적인 센서값을 얻기 위하여 드론에 장착된 센서를 보인 것이다. 핵심적인 센서는 온습도와 가스 및 연기를 검출하는 센서, 비행 위치를 모니터링하기 위한 카메라로 구성되어 있다. 자율비행을 통하여 드론이 측정한 센서값과 영상은 3D 모델링 서버로 전송되고 별도의 전환 버튼을 통하여 영상정보와 센서 정보를 확인할 수 있다. 그리고 고정된 센서 박스에 카메라를 설치하여 이동 중인 드론체를 확인할 수 있게 하였다.

Fig. 2. Features of Components and Data Flow Diagram

2. Circuit design of exploration drone

Fig. 3은 제안하는 건물탐사 드론에 대한 전체 회로도이다. 메인부는 아두이노 우노를 MCU로 사용하고 있으며 드론 동작을 위한 경로 정보와 온습도 및 가스 탐지 센서의 측정값을 처리하는 기능을 가진다. 수동 조작을 의한 동작 신호는 통신부의 수신기를 통해 제어부인 모션 컨트롤러에 전달되고 이는 제어부에 연결된 변속기에 전달되어 드론의 회전 모터를 구동하는 방식이다. 자율비행 시에는 그림 하단의 센서부의 옵티컬 플로우 센서와 라이다 센서가 바닥의 패턴을 인식하여 위치와 고도를 스스로 유지할 수 있게 동작 신호를 제어부에 전송하고 이 신호를 통하여 변속기에 연결된 회전 모터를 동작시킨다. 영상부의 카메라를 통해 촬영된 영상은 영상 송신기를 통해 영상을 송출하고 각 무선 센서 박스의 블루투스를 통하여 3D 모델링 서버에 전송된다. 온습도와 가스 감지 센서의 측정값은 메인부에 전송되면 제어부의 블루투스 모듈을 통해 무선 센서 박스에 전송되어 3D 모델링 서버에 전송되게 된다.

3. Component of exploration drone

MCU는 아두이노 우노로 연결된 센서들을 통해 측정값을 받으며 센서의 전체적인 제어를 담당한다. 연결된 센서부의 온습도 센서는 DHT11 모듈을 사용하며 정격 전압이 +5V로 MCU에서 제공하는 전압치와 동일한 특성을 가진다. 또한, 온도의 측정범위는 0~50oC(± 2oC)이며 습도의 측정범위는 20~90% RH ± 5%이다. 가스 감지를 위한 센서는 MQ2 모듈이며 동작 전압은 3~5V이고 일산화탄소와 LPG, 연기에 대해 300ppm~10,000ppm의 측정범위를 가지고 있다. 블루투스 통신을 위한 모듈은 HC-06이며 동작 전류는 40mA, 전압은 5V이다. 제어부에 해당하는 모션 컨트롤러는 FC마텍 F405-SE 컨트롤러이고 전류 센서와 기압계, 자이로 센서가 내장된 특성이 있다. 그리고 카메라 컨트롤러를 제어할 수 있으며 전원부가 통합되어 있어 소형 드론에 적합한 구조를 가진다. 또한, 드론의 진동에 영향을 최소화하기 위해 자이로 칩은 MPU 6000을 사용하고 있다. 제어부에 연결된 변속기는 모터의 회전 방향과 속도를 제어하는 역할을 담당하며 4개의 회전 모터를 제어하기 위하여 통합 모듈인 T-motor V45A 4in1 모듈을 사용하였다. 변속기를 별도로 구성하는 것에 비해 경량성을 가지고 있고 입력 전압이 11V~25V로 선택의 폭이 넓은 특징을 가진다. 변속기에 연결된 모터는 T-motor 2208 2450KV 모델을 사용했으며 분당 회전수는 2,450kv이며 6.8kg의 수직 상승 힘을 가지고 있어 드론의 빠른 구동에 적합한 특징을 가진다. 제어부에 연결된 옵티컬 플로우 라이다 센서는 드론의 위치와 고도를 유지하기 위한 기능을 수행하며 무게가 2g에 해당하고 작동 범위가 8cm~200cm인 3901-L0X 모듈을 사용하였다. 옵티컬 플로우 센서와 라이다 센서가 하나로 통합된 경량 센서의 특징을 가진다. 카메라는 런캠 로빈 모델이며 응답속도가 6ms, 무게는 5.5g이며 해상도는 700 TVL에 다소 낮지만 160도의 화각을 가져 넓은 범위를 빠르게 파악할 수 있는 특징을 가지고 있다. 제안하는 탐사 드론의 핵심 제원은 Table 1과 같다.

Table 1. Specification of implemented Drone

IV. Implementation

1. Implementation of exploration drone

Fig. 3의 회로도를 근간으로 탐사 드론을 제작하였다. 상태 점검을 위한 센서부는 공간 측정이 용이하도록 Fig. 4의 (a)와 같이 드론을 상단에 설치하였으며 메인부는 센서부를 폴더 형식으로 하단(b)에 배치하였다. 이는 회전모터에 의한 와류 현상으로 센서 감지의 성능 저하를 예방하기 위한 차원이다. 영상부는 Fig.4의 (d)와 같이 드론의 정면부에 부착하였으며, 야간 등 어두운 환경을 위한 조명을 설치하였다. 그리고 옵티컬 플로우 센서는 드론의 하부(c)에 부착하는데 이미지 인식을 위한 조명을 양쪽에 설치하였고 조명은 조도 센서를 통하여 특정 조도 이하일 경우 자동으로 점등되게끔 구현하였다.

Fig. 3. Circuit design of Implemented Drone

Fig. 4. Deployment of units of exploration drones

최종 완성된 탐사 드론은 Fig. 5와 같으며, 야간이나 어두운 공간에서의 조명이 다소 약하여 별도의 조명 장치를 추가로 부착하였다. 또한, 좁은 공간을 이동하면서 벽면이나 시설물에 충돌하는 경우를 대비하여 축구공 모양의 보호막을 구성하였다. 보호막은 탄성도를 가지 재질과 구조를 통하여 충돌 시 반동을 통한 호버링이 용이하게 설계하였다.

Fig. 5. Completed exploration drone

2. Operation procedure of exploration drone

Fig. 6은 탐사 드론의 표준적인 동작 알고리즘을 보인 것이다. 장치에 전원이 인가되면 각종 센서를 초기화하고 각 지점에 설치된 고정 센서 박스와 통신하기 위한 블루투스 여부를 확인한다. 조정 장치의 이륙 명령을 수신하면 지정된 Waypoint를 확인하고 현시점에서 가장 가까운 지점으로 이동을 준비한다. 이 시점부터는 100ms 단위로 온도와 습도, 가스 탐지 센서에서 측정값을 수신하고 카메라를 통하여 건물 내부를 촬영한다. 그리고 블루투스를 통하여 현재 위치, 시간을 추가하여 데이터를 전송한다. 측정된 온도가 55도 이상이거나 가스 탐지 값이 700 ppm 이상이면 위치 이동을 중지하고 상황실로 위험 사실을 통지한다. 위치 이동 없이 호버링하는 드론은 경고음과 붉은색 LED를 깜박이며 상황실의 이동 명령을 기다린다. 온도와 가스 탐지 값이 정상 범위이면 다음 Waypoint로 이동한다.

Fig. 6. Flow Chart of exploration drone

드론이 비행 중에 복귀 명령이 수신되면 경로상 지정된 복귀장소로 귀환하게 된다. GPS 수신이 제한적인 실내 환경에서 Waypoint의 이동은 고정 센서 박스를 기준으로 층간 정보, 계단 정보, 상‧하향 정보 등을 기준으로 위치정보를 자체에 내장하고 있으며 이 정보는 Fig. 2의 3차원 서버 내의 건물 매핑 정보를 활용하여 산출하였다. 디지털 트윈 기반에서는 이미 건물의 내부 구조를 매핑하면서 모든 시설물이나 위치정보를 가지고 있으므로 원하는 탐사 경로에 따라 해당 매핑 정보를 드론 Waypoint로 활용하면 된다. 경로 정보의 구조는 Table 2와 같다.

Table 2. Structure of waypoint information

3. Experiment of drone operation

Fig. 7은 탐사 드론의 호버링 정상 동작을 확인하기 위하여 외부에서 자극을 가했을 때 원래의 위치로 되돌아오는 실험을 하였다. Fig. 7의 왼쪽은 사람이 발로 탐사 드론을 자극했을 때 호버링되는 모습을 보인 것이고 Fig. 7의 오른쪽은 사람이 자극을 가하고 이차적으로 벽면에 충돌했을 때 호버링되는 모습을 보인 것이다. 실험 결과, 탐사 드론은 인위적인 자극에도 옵티컬 플로우 센서를 통한 위치와 고도를 상실하지 않고 정상 동작함을 확인하였다.

Fig. 7. Hovering check about external pressure

Fig. 8은 야간 탐사 시 조명을 통한 정상 비행을 확인하는 모습으로 Fig. 8의 왼쪽은 계단을 내려가는 모습을 보인 것이고 오른쪽은 접근이 어려운 건물의 공간을 이동하면서 1층에서 2층으로 상승하여 비행하는 모습을 보인 것이다. Fig. 9는 기존에 개발하여 사용하고 있는 디지털 트윈 기반의 건물 관제 시스템의 3차원 모델일 뷰 내에 탐사 드론이 경로를 이동하며 전송한 센서의 측정값과 영상을 맵핑 한 것이다. 또한, 탐사 드론의 비행 영상은 고정된 위치에 설치된 센서 박스에서 보내온 영상을 매핑한 것이다. 실험 결과, 드론의 상태 점검 내용과 3차원 모델링 정보가 상호 연계되어 정상 동작함을 확인할 수 있었다.

Fig. 8. Exploration of stairs and night

Fig. 9. Mapping of drone measurement values and video information to the existing digital twin control system(video transmitted by Sense Box)

Ⅴ. Conclusions

본 논문은 기존 디지털 트윈 기반의 건물 관제 시스템의 고정된 센서 박스를 통한 관제 체계에서 관리의 사각지대가 발생하는 문제점과 인적 자원이 직접 순찰하는 자원적 한계성을 보완하기 위하여 건물 내부를 탐사하는 드론을 적용하였다. 고정된 센서 박스의 역할을 유동적인 드론이 대신하기 위하여 각종 센서를 장착하여 정보를 수집하고 위치정보를 실시간으로 수신하기 어려운 환경을 대신하여 내부 경로는 기존의 3차원 모델링 정보를 이용하여 자율비행이 가능하도록 설계하였다. 기본적인 동작과 기존 디지털 트윈 관제 플랫폼 적용할 수 있는 가능성을 확인하였지만, 비행 중 경로 값을 상실하여 특정 위치에서 호버링되는 현상과 예기치 않은 시설 잠금장치로 인한 지속적인 충돌 현상이 발생하는 문제점을 초래하였다. 또한, 각 센스 박스의 블루투스 연결이 일정하지 않아 경로 데이터와 다른 경로로 이동하는 경우도 발생하였다. 향후, 건물 내부의 자기위치인식 기술과 잠금장치를 식별하여 대체 경로를 지정하는 방법 등을 이용하여 문제를 해결하고자 한다. 영상의 끊김 현상은 센서 박스에 Ad-Hoc 네트워크 방식을 도입하여 통신의 연결성이 유지되는 방안을 연구하여 적용하고자 한다.