A Study on Real-Time Position Analysis and Wireless Transmission Technology for Effective Acquisition of Video Recording Information in UAV Video Surveillance

유효영상 획득을 위한 무인기 영상감시의 실시간 위치분석과 무선전송 기술에 관한 연구

Abstract

In this paper, we propose an effective wireless transmission technology, under poor wireless transmission channel surroundings caused by speedy flying, that are able to transmit high quality video recording information and surveillance data via accessing to various wireless networking services architecture such as One-on-One, Many-on-One, One-on-Many, Over the Horizon. The Real-Time Position Analysis(RAPA) method is also suggested to provide more meaningful video information of shooting area. The suggested wireless transmission technology and RAPA can make remote control of UAV's flight route to get valuable topography information. Because of the benefit to get both of video information and GPS data of shooting area simultaneously, the result of study can be applied to various application sphere including UAV that requires high speed wireless transmission.

1. 서 론

카메라를 이용한 영상감시 시스템은 교통, 운송, 도난, 화재 등 다양한 분야에서 사용되고 있으며, 보안/감시 기술은 현장의 영상 단순 촬영 및 저장 기술에서 영상 인식 및 위치측정, 추적 등의 기술이 융합하는 방향으로 진화하고 있다. 실내 환경에서의 영상감시시스템은 센서네트워크를 기반으로 카메라를 제어하거나 영상분석을 통해 실내의 감시객체를 추적하는 기술이 제안되어 왔으며, 실외환경의 경우 영상분석 및 GPS(Global Positioning System)를 이용하여 목표 객체를 추적하여 상황을 인지하고 분석하는 기술들이 적용되고 있는 추세이다[1,2,13,14].

실외환경의 경우 제한적인 카메라의 위치와 높이로 인한 유효 영상정보 획득의 한계를 극복하고 보다 광범위한 지역에서의 안전한 감시를 위해 무인항공기(UAV: Unmanned Aerial Vehicle)를 이용한 감시보안 기술의 연구개발과 관련 시장선점을 위한 경쟁이 나날이 치열해지고 있다. 그러나 무인항공기를 이용한 영상감시 시스템은 고속 비행으로 인한 촬영환경의 변화를 극복할 수 있는 고속 무선 송수신 기술과, 효과적인 영상정보의 획득을 위해 무인항공기에 장착된 카메라의 원격조정을 통한 감시대상 지역의 보다 정확한 위치추적 기술, 및 무인항공기의 안전한 비행을 위한 원격제어 데이터 송수신 기술과 같은 연구개발 이슈들이 새로이 등장하게 되었다.

본 논문에서는 무인항공기를 이용한 유효 영상정보 획득에서의 주요한 기술적 이슈인 다양한 간섭 및 열악한 무선채널 환경에서도 영상정보의 왜곡을 최소화할 수 있는 효과적인 고속 무선전송 기술을 제안한다. 또한, 무인항공기의 위치와 촬영영상의 위치 차이로 인한 문제점을 극복하기 위해 무인항공기의 항법장치 정보와 장착한 카메라의 PTZ(Pan Tilt Zoom) 정보, 촬영지역의 입체적 지형정보 등을 기반으로 영상촬영지역의 위치와 범위, 추적궤도 등을 지도정보에 실시간으로 제공할 수 있는 실시간 위치분석 기법을 제안한다.

본 논문의 구성은 다음과 같다. 2장에서는 관련기술의 현황, 3장에서는 영상정보 무선전송 기술, 4장에서는 촬영지역 위치추적을 위한 실시간 위치분석 기술을 제시하고, 마지막으로 5장에서는 결론을 맺는다.

 

2. 관련 기술 현황

2.1 대용량 무선전송기술

무선전송기술은 할당된 주파수와 전송방식에 따라 다양한 데이터를 송수신하는 기본 무선통신 인프라로 언제 어디서나 사용자에게 다양한 정보와 서비스 및 콘텐츠를 제공할 수 있어, 무선망 시스템 및 무선통신서비스 시장에서의 우위확보를 위해 전 세계적으로 시스템 제조사들의 관련 기술개발 경쟁이 치열한 실정이다. 유연한 무선통신 인프라 구축에 활용도가 높은 대용량 고속 무선접속기술의 경우, 그 높은 효용성으로 인해 Wibro 기반의 장치 개발이 활성화 추세에 있으며, 유무선 복합 다중 통신방식을 지원하는 고속무선접속 장치의 필요성이 강력히 대두되고 있다.

특히, IT 기술의 발전에 따라 국방 분야에서는 전장정보의 중요성이 나날이 부각되고 있는 상황이며, 모든 전투요소가 복합 네트워크로 연결되어, 실시간으로 정보를 공유할 수 있는 네트워크 중심전(NCW: Network Centric Warfare)으로 빠르게 변화하고 있음에 따라 현장의 영상정보와 관심지역의 위치정보를 비행체와 지상체간, 비행체와 비행체간, 지상체와 지상체간에 전송할 수 있는 데이터링크(Data Link)용 고속무선 송수신 기술 개발이 전 세계적으로 활발히 진행 중에 있다.

2.2 위치추적 기술

지능형 영상보안감시 분야에 적용하기 위한 위치추적 기술은 영상분석에 의해 감시 대상체를 선정하고 추적하는 기법과 다양한 센서 정보와 위치정보를 활용한 무선측위기술을 사용하고 있다. 지능형 영상보안감시 시스템에서는 다양한 영상분석기법을 사용하여 감시대상체를 검출하고 자동 상황인지 등을 위한 연구가 주류를 이루고 있으며, 감시대상 객체를 선정하기 위한 움직임 검출(Change Detection)로 감시대상 객체를 식별하고 감시 대상체의 특징을 이용하여 영역검출(Region Localization) 및 영역추적(Region Tracking)을 가능하게 한다. 그러나 영상분석 기법의 공통적인 문제점은 감시대상지역의 환경적인 요인에 의해 영상분석을 위한 객체 검출이나 추적이 불가능한 경우가 발생하고 있어 이를 극복하기 위한 연구가 지속적으로 이루어지고 있다[3,4,13,14].

물건(또는 사람)을 대상으로 하는 물류보안에서는 센서네트워크 기반의 다양한 무선통신 인프라와, GPS, AOA(Angle Of Arrival), TOA(Time Of Arrival), TDOA (Time Difference Of Arrival), Cell-ID, Singer Print DB 방식, RSSI(Received Signal Strength Indication)를 이용한 위치추적 기술이 연구되고 있다[5,6]. 무선 센서네트워크 기반의 무선측위기술은 사람 및 사물추적, 모바일 자산관리, 보안 등을 위한 용도로 단일 감시대상체 중심의 거리오차보정을 위한 연구가 주류를 이루고 있지만 최근에는 여러 객체가 공존하는 환경에서 다수의 대상 객체를 동시에 감시하기 위한 연구에 관심이 증가하고 있다[2].

2.3 무인항공기 감시 기술

무인항공기는 조종사없이 반자동 혹은 자동으로 대기권내에서 일정기간 동안 주어진 임무를 자율적으로 수행하는 비행체를 말하며, 무인항공기를 이용한 감시기술은 비행체에 카메라, 센서, 무선통신장비등을 장착하여 대상지역의 영상정보와 상태정보를 실시간으로 지상관제국으로 전송하여 처리하는 구조를 지원한다[7].

무인항공기는 유인항공기에 비해 인명피해를 최소화시킬 수 있는 장점으로 인해 보다 위험하고 어려운 임무 수행에 적합하여 국방 및 치안분야에서 중점적으로 활용되며, 과학용 무인항공기들은 환경 모니터링, 기상 및 대기 데이터 수집, 해양학 데이터 수집, 농업 모니터링, 높은 고도에서의 지질학적 매핑 등에 활용하고 있다[8]. 특히, 사람의 직접적인 활동에 의한 정보수집 방법의 대안으로 무인항공기를 활용하여 관심지역에서 수집된 영상정보와 위치추적 정보를 비행체/지상체/수상이동체간에 실시간 전송할 수 있는 효과적인 감시보안 수단이 국방 분야, 치안분야 및 과학 분야를 포함한 복지 분야 등에서 절실히 요구되고 있다.

 

3. 영상정보 무선송수신

무인기의 안전운행을 위한 제어정보와 대용량 영상정보의 송수신을 위해 영상정보 무선전송 장치 설계 시 다음과 같은 요소를 고려하여야 하며, 본 절에서는 이를 고려한 영상정보 무선전송 장치의 설계규격과 함께 구현한 영상정보 무선전송 장치의 기능과 성능 측정치를 제시한다.

- HD(High Definition)급 고해상 영상 제공을 위한 높은 데이터 전송율

- 무인기의 고속비행에 의한 다중 경로 페이딩 및 도플러 확산에 따른 높은 비트 오류율을 해결하여 무선전송 성능을 개선할 수 있는 대역확산과 디지털 변복조

- 고속이동 환경하에서 무선채널상의 잡음 및 지연으로 인한 신호 왜곡과 오실레이터로 인한 주파수 및 위상 옵셋을 보정하기 위한 동기화

- 전송하는 영상정보에 대한 높은 신뢰성을 보장할 수 있는 채널코덱

- 영상정보 무선전송 장치의 이식성 및 적응성을 위하여 다양한 플랫폼에 보다 쉽게 통합할 수 있는 상하향 변환

- 적응성 확장을 위한 타 망과의 상호운용성을 보장할 수 있는 제어 채널

3.1 프레임 구조 및 시스템 파라미터

무인항공기를 이용한 영상정보 무선전송 장치는 고속 비행으로 인한 촬영환경의 변화를 극복할 수 있는 효과적인 영상정보의 고속 무선 송수신 기술이 요구되며, 지상체 및 항공기 탑재체로 구분된다. Table 1은 영상정보 무선송수신을 위한 무선접속 방식과 상호운용성 보장을 위한 제어 채널 제공을 위한 영상정보 무선전송 장치의 설계 규격을 보인 것이며, Fig. 1은 지상체 및 탑재체에서 운용되는 영상정보 무선전송 장치의 공통 기능 블록도를 보인 것이다.

Table 1.The Specification of Wireless Transmission Equip. for Video Transmission

Fig. 1.Block Diagram of Common Functions.

영상정보 무선전송 장치는 공통 웨이브폼 및 채널 코덱을 사용하여 송/수신단을 구성하고 운용하는 환경에 따라 적합한 시스템 파라미터를 적용하며, 전송신호는 전송모드에 따라 프레임 구조를 다르게 구성하게 된다. Fig. 2에서 보는 바와 같이 하향 8Mbps/4.416 Mbps 전송모드의 경우 동기채널, 헤더채널, TM(Tele-Metry)[9] 및 영상데이터[9]를 포함하는 데이터 채널로 구성되며, Fig. 3에서 보는 바와 같이 상향 76.8kbps/확산 76.8kbps 전송모드의 경우 동기 채널, 데이터 채널로 구성되어 확산 또는 비확산 방식으로 전송된다. Table 2는 전송모드에 따른 프레임 구조에 적용할 시스템 파라미터를 나타낸 것이다.

Fig. 2.Frame Structure for Down-link Transmission Mode of 8Mbps/4.416Mbps.

Fig. 3.Frame Structure for Uplink Transmission Mode of 76.8kbps/spread spectrum 76.8kbps.

Table 2.* CTC : Convolutional Turbo Code

3.2 영상정보 무선전송 장치 송/수신단

영상정보 무선전송 장치의 지상체와 탑재체의 각 송신단은 입력 데이터에 대해 FEC(Forward Error Correction), Symbol Mapper, π/4 Shifter, Upsam-pler 그리고 RRC filter를 이용하여 기저대역 송신신호를 생성하며, Up-converter를 통해 70MHz IF(Intermediate Frequency) 신호를 생성하여 전송한다. 지상체 송신단의 경우, 확산방식이 적용됨으로 확산기(Spreader)가 추가된다. Fig. 4와 Fig. 5는 영상정보 무선전송 장치의 지상체와 탑재체의 송신단 기능 블럭도를 나타낸 것이다.

Fig. 4.Function Diagram of UAV Attached Trans Module for Video Trans. Equip.

Fig. 5.Function Diagram of Ground Trans. Module for Video Trans. Equip.

영상정보 무선전송 장치의 지상체와 탑재체의 각 수신단은 Down-converter를 통해 70MHz IF(Intermediate Frequency) 신호를 모뎀에서 처리할 수 있도록 기저대역 신호로 변환하며, 수신신호에 대한 신호처리의 안정화를 위해 AGC(Automatic Gain Control)를 거쳐 PSK(Phase Shift Keying) 신호에 대한 심볼 추출 및 복조 기능을 수행하기 위한 주파수 및 타이밍 동기 기능을 수행한다. 마지막으로 복조된 심볼에 대해 CTC(Convolutional Turbo Code) 방식의 채널 디코딩을 수행하여 고품질로 데이터를 복호한다[10,11]. Fig. 6와 Fig. 7은 영상정보 무선전송 장치의 지상체와 탑재체의 수신단 기능 블럭을 보인 것이다.

Fig. 6.Function Diagram of UAV Attached Rec. Module for Video Trans. Equip.

Fig. 7.Function Diagram of Ground Rec. Module for Video Trans. Equip.

3.3 설계 규격 검증 및 성능 측정

영상정보 무선전송 장치의 전송 모드에 따른 전송 방식의 설계 규격을 검증하기 위해 전송대역폭, 설계상의 BER/PER(Bit Error Ratio/Packet Error Ratio) 성능과 요구 SNR(Signal-Noise Ratio)을 분석하였고, 실제 구현한 전송장치 시험을 통해 성능 오차를 도출하였다. 전송대역폭 검증은 스펙트럼 분석기를 이용하여 전송속도 8Mbps, 4.416Mbps, 협대역 76.8 kbps(Tm/Tc), 확산 76.8kbps에 대하여 Table 2의 프레임 구조 파라미터 설계 목표인 전송 신호의 대역폭을 확인함으로써 전송 대역폭 측면에서 전송 규격을 만족함을 검증하였다.

BER 성능 분석 및 요구 SNR 분석은 BER 성능목표인 1.0e-5을 만족하는 SNR을 도출하기 위한 것으로 설계과정에서의 모의시험을 통하여 검증하였다. Table 3은 영상정보 무선전송 장치의 AWGN(Additive White Gaussian Noise) 잡음환경 하에서 1.0e-5의 BER에 대한 요구 SNR을 나타낸 것이다. Fig. 8과 Fig. 9는 비확산 모드(8Mbps, 4.416Mbps, 76.8kbps)의 3종류 웨이브폼에 대한 BER 성능과 PER 성능을 각각 측정한 것이다.

Table 3.Required SNR(BER=1.0e-5)

Fig. 8.BER for non-Spread Spectrum Mode.

Fig. 9.Measured PER.

PER 성능 분석 및 요구 SNR 분석은 PER 성능목표인 PER < 5% 이하를 만족하는 SNR을 도출하기 위한 것으로 설계과정에서의 모의시험을 통하여 검증하였다. 실제 구현한 무선전송 장치의 성능분석을 위해 전기적/물리적 장비 오차, 제작된 RF(Radio Frequency)에 대한 튜닝 또는 주파수 특성 상의 오차 및 기타 오차 등의 시험 오차를 감안하여 SNR Margin을 3dB로 두고 PER 성능을 분석하였으며, Table 4는 설계 과정에서의 요구 SNR 및 구현한 무선전송 장치의 전송모드별 SNR 측정결과를 나타낸 것이다.

Table 4.Req. SNR vs Measured SNR(PER=0.05)

 

4. 촬영지역 위치추적을 위한 실시간 위치 분석

무인항공기에 장착된 카메라를 통해 획득되는 영상정보는 촬영방향과 비행체의 운항 방향의 차이로 인해 촬영지역의 위치정보를 실시간 파악에 어려움이 있다. 비행체의 위치정보, 예측지점과의 거리, 예측 지점과의 방위각을 기반으로 위치정보를 산출하는 실시간 위치분석(RTPA: Real-Time Positioning Analysis) 기법은 비행체의 높이, 위치 및 방향, 동체기울기, 비행체에 장착된 카메라의 장착방향 및 기울기를 기반으로 위치 및 상태정보를 Vincenty Direct Formula[12]를 적용하여 비행체에 장착한 카메라로부터 획득한 영상정보의 촬영지역을 예측한다. Fig. 10은 PTZ 카메라와 항법정보, GPS 위치정보를 활용하여 효과적인 영상정보 무선전송을 위한 실시간 위치분석의 개괄적인 절차를 보인 것으로 본 논문에서는 무인항공기에 장착된 PTZ(PAN/Tilt/Zoom) 카메라 정보와 촬영지역의 지형정보 등을 기반으로 촬영지역을 예측하고, 산출된 예측위치를 실제위치로 변환하는 연산기법을 제안한다.

Fig. 10.Flow Chart of Real-Time Positioning Analysis.

4.1 영상촬영지역 실시간 위치 예측

무인항공기가 촬영하는 지역의 위치정보는 비행체의 고도, 기울기, GPS 위치정보를 기반으로 비행체에 장착된 카메라의 방향과 기울기(PTZ) 등을 추가로 반영하여 위치 및 상태정보를 수집하여야 한다. 이를 기반으로 Vincenty Direct Fomula[12]를 이용하여 획득한 비행체의 위치정보와 예측지점과의 거리 및 방위각을 적용하여 촬영대상 지역의 위치정보를 산출할 수 있다.

비행체 GPS 위치와 카메라 촬영지역 중심부 GPS 위치간의 거리(d1)는 식 (1)을 이용하여 구할 수 있으며, 촬영지역 중심부 GPS 위치정보는 비행체 GPS 값과 거리, 방위각을 사용하여 Vincenty Direct Formula를 기반으로 식 (2)를 이용하여 산출할 수 있다.

식 (3), 식 (4), 식 (5), 식 (6)은 위의 방법으로 비행체 GPS 위치와 카메라 촬영지역 하부/상부 GPS 위치간의 거리(d2/d3)와, Vincenty Direct Formula를 이용하여 GPS 위치정보를 산출하는 수식을 나타낸 것이다. Fig. 11의 ImageH의 길이는 d1/d2/d3의 길이를 통해 계산할 수 있다.

Fig. 11.Estimation of Shooting Area Length(up/center/low) using GPS Information.

식 (1)에서 식 (6)까지의 과정을 이용하여 Fig. 12의 ImageW(Pan: 카메라의 좌우)와 ImageH(Tilt: 카메라의 기울기) 길이를 계산할 수 있으며, 식 (7)을 이용하여 Pan/Tilt의 영향으로 인한 방위각을 산출할 수 있다. 식 (8)은 식 (1)에서 식 (7)의 과정을 통하여 계산한 카메라의 Pan/Tilt에 의한 촬영거리와 방위각을 이용하여 CamGPS를 벡터 연산함으로써 실제 촬영지역의 GPS 값을 산출하는 수식을 보인 것이다.

Fig. 12.GPS Value Calculation of Shooting Area Considering Pan/Tilt.

무인항공기에 장착된 카메라의 영상비율에 의해 촬영영상의 가로와 세로 길이가 다를 경우, 식 (1)~식 (8)을 통하여 산출한 거리를 보정하기 위해 각각의 화각을 도출하여야 한다. Fig. 13의 Distance는 무인항공기로부터 촬영지역의 중간지점까지의 거리를 의미하며, 촬영지역의 가로, 세로 길이에 대한 화각은 식 (9)와 식 (10)을 통하여 구할 수 있다. 산출된 촬영지역의 가로, 세로 길이를 이용하여 촬영지역 면적을 구할 수 있으며, 이를 기반으로 유효영상을 얻기 위한 무인항공기의 운항경로 결정과 특정지역의 촬영가능 여부를 사전에 판단할 수 있어 무인항공기의 실시간 원격 운항제어에 활용할 수 있다.

Fig. 13.Camera Angle Calculation by Video Image Ratio.

4.2 실시간 위치분석 검증 및 성능 측정

본 논문에서 제안한 촬영지역 위치추적을 위한 RTPA 기법의 검증을 위하여 Fig. 14와 같은 검증환경을 구축하였다. 무인항공기의 역할을 수행하기 위하여 쿼드코터를 사용하고, 카메라의 위치 및 상태정보의 획득을 위해 안드로이드 스마트 폰을 사용하였으며 PTZ 카메라를 지면과 수평을 이루어질 수 있도록 항공 촬영용 짐벌을 쿼드코터에 장착하여 촬영지역의 환경에 따라 급격하게 변할 수 있는 쿼드코터의 기울기 정보를 배제할 수 있도록 하였다. 또한, 안드로이드 스마트 폰에서 촬영한 영상과 위치 및 상태정보를 수집하여 전송하기 위한 안드로이드 어플리케이션과 지상관제 시뮬레이터를 구현하였다.

Fig. 14.Test Environment for Real-Time Positioning Analysis.

쿼드코터에 장착된 스마트 폰의 카메라와 GPS 및 자이로 센서를 이용하여 획득한 영상, 위치, 및 상태정보는 이동통신망을 통해 지상관제 시뮬레이터로 실시간 전송하고, 수신된 영상 및 상태정보를 활용하여 촬영지역을 예측하였다. RTPA 기법의 성능측정을 위해 서로 다른 3곳의 촬영장소에서 쿼드코터를 이용하여 촬영한 영상, 위치 및 상태정보를 검증환경을 통하여 획득하고, 획득한 데이터를 기반으로 촬영위치를 실제로 측정하였다.

RTPA 기법을 통해 산출된 예측 값과 실제 측정된 값의 비교를 위해 실제 촬영영상에서 중점의 위치를 실측하여 촬영위치와의 오차를 산출하였다. Fig. 15에서 보인 바와 같이 촬영지역 중점의 실제 위치와 제안한 기법의 예측 위치의 오차거리는 각각 1.188/0.394/0.555 meter이며, 오차율은 각각 9.15%, 6.07%, 3.31%로 평균 오차율이 6.18%임을 확인하였다.

Fig. 15.Analysis of Distance Difference between Actual and Calculated Shooting Area.

 

5. 결 론

카메라를 이용한 영상감시 시스템은 교통, 운송, 도난, 화재 등 다양한 분야에서 사용되고 있으나, 제한적인 카메라의 위치와 높이로 인한 유효 영상정보 획득의 한계를 극복하고, 보다 광범위한 지역에서의 안전한 감시를 위해 무인항공기를 이용한 감시보안 기술개발 경쟁이 나날이 치열해지고 있다. 본 논문에서는 무선전송 채널환경이 열악한 고속이동 환경에서 영상정보와 관측데이터를 One-on-One, Many-on-One, One-on-Many, Over the Horizon 등의 다양한 무선네트워킹에 접속하여 원격지 전송이 가능한 무선송수신 기술과, 보다 의미있는 영상정보 제공에 필요한 촬영지역의 실시간 위치분석 기법을 제시하였다.

영상정보 무선전송 장치의 탑재체/지상체 송수신단을 위한 전송프레임 구조 및 시스템 파라미터와, 주요 시험 결과를 제시하였다. 주요 시험 결과에서 스펙트럼 도시를 통해 전송 신호에 대한 설계 규격을 검증하였으며, BER 분석과 PER 성능을 분석하였다. PER 성능 분석은 설계과정에서의 모의시험 결과와 구현한 전송장치 시험 결과를 구현 Margin 3dB를 고려하여 비교하였으며, PER < 5% 조건을 만족하는 SNR[dB]을 도출하였다.

또한, 효과적인 영상정보를 획득하기 위하여 촬영지역 위치추적을 위한 실시간 위치분석 기법을 제시하였다. 촬영 지역을 예측하고 실제 위치와의 오차를 분석하기 위해 쿼드코터와 카메라, GPS 및 측위장비 등으로 시험환경을 구축하여 서로 다른 3곳의 촬영지역을 대상으로 중심거리를 측정한 결과 평균 6.18%의 오차율이 있음을 확인하였으며, 실제 무인항공기의 경로제어에 적용할 수 있는 가능성을 확인하였다

향후 무인항공기의 다양한 촬영환경 변화를 극복하고 보다 정확한 영상정보 획득을 위하여 초고화질 영상정보를 오류없이 원격지로 무선전송하기 위한 송수신 기술과, 영상분석을 통한 단일/다중 이동물체 실시간 경로 추적, 위치추적 정밀도를 높이기 위한 3D 맵 연동, 촬영지역 지표면 고도 등을 고려한 실시간 위치예측 오차율 저감을 위한 연구를 지속적으로 진행할 예정이다.