무인기 탑재 열화상(IR) 센서의 농작물 대상 최적 활용 방안 연구

A Study on the Best Applicationsof Infra-Red(IR) Sensors Mounted on the Unmanned Aerial Vehicles(UAV) in Agricultural Crops Field

Abstract

Thermal sensors, also called thermal infrared wavelength sensors, measure temperature based on the intensity of infrared signals that reach the sensor. The infrared signals recognized by the sensor include infrared wavelength(0.7~3.0㎛) and radiant infrared wavelength(3.0~100㎛). Infrared(IR) wavelengths are divided into five bands: near infrared(NIR), shortwave infrared(SWIR), midwave infrared(MWIR), longwave infrared(LWIR), and far infrared(FIR). Most thermal sensors use the LWIR to capture images. Thermal sensors measure the temperature of the target in a non-contact manner, and the data can be affected by the sensor's viewing angle between the target and the sensor, the amount of atmospheric water vapor (humidity), air temperature, and ground conditions. In this study, the characteristics of three thermal imaging sensor models that are widely used for observation using unmanned aerial vehicles were evaluated, and the optimal application field was determined.

1. 서론

최근 무인비행장치(드론)와 ICT 기술의 융합 기술 발전에 힘입어 농업 분야에서도 많은 변화와 혁신이 추구되고 있다.

열적외선 영상은 온도의 변화에 따라 Hot Mapping, Cool Mapping, Rainbow Mapping을 하며, 열적외선 이미지의 명암대비 기능 파악을 위해 히스토그램 영상처리 기법을 사용하며, 물체의 구분을 위해서 열적외선 이미지의 에지 부분을 추출하는 등의 방법들이 활용되고 있다.

열화상은 보안시장에서 특히 주목받고 있다. 코로나19로 인한 비대면·비접촉에 대한 필요성이 증가하면서, 생체인식과 출입통제 솔루션에 대한 관심도 이어지고 있다. 세계 열화상(적외선 이미징) 시장 규모는 2022년 65억 달러에 달했다. IMARC Group은 2023년부터 2028년까지 6.7%의 연평균 성장률(CAGR)을 나타내고, 2028년까지 97억 달러에 달할 것이라고 예측했다[3]. 군용 적외선 카메라 기술의 발전이 시장 성장을 가속하는 중요한 요인 중 하나이다.

열적외선영상(Infrared Thermal Imaging; 이하 ‘열화상’이라 함)은 물체에서 방출되는 열을 감지하여 이를 온도로 변환한 영상(이미지)으로서, 물체의 온도 분포를 색으로 나타내어 표현한다. 일반적으로 빨간색은 높은 온도, 파란색은 낮은 온도를 나타낸다[1].

열화상 기술은 다양한 분야에 활용되고 있다. 본 논문에서는 토양 및 식생의 상태 조사에 적용하여, 토양의 수분, 영양분, pH 등의 상태 파악 및 식물의 생장 상태나 질병 여부 등을 판단할 수 있다[2]. 그러나 열화상 기술은 물체의 표면 온도를 측정하는 것이므로, 토양 내부의 상태를 직접적으로 파악하기는 어렵다.

열적외 파장센서라고도 불리는 열화상 센서는 센서에 도달하는 적외선 신호의 강도를 기반으로 온도를 측정한다. 센서가 인식하는 적외선 신호는 적외선 파장(0.7∼3.0㎛)과 방사 적외선 파장(3.0∼100㎛)을 포함한다. 적외선(Infra-Red, IR) 파장은 근적외선(NIR), 단파적외선(SWIR), 중파적 외선(MWIR), 장파적외선(LWIR), 원적외선(FIR) 등 5개의 밴드로 나뉜다. 대부분의 열화상 센서는 장파적외선(LWIR)을 사용하여 이미지를 촬영한다.

열화상 센서는 목표물의 온도를 비접촉방식으로 객체 표면을 측정하는데, 비접촉방식 온도 측정은 목표물과 센서 사이의 센서의 관측각, 대기 수증기량(습도), 대기온도 지면의 조건 등의 환경에 데이터가 좌우될 수 있다.

넓은 지역에 대해 열적외선의 상대적 측정값의 변화가 적도록 빠른 시간안에 측정할 수 있도록 고정익 및 회전익 드론에 열적외선 카메라를 탑재하여 활용하는 방법이 적용되고 있다[4]. 본 연구에서는 무인항공기를 활용한 관측용으로 많이 사용되고 있는 3개의 열화상 센서 모델에 대해 특성 평가를 수행하였으며, 이를 통하여 최적의 활용분야를 결과 도출하고자 하였다.

2. 열적외선

절대영도(0K) 이상의 물질 입자는 무작위한 방향으로 운동한다. 이로 인해 발생하는 운동에너지와 이를 측정하는 운동온도(Kinetic Temperature: Tkin)가 방사에너지로 발현되는데, 이를 방사온도(Radiant Temperature: Trad)라고 한다. 이 방사온도는 열방사율(Emissivity: ε)에 좌우된다. 열방사율은 물질이 갖고 있는 입자들의 운동에너지를 열복사 형태로 에너지로 방출하는 척도로 0.0에서 1.0 사이의 값으로 표현된다. 방사온도와 운동온도는 비례관계를 갖지만, 열방사율로 인해 열화상 센서로 측정한 온도는 실제 온도보다 낮게 나타난다[5].

\(\begin{align}T _ { r a d } = \epsilon { } ^ { 1 / 4 } T ^ { k i n }\end{align}\)

이상적인 흑체(ε=1.0)는 스테판-볼츠만(Stefan-Boltzmann) 법칙에 따라 단위 면적당 복사에너지는 절대 온도(K)의 4제곱에 비례한다[6]. 즉,

j^* = σT⁴

여기서, j^*: 흑체 표면의 단위 면적당 복사 에너지, T: 절대온도(K).

\(\begin{align}\left. \begin{array} { l }{ \sigma ( \text { 스테판-볼츠만상수 } ) = \frac { 2 \pi ^ { 5 } k ^ { 4 } } { 15 c ^ { 2 } h ^ { 3 } } } \\ { = 5.670400 ( 40 ) \times 10 ^ { - 8 } Wm ^ { - 2 } K ^ { - 4 } } \end{array} \right. \end{align}\)

대부분의 물질은 이상적인 흑체의 열방사율에 비해 낮으므로, 스테판-볼츠만 법칙에 열방사율을 포함시키도록 유도한다. 대부분의 물질은 조사된 열에너지의 일부를 흡수하는데, 이를 열흡수율(Absorptivity: α)이라 한다. 일정한 온도에서 같은 파장의 복사에 대한 물체의 흡수능력과 반사능력의 비는 물체의 성질에 관계없이 일정하다(α=ε). 따라서 Kirchhoff의 열복사 법칙에 따라 다음과 같이 열역학 제1법칙 수식을 표현할 수 있다. 즉,

\(\begin{align}1 = r _ { \lambda } + \alpha _ { \lambda } + \tau _ { \lambda } \Rightarrow 1 = \gamma _ { \lambda } + \epsilon _ { \lambda } + \tau _ { \lambda }\end{align}\)

여기서, γ_λ = 열반사율, α_λ = 열흡수율, 𝜖_λ = 열방사율, τ_λ = 열투과율

대부분의 물질은 불투명하므로, 열투과율을 0으로 간주하게 되며, 이때 최종적으로 열반사율과 열방사율의 합은 1이 된다(1 = γ_λ + 𝜖_λ). 따라서 열반사율이 높은 물질은 낮은 열방사율을 갖게 되고, 그 반대되는 관계 또한 성립된다. 실제 같은 운동온도를 갖고 있는 두 물질이 서로 다른 온도로 측정될 수 있음을 의미한다. 각각의 물질은 서로 다른 열방사율을 갖는다. 물질의 열방사율은 Table 1과 같다.

Table 1. Emissivity based on materials

열화상 센서는 센서에 도달하는 적외선 신호의 강도를 기반으로 온도를 측정한다. 따라서 열화상 센서는 열적외파장 센서라고도 한다. 센서가 인식하는 적외선 신호는 적외선 파장(0.7~3.0㎛)과 방사 적외선 파장(3.0~100㎛)을 포함한다.

Fig. 1에 도시한 바와 같이 적외선(Infrared, IR) 파장은 파장대별로 근적외선(NIR), 단파적외선(SWIR), 중파적외선(MWIR), 장파적외선(LWIR), 원적외선(FIR) 등 5개의 밴드로 나눠지며, Table 2와 같은 특성을 갖는다. 대부분의 열화상 센서는 장파적외선(LWIR)을 사용하여 이미지를 촬영한다[7].

Fig. 1 Spectrum of EM wave

Table 2. Composition and temperature band characteristics of infrared

Fig. 2 Environmental considerations for thermal sensor operation

3. 열화상 센서 선정

본 연구에서 무인항공기를 활용한 관측용으로 많이 사용되고 있는 3개의 열화상 센서 모델을 아래와 같이 선정하여 Table 3과 같이 성능을 비교하였다.

Table 3. Comparison of specifications for thermal sensors

무인항공기는 크게 고정익 무인항공기와 회전익 무인항공기로 구분할 수 있다. 고정익 무인항공기는 체공 시간이 길어서 넓은 지역을 한 번의 비행으로 촬영할 수 있지만 정지 비행할 수 없으며 이착륙을 위한 별도의 활주 공간이 필요한 단점이 있다. 반면, 회전익 무인항공기는 비행시간이 짧아 한 번의 비행으로 넓은 지역을 촬영할 수 없지만, 수직이착륙과 정지 비행이 가능하다.

고정익 드론에 탑재되는 열화상 센서는 VUE PRO R(Table 4)을 기본으로 사용하였으며, MicaSense사의 ALTUM(Table 5)을 추가로 활용했다. ALTUM은 다분광센서로서 열화상 센서도 함께 탑재하고 있어 범용성이 뛰어나 채택하였다.

Table 4. Thermal Sensor FLIR VUE PRO R Characteristics[8]

Table 5. Thermal Sensor ALTUM Characteristics[9]

4. 열화상 센서 운용 특성 평가

본 연구에서는 열화상의 운용 특성 평가를 위해 작물 상태 분석에 열화상 이미지를 활용하였다. 작물의 온도 조절은 주로 증산작용으로 인한 수분 증발로 인해 이루어진다. 따라서, 물 부족 상태와 높은 방사 조도 하에 있는 작물은 작물의 신진대사에 최적인 온도 그 이상 혹은 잎 조직에 되돌릴 수 없는 산화스트레스를 줄 수 있는 위험에 놓이게 된다. 이때 잎의 온도는 열복사, 대기 상태(시각, 맑으면 정도, 기온, 풍속), 토양 상태(토양 종류, 토양이 함유한 습도 등) 등이 복합적으로 작용한다. 기공 저항(Stomatal Resistance)과 잎 온도는 잎 에너지 균형 방정식을 통해 아래의 식과 같이 정리할 수 있다. 기공 저항은 식물의 기공을 통해 수증기나 이산화탄소가 확산하는 것을 억제하는 저항을 의미하는데, 기공이 열리는 정도에 따라 달라지며, 수증기의 경우 기공이 열린 상태에서는 1∼2s/㎝의 값을 보인다. 분자의 확산 속도는 기체 밀도의 제곱근에 비례하므로, 이산화탄소의 1.56배가 된다[10-11].

\(\begin{align}T _ { \text { leaf } } - T _ { \text { air } } = [ r _ { H R } ( r _ { a w } + r _ { s } ) \gamma R _ { n i } - \rho c _ { p } r _ { H R } V P D ] \div [ \rho c _ { p } \{ \gamma ( r _ { a w } + r _ { s } + s r _ { H R } \}\end{align}\)

T_leaf: 잎의 온도 (K)

T_air: 기온 (K)

γ: 사이코메트리 상수 (PaK^-1)

ρ: 대기의 밀도 (kgm^-3)

s: 물의 증기압 포화 곡선의 기울기

r_HR: 열과 복사율에 대한 평행 저항

r_aw: 물 증발에 대한 경계면 저항

R_ni: 잎에 대한 순 열복사

c_p: 대기의 비열 (Jkg^-1 K^-1)

VPD: 수증기 압력 차

열화상 센서의 특성을 규명하고 최적의 비행 조건을 제시하기 위해 무인항공기를 활용하여 농작물과 반사율 기준판(Reference Tarp)을 촬영하며, 목표물을 식별할 수 있는 고도 등을 판별하였다.

5. 열화상 센서의 특성 평가 결과

5.1 고정익 무인항공기

고정익 무인항공기에 탑재한 열화상 센서의 결과물 정사영상들은 다음과 같다. 열화상 센서는 낮은 해상도를 갖고 있어 고도의 변화에 따른 열화상 이미지의 해상도 차이가 현저한 것으로 파악된다. 따라서, 촬영 고도에 따라 결과물의 농경지 식별 가능 수준 또한 현격한 차이가 있는 것으로 보인다.

높은 고도에서의 촬영은 다소 연장된 촬영 간격을 허용하며 또한 글로벌 셔터 방식의 ALTUM 센서의 특성상 15~16m/s의 속도에서도 안정된 열화상 이미지를 얻을 수 있었다. 다만, 150m 이상의 고도에서는 급격한 화질 저하가 일어나 촬영 결과물이 다소 불명확한 것을 확인할 수 있었다.

실험 결과, Fig. 3과 같이 고정익 무인항공기에 탑재한 열화상 센서 운영 시, 120m의 고도에서 15~16m/s의 속도로 종-횡 중첩률 80%로 환경 설정하여 운영하는 것이 가장 고품질의 정사영상 결과물을 얻을 수 있었다[12-13].

Fig. 3 Orthomosaic of thermal images

5.2 회전익 무인항공기(FLIR VUE PRO R)

다양한 촬영 조건을 적용하여 테스트 비행을 진행한 결과, 다음과 같은 정사영상 결과물을 얻을 수 있었다.

Fig. 4 Thermal orthomosaic based on overlap rate

열화상 센서는 일반 RGB 광학센서와는 달리 낮은 해상도를 가지며, 열적외선 센서는 센서에 대한 반응시간을 기준으로 이미지를 획득하기 때문에 RGB 광학 촬영보다 긴 노출 시간을 갖는다. 따라서 느린 속도(4m/s 이하)로 비행해야 픽셀의 번짐 현상을 예방할 수 있으며 중첩률을 확보할 수 있다는 것을 확인했다.

열방사(Emissivity)의 경우 0.7에서부터 0.95까지 설정하여 작성한 정사영상을 비교한 결과, 뚜렷한 차이를 발견하지 못하였다. 작물 관측의 경우, 일반적으로 0.95~ 0.96을 권장하고 있기에 0.96의 방출율을 적용하여 촬영하였다.

한편, 고도 60m, 속도 5m/s 조건에서 중첩률 80% 이상부터는 정사영상 품질의 개선 효과가 미미한 것으로 판단된다[12].

Table 6. Comparison of Orthomosaic Images

정사영상을 위해 촬영된 일련의 이미지 사이에 밝기의 변화가 극적으로 발생하는 것이 관측되었다. 이것은 센서의 자동이득보정(AGC)을 통한 Histogram Equalization의 결과로써, 온도가 높은 지역과 낮은 지역 사이의 현저한 대비로 인해 발생하는 것이다. 따라서 촬영 지역의 열방사 분포를 파악하기 위해서는 AGC 제어 메뉴를 Default로 설정하여 촬영하는 것이 향상된 품질의 결과물을 얻을 수 있다[13].

Fig. 5 Difference between thermal image temperature and actual temperature based on conditions

Fig. 6 Thermal images taken at 9:00 a.m. and 10:00 a.m.

온도 반응의 기준이 되는 열반사 타프와 흑체를 대상으로 한 비행 실험에서 열화상센서는 비교적 정확한 온도 데이터를 획득하는 것으로 관찰되며 열화상센서의 온도 분포 관련 데이터는 신뢰할 수 있는 것으로 판단된다.

대상체의 온도가 주변 온도와 비슷하거나 전체적으로 온도가 낮은 새벽 혹은 아침의 농지 혹은 농작물을 대상으로 한 촬영은 정확하지 않은 결과물을 출력할 수 있다. 이는 주변의 온도와 비슷한 상태에서 흡사한 열적외선 파장을 방사하기 때문이며 이를 근간으로 이미지를 생성하는 열화상 센서는 목표물의 식별이 불가능해지며 이는 목표물 간의 경계선 구분이 명확해지지 않는다. 농작물을 대상으로 한 열화상 센서 촬영은 기온이 상승하고 식물의 증산작용이 어느 정도 활발히 이루어지는 시간대인 오전 10시 이후부터 오후 3시 이전이 정사영상 획득에 유리한 조건임을 의미한다.

6. 결론

무인기의 기술적 발달 및 보급이 확대됨에 따라 수집된 영상의 전처리·활용성이 증대되고 있다. 다양한 수요자에 의해 영상이 수집되지만, 서로 다른 취득 방법과 센서의 차이로 인해 정보의 정확성, 신뢰성이 낮을 수 있다.

열화상 센서는 일반 광학센서와는 달리 낮은 해상도를 가지므로 느린 속도로 비행하여야 픽셀의 번짐 현상을 예방할 수 있으며 중복도를 확보할 수 있다. 한편, 고도 60m, 속도 5m/s 조건에서 중첩률 80% 이상부터는 정사영상 품질의 개선 효과가 미미한 것으로 판단된다.

정사영상을 위해 촬영된 일련의 이미지 사이에 밝기의 변화가 극적으로 발생하는 것이 관측되는 경우가 있는데, 이것은 센서의 자동이득보정을 통한 Histogram Equalization의 결과로써, 온도가 높은 지역과 낮은 지역 사이의 현저한 대비로 인해 발생하는 것이다. 따라서 촬영 지역의 열방사 분포를 파악하기 위해서는 AGC 제어 메뉴를 Default로 설정하여 촬영하는 것이 향상된 품질의 결과물을 얻을 수 있다.

온도가 낮은 새벽 혹은 아침의 농지 혹은 농작물을 대상으로 한 촬영은 정확하지 않은 결과물을 출력할 수 있다. 이는 주변의 온도와 비슷한 상태에서 흡사한 열적외선 파장을 방사하기 때문이며 이를 근간으로 이미지를 생성하는 열화상 센서는 목표물의 식별이 불가능해지며 이는 목표물 간의 경계선 구분이 명확해지지 않는다. 농작물을 대상으로 한 열화상 센서 촬영은 기온이 상승하고 식물의 증산작용이 어느 정도 활발히 이루어지는 시간대인 오전 10시 이후부터 오후 3시 이전이 정사영상 획득에 유리한 조건임을 확인하였다. 따라서 열화상 센서는 대상물에 맞는 환경조건을 갖춰야 최적의 결과를 도출할 수 있다.

감사의 글

본 연구는 국토교통부/국토교통과학기술진흥원의 지원으로 수행되었음(스마트 건설기술 개발사업: 23SMIP-A158708-04).