Management Software Development of Hyper Spectral Image Data for Deep Learning Training

딥러닝 학습을 위한 초분광 영상 데이터 관리 소프트웨어 개발

Abstract

The hyper-spectral image is data obtained by dividing the electromagnetic wave band in the infrared region into hundreds of wavelengths. It is used to find or classify objects in various fields. Recently, deep learning classification method has been attracting attention. In order to use hyper-spectral image data as deep learning training data, a processing technique is required compared to conventional visible light image data. To solve this problem, we developed a software that selects specific wavelength images from the hyper-spectral data cube and performs the ground truth task. We also developed software to manage data including environmental information. This paper describes the configuration and function of the software.

초분광 영상은 적외선 영역의 전자기파 대역을 수백 개의 파장으로 나누어 영상화한 데이터로 다양한 분야에서 물체를 찾거나 분류하는 것에 활용된다. 최근에는 딥러닝을 사용하여 분류하는 방법이 주목받고 있지만 초분광 영상 데이터의 특성으로 인해 초분광 영상을 학습 데이터로 사용하기 위해서는 기존의 가시광 영상과는 다른 처리 기법이 필요하다. 이를 위해 초분광 큐브에서 특정 파장의 영상을 선택하여 Ground Truth 작업을 수행하고 환경정보를 포함하여 데이터를 관리하는 소프트웨어를 개발하였다. 본 논문에서는 해당 소프트웨어의 구성과 기능에 대하여 설명한다.

Ⅰ. 서론

초분광 영상은 가시광선 영역에서 적외선 영역까지 의전 자기파 대역을 수백 개의 파장으로 나누어 영상화한 데이터를 의미한다. 나누어진 파장 별 영상들을 효율적으로 관리하기 위해 각 영상 데이터를 합쳐 데이터 큐브형태로 구성하고 이를 초분광 큐브라고 한다. 초분광 영상 데이터는 물체의 색, 형태 정보만 획득 가능한 가시광 영상과는 다르게 물체의 분광 정보를 분석하여 물체의 재질 분석이 가능하다는 장점이 있다. 이러한 특성을 이용하여 국방, 의료, 안전, 농업 등 다양한 분야에서 물체를 찾거나 분류하는 연구에 활용된다^{[1, 2, 3, 8]}. 예를 들어농산물 종자의 발아 여부를 확인하는 연구^{[4, 9, 10]}와 약품 계열에 따라 분광 스펙트럼이 상이하게 나타나는 점을 이용한 초분광 영상을 활용한 약품 분류 연구가 있다^[5].

초분광 영상을 활용한 분류 기법은 전통적인 영상처리기법부터 딥러닝까지 다양한 방법들이 있다. 최근에는 초분광 영상 데이터를 학습 데이터로 사용한 딥러닝이 좋은 결과를 보인다^[6]. 딥러닝 학습을 위해서는 영상 내 목표 물체에 대한 Ground Truth 작업이 완료된 대용량의 데이터 셋이 필요하다. 초분광 영상은 가시광 영상과 다르게 데이터 형태가 큐브 형태이고 물체의 온도 및 대기 온도에 따라 큰 영향을 받는 특성을 가진다^[7]. 따라서 기존의 가시광 영상 데이터 셋 생성에 사용한 Ground Truth 툴과 데이터 관리 기법을 초분광 영상 데이터 셋 생성에 그대로 사용하는 것은 부적절하다. 이를 해결하기 위해 초분광 큐브 데이터를 입력으로 사용하는 Ground Truth 툴과 환경정보를 포함하는 데이터 관리소프트웨어를 개발하였다. 본 논문에서는 해당 소프트웨어의 구성과 기능에 대하여 설명한다.

Ⅱ. 본문

1. 초분광 영상 데이터의 특징을 반영한 기능

앞서 설명한 것과 같이 초분광 영상 데이터는 구조와 특징이 가시광 영상과 다르다. 따라서 초분광 영상 데이터를 딥러닝 학습 데이터 셋으로 사용하고자 한다면 기존의 가시광 영상 데이터 관리 소프트웨어에 추가적인 기능이 필요하다.

첫 번째로 Ground Truth 작업 시 작업자가 파장별 영상을 선택하여 작업하는 기능이 필요하다. 초분광 큐브 데이터는 파장 영역을 나누어 영상화한 데이터의 집합인데 기상 환경, 표적 물체의 종류 등에 따라 파장 영역별로 영상화된 품질이 다르다. 예를 들어 강우 환경에서 획득한 데이터의 경우 대기 환경에 영향을 크게 받는 MWIR(mid wave infrared) 대역의 영상은 영상 내 노이즈가 발생하여 품질이 좋지 못하지만 물체에 반사된 에너지를 사용하는 SWIR(short wave infrared) 대역은 상대적으로 좋은 품질의 영상을 획득할 수 있다. 이와 비슷하게 물체의 재질에 따라 특정 대역의 영상에서 영상 내 물체의 가시성이 상대적으로 더 좋아져 해당 물체의 위치 정보를 더 정확하게 획득할 수도 있다. 이러한 특징을 고려하여 초분광 영상 데이터에 Ground Truth 작업을 수행할 경우 가시광 영상에서 작업하는 것과는 달리 영상의 품질이 좋은 대역의 데이터를 선택하여 작업할 수 있도록 하는 것이 신뢰성 높은 Ground Truth 획득을 위해 필요하다.

2. 관리 데이터 종류 및 전처리 방법

본 장에서는 개발한 소프트웨어에서 관리하는 초분광 영상 데이터와 환경정보들의 전처리 및 획득 방법에 대하여 설명한다. 또한 데이터 관리의 편의를 위해 초분광 영상 데이터와 환경정보들을 합쳐 생성한 Bon 파일에 대하여 설명한다.

가. 초분광 영상 데이터

초분광 영상 데이터는 데이터 획득에 사용한 장비의 제조사들에 따라 각각 다른 저장 형식들이 존재한다. 일부 제조사들은 저장 형식의 내부 구조에 대해 공개하지 않았다. 또한 개발한 소프트웨어에서 모든 제조사들의 저장 형식들에 맞추는 것은 어렵기 때문에 데이터 관리소프트웨어에 입력되는 데이터가 일반화되도록 획득한 초분광 영상 데이터에 전처리 과정을 수행하였다. 전처리 과정에서 초분광 큐브 데이터는 binary 파일로 따로 저장하였고 추가 헤더로 사용될 장비명, 획득 시간 등의 필요 정보들을 선별하여 csv 형식으로 저장하였다.

그림 1. 초분광 영상 데이터

Fig. 1. Hyper-Spectral Image Data

나. 환경정보

환경정보로는 미세먼지, 대기 온도, 강수량, 운량, 태양고도, 촬영 장소, 표적 온도를 획득하였다. 이중 미세먼지, 대기 온도, 표적 온도는 보유하고 있는 센서를 사용하여 데이터를 획득하였고 획득한 데이터를 csv 또는 txt 형식으로 저장하여 데이터 관리 소프트웨어에서 입력받을 수 있도록 하였다. 강수량, 운량, 태양고도와 같은 데이터는 정부 기관에서 관리하는 기상청, 생활천문관 사이트에 데이터 획득을 수행한 장소, 시간 값을 입력하고 적절한 정보를 획득하였다. 마찬가지로 csv 또는 txt 형식으로 저장하여 데이터 관리 소프트웨어에서 입력되도록 하였다. 입력된 환경정보는 대부분 그대로 사용되지만 날씨 데이터를 생성하기 위해 입력받은 강수량과 운량 정보는 데이터 값의 크기에 따라 정량적인 날씨 정보로 변환하여 데이터베이스에 저장한다.

다. Bon 파일

Bon 파일은 초분광 영상 데이터를 기준으로 해당하는 Ground Truth 라벨 그리고 환경정보들을 합친 최종 데이터 형식이다. 제안하는 데이터 관리 소프트웨어는 초분광 영상 데이터들과 1:1 대응하는 Bon 파일들을 생성하고 데이터베이스에서 조건에 따라 검색하여 원하는 Bon 파일들을 식별하여 해당 파일들을 획득할 수 있도록 한다.

Bon 파일의 구조는 그림2와 같이 영상 크기, 영상 획득 장비명 등 영상 데이터 관련 헤더, 일정한 크기의 환경정보들, 가변적 크기를 가지는 환경정보들 수, 가변 크기의 환경정보들, 초분광 큐브 데이터 순으로 구성된다. 초분광 영상 획득 장비와 영상 내 표적 수에 따라 가변적으로 변하는 정보들과 그렇지 않은 정보를 구분하여 저장공간을 효율적으로 사용할 수 있도록 하였다.

그림 2. Bon 파일 구조

Fig. 2. Bon File Structure

3. 데이터 관리 소프트웨어 구성

앞서 설명한 데이터들을 딥러닝 학습 데이터로 사용할 수 있도록 관리하는 소프트웨어를 개발하였다. 개발된 소프트웨어는 총 3개의 모듈로 이루어져 있다. 초분 광 큐브와 환경정보를 합친 최종 데이터 형태인 Bon 파일을 생성하는 모듈, 초분광 큐브에서 물체의 위치 정보를 획득하는 Ground Truth 툴 모듈 마지막으로 데이터를 데이터베이스에 업로드, 다운로드하고 원하는 조건의 영상을 검색하여 관리하는 데이터 관리 모듈로 구성된다. 이러한 모듈들을 통해 Ground Truth 작업 후 Bon 파일을 생성하고 최종적으로 원하는 조건에 맞추어 데이터관리가 가능하도록 하였다. 본 프로그램은 C#언어로 개발되었고 MS Access DB 기능을 이용하였다. 그림3은 데이터 처리 시 실행되는 과정을 나타낸 것이며 관련된 설명은 3.1~3.3절에서 자세히 기술하였다.

그림 3. 데이터 처리 과정

Fig. 3. Data Processing Sequence

가. Bon 파일 생성

초분광 영상 데이터의 획득 시간을 기준으로 가장 가까운 시간에 획득한 환경정보들을 선택하여 Bon 파일을 생성한다. 정량적인 데이터인 미세먼지, 대기 온도, 태양고도, 표적 온도 등은 입력받은 값을 그대로 사용한다. 정성적인 날씨 데이터를 생성하기 위해 입력받은 강수량, 운량 데이터는 강수량 값이 0보다 큰 경우 날씨 데이터에 ‘비’를 입력하고 운량의 경우 운량 크기에 따라 맑음(0~2), 구름조금(3~5), 구름많음(6~8), 흐림(9~10 이상)으로 날씨 데이터를 저장한다. 운량 데이터 값을 정성적인 날씨 값으로 바꾼 기준은 운량 데이터를 획득한 기상청 사이트에서 제안하는 방법과 동일하다. Bon 파일생성 시 그림4와 같이 입력 데이터들을 존재 여부를 확인하도록 하여 혹시나 제외된 데이터가 있다면 확인할 수 있도록 하였다.

그림 4. Bon 파일 생성 프로그램 화면

Fig. 4. Bon File Making Program Screen

나. Ground Truth 툴

일반적으로 딥러닝 학습 정보로 사용되는 사각형 Ground Truth와 Polygonal Ground Truth를 획득할 수 있도록 각각의 툴을 개발하였다. Bon 파일, Bon 파일 생성 전 전처리 단계의 초분광 큐브, 일반 형식의 이미지로 저장된 Broadband 이미지 3가지 모두 입력 데이터로 사용 가능하다. Bon 파일의 경우 Bon 파일 내부의 Ground Truth 레이블 값이 변경되고 그 외의 데이터는 txt 파일을 새로 생성하여 Ground Truth 라벨을 저장하고 Bon 파일 생성 때 사용될 수 있도록 하였다. Bon 파일과 전처리 초분광 큐브 데이터를 입력으로 사용할 때는 초분광 큐브의 특성을 고려하여 원하는 대역의 영상을 선택하여 사용하도록 하였다. 이를 통해 Ground Truth 획득 작업 시 물체의 엣지가 가장 잘 구분되는 영상을 선택하여 작업할 수 있다. 또한 작업의 효율을 늘리기 위해 Polygonal 라벨 획득 시 획득한 좌표들 가장 바깥에 위치하는 좌표들을 사용해 사각형 라벨을 자동으로 생성하는 기능을 추가하여 작업의 효율성을 개선하였다.

그림 5. Ground Truth 툴 실행 화면

Fig. 5. Ground Truth Tool Program Screen

다. 데이터베이스 관리

데이터베이스 관리는 관리자를 서버와 클라이언트로 나누고 서버에서 생성한 Bon 파일을 데이터베이스에 업로드, 다운로드, 검색, 확인할 수 있도록 하였다. 클라이언트에서는 검색과 확인 기능만 가능하도록 제한하였다. 검색 시에는 그림6과 같이 데이터 종류, 획득 시간, 장소, 촬영 표적과 같은 일반적인 정보들과 대기 온도, 기상 등의 환경정보를 사용하여 조건에 맞는 데이터를 선별하고 환경정보를 확인할 수 있도록 하였다. 이를 통해 학습 목적에 가장 적절한 데이터를 선별할 수 있을 것이라 기대한다.

그림 6. 데이터베이스 검색 실행 화면

Fig. 6. Database Search Program Screen

Ⅲ. 결론

딥러닝 학습 데이터에 적절한 초분광 영상 데이터를 관리하기 위해 초분광 영상 관리 소프트웨어를 개발하였다. 초분광 영상 데이터의 특징을 고려하여 초분광 큐브에 적절한 Ground Truth 툴을 개발했다. 그리고 가시광 영상과 달리 환경정보에 의해 데이터가 크게 변한다는 특징을 고려하여 환경정보를 함께 관리하는 데이터베이스 관리 기능을 개발하였다. 해당 관리 기능은 환경정보 조건에 따라 검색하는 기능이 있어 딥러닝 학습 목적에 맞는 데이터 생성에 도움을 줄 것이라 기대된다.

추후 초분광 영상을 촬영할 경우 참고용으로 가시광 또는 다른 대역의 적외선 영상을 촬영한다는 점을 고려하여 한 영상에서 획득한 Ground Truth 라벨을 다른 이종 카메라 영상에서 활용할 수 있도록 카메라 좌표계를 변환하는 기능을 추가할 계획이다.