운전자 안정성 향상을 위한 Generative Adversarial Network 기반의 야간 도로 영상 변환 시스템

Night-to-Day Road Image Translation with Generative Adversarial Network for Driver Safety Enhancement

Abstract

첨단 운전자 지원 시스템(ADAS)은 차량 기술 분야에서 활발한 연구가 이루어지고 있는 기술이다. ADAS 기술은 직접적으로 차량을 제어하는 기술과 간접적으로 운전자에게 편의를 제공하는 기술로 나뉜다. 본 논문에서는 야간 도로 영상을 보정하여 운전자에게 시각적 편의를 제공하는 시스템을 제안한다. 제안하는 시스템은 전방 블랙박스 카메라로부터 촬영된 도로 영상을 입력받는다. 입력된 영상은 가로 축을 따라 세 부분으로 분할된 뒤 일괄적으로 이미지 변환 모듈을 통해 각각 낮 영상으로 변환된다. 변환된 영상은 다시 결합된 뒤 운전자에게 제공되어 시각적 편의를 제공한다. 본 논문의 실험 결과를 통해 제안한 시스템이 기존의 밝기 변환 알고리즘과 비교하여 우수한 성능을 보임을 입증한다.

Advanced driver assistance system(ADAS) is a major technique in the intelligent vehicle field. The techniques for ADAS can be separated in two classes, i.e., methods that directly control the movement of vehicle and that indirectly provide convenience to driver. In this paper, we propose a novel system that gives a visual assistance to driver by translating a night road image to a day road image. We use the black box images capturing the front road view of vehicle as inputs. The black box images are cropped into three parts and simultaneously translated into day images by the proposed image translation module. Then, the translated images are recollected to original size. The experimental result shows that the proposed method generates realistic images and outperforms the conventional algorithms.

그림 1. 운전자 안전성 향상을 위한 Generative Adversarial Network기반의 야간 도로 영상 변환 시스템 개념도 Fig. 1. Concept of the night-to-day road image translation with generative adversarial network(GAN) for driver safety enhancement

그림 2. 제안하는 이미지 변환 알고리즘(CycleGAN)의 학습 모델 구조. 학습 모델은 Generator AB, Generator BA, Discriminator A, Discriminator B 총 네 개의 네트워크로 구성되며, L_DA, L_DB, L_{CONST, A} (L_CONST,A, L_{CONST, B}) 총 세 개의 손실함수를 통해 학습된다. Fig. 2. The overall structure of training system for the proposed image translation module(CycleGAN). It consists of 4 network; Generator AB, Generator BA, Discriminator A, Discriminator B, and trained by 3 loss functions; L_DA, L_DB, L_{CONST, A} (L_CONST,A, L_{CONST, B})

그림 3. 영상 데이터 샘플. 왼쪽 두 열은 야간 도로 영상 (도메인 A)의 샘플이며 오른쪽 두 열은 주간 도로 영상 (도메인 B)의 샘플이다. Fig. 3. Example images in collected data. Left two columns: night road images (domain A), right two columns: day road images (domain B)

그림 4. 이미지 변환 알고리즘 별 정성적 결과 비교. 각 행은 입력 영상에 따른 알고리즘 별 출력 영상을 나타낸다. 왼쪽부터 순서대로 입력, 히스토그램 평활화,

그림 5. 동일 영상 기반 알고리즘 별 오 분류 결과 비교. (b) ~ (d)의 영상은 입력 영상 (a)에 대해 각 이미지 변환 알고리즘을 적용한 결과 영상을 나타낸다. 각 그림의 오른쪽 5개의 class는 해당 영상을 Inception 네트워크에 통과시켰을 때 나오는 Top-5 class를 의미한다. (a) 입력 영상, (b) 감마 보정, (c) 히스토그램 평활화, (d) 제안하는 시스템. Fig. 5. Misclassification results of each algorithm for same image. (b) ~ (d) show the translated images of (a) by each image translation method. The 5 classes at the right side of the pictures represents Top-5 classes. (a) Input, (b) Gamma correction, (c) Histogram equalization, (d) Proposed system.

표 1. 알고리즘 별 NIQMC 비교 결과. NIQMC는 기준 영상 없이 영상의 밝기 왜곡 정도를 평가하는 척도이다. 표의 각 행은 그림 4의 각 행 영상을 대상으로 NIQMC를 측정한 결과이다. 오른쪽부터 순서대로 입력, 히스토그램 평활화, 감마 보정, 제안하는 시스템 Table 1 NIQMC values of different methods for night-to-day road image translation. NIQMC is no-reference quality metric of contrast-distorted images. Each row shows NIQMC values of images for each rows in Fig 4. From right to left: input, histogram equalization, gamma correction, proposed system.