No-Reference Visibility Prediction Model of Foggy Images Using Perceptual Fog-Aware Statistical Features

We propose a no-reference perceptual fog density and visibility prediction model in a single foggy scene based on natural scene statistics (NSS) and perceptual "fog aware" statistical features. Unlike previous studies, the proposed model predicts fog density without multiple foggy images, without salient objects in a scene including lane markings or traffic signs, without supplementary geographical information using an onboard camera, and without training on human-rated judgments. The proposed fog density and visibility predictor makes use of only measurable deviations from statistical regularities observed in natural foggy and fog-free images. Perceptual "fog aware" statistical features are derived from a corpus of natural foggy and fog-free images by using a spatial NSS model and observed fog characteristics including low contrast, faint color, and shifted luminance. The proposed model not only predicts perceptual fog density for the entire image but also provides local fog density for each patch size. To evaluate the performance of the proposed model against human judgments regarding fog visibility, we executed a human subjective study using a variety of 100 foggy images. Results show that the predicted fog density of the model correlates well with human judgments. The proposed model is a new fog density assessment work based on human visual perceptions. We hope that the proposed model will provide fertile ground for future research not only to enhance the visibility of foggy scenes but also to accurately evaluate the performance of defog algorithms.

시지각적 통계 특성을 활용한 안개 영상의 가시성 예측 모델

본 논문에서는 자연 이미지가 갖는 통계적 일관성과 안개를 인식하는 시지각적 통계 특성을 이용하여 단일 안개 영상에서, 안개가 없는 참조 영상과의 비교 없이, 시지각적으로 안개 영상의 가시성을 예측한다. 제안하는 모델은 기존 안개 영상의 가시성 예측 방법들이 불가피하게 사용했던 추가 정보들, 예를 들면, 다수의 다양한 안개 영상, 차량 탑재 카메라의 지리적 위치 정보, 사람의 가시성 평가에 대한 학습 결과, 도로 선 혹은 교통 신호와 같이 안개 영상의 돋보이는 특정 물체 정보 등을 사용하지 않는다. 본 논문의 모델은 오직 테스트 안개 영상이 자연 현상에 의한 안개 영상 혹은 안개가 전혀 없는 영상에서 일관적으로 발견되는 통계적 특성으로부터 얼마나 떨어져 있는지 측정함으로써 안개 영상의 가시성을 예측한다. 시지각적으로 안개를 인식하여 일관된 통계를 나타내는 특징 인자들은 공간상의 자연 이미지 통계 모델과 안개 영상의 특징 (명암대비의 감소, 색상과 채도의 감소, 밝기의 증가)으로부터 유도된다. 제안하는 모델은 안개 영상의 전체 영역에 대한 가시성뿐만 아니라 각 관심 영역에서 패치 크기에 따른 지역적 안개 영상의 가시성도 예측할 수 있다. 본 모델의 성능분석을 위하여 사람이 직접 인지하는 가시성 측정 실험을 100 장의 다양한 안개 영상에 대해 수행하였다. 본 논문에서 제시한 모델을 통해 예측된 안개 영상의 가시성과 사람이 체감한 안개 영상의 가시성을 비교한 결과, 둘 사이에 매우 높은 상관관계가 있는 것으로 평가되었다. 본 논문이 제안하는 무참조 안개 영상의 가시성 예측 모델은 사람의 시지각적 특성을 활용한 새로운 방법으로, 향후 안개 영상의 가시성 향상 알고리듬 개발과 선 개발된 안개 제거 및 가시성 향상 알고리듬들의 성능을 정확히 평가할 수 있는 새로운 측정방법 개발 등에 매우 유용할 것으로 기대된다.