A Study of the Defect Detection Method of Vision Technology via Camera Image Analysis on 4-col 7-row LED Screen Module

4단 7열 LED 사이니지 전면부 설치형 카메라기반 불량 LED 소자 검출 Vision 기술에 관한 연구

Abstract

Recently, a 4-col 7-row LED Screen that provides various information of major roads and local governments has been installed and operated. However, due to deterioration due to changes in temperature and humidity, deterioration due to static electricity, and mechanical stress, partial module failure of the display may occur, which is a major cause of missing information of vitally given to citizens. However, there have been frequent cases where the 4-col and 7-row LED Screen that have failed due to reasons such as installed location where the signboards are installed on the road and outdoor, the lack of monitoring means at all times, and the lack of manpower is often neglected for a long time. Following this flow, this paper proposes a method to detect defective modules by analyzing the images collected through the camera fixed to the front part of the LED display.

1. 서론

최근 대부분의 주요 도로나 지자체의 정보를 안내하는 LED 디지털 사이니지가 설치되어 운영되고 있다[1,2]. LED 디지털 사이니지는 불특정 시민을 대상으로 정보를 제공하는 형태로 유용하게 운영되고 있다[3]. 하지만 온습도 변화에 의한 열화, 정전기에 의한 열화, 기계적 스트레스에 의해 디스플레이의 부분적인 모듈 불량이 발생할 수 있는데, 이러한 불량은 정보를 제공받는 시민들에게 전달되어야 할 정보를 누락시키는 주된 원인이 된다 [4]. 하지만 전광판이 설치되는 위치가 도로 위나 옥외라는 점, 상시 모니터링 가능한 수단 및 인력이 부족한 점 등의 이유로 인해 불량이 발생한 LED 디지털 사이니지가 장시간 방치되는 사례가 빈번하게 발생하고 있다[5]. 이러한 문제를 해결하기 위해 LED 드라이버 IC에서 제공하는 LED 도트 체크 불량 화소 검출에 대한 시스템으로 구성되어 운영되고 있었으나 실제 운영시에 불량 화소 검출에 시간이 많이 소요되고 오동작이 많아 개선의 필요성이 절실한 상황이었다.

이에 본 논문에서는 상기 문제점을 해결할 수 있는 개선 방안을 연구하기 위해 4단 7열 디지털 사이니지 전면부에 카메라를 설치하여 디지털 사이니지의 화면 영상을 분석하여 불량 화소를 검출하는 Vision 응용 기술을 을 제시하고자 한다.

2. 관련 연구

본 장에서는 기존 불량 화소 검출에 관련된 연구에 대해 살펴본다. 기존 LED 전광판 내부에는 각각의 LED 도트의 점등 제어 및 LED 불량 화소 검출이 가능한 IC 칩 형태의 LED 드라이버가 내장되어 모듈로 이루어져 있다. Macroblock사의 MBI5027은 LED 불량검출(Open/Short) 검출 기능 회로를 장착한 LED 드라이버 칩을 개발 및 제조하여 판매하고 있다 [6]. LED 드라이버 칩은 16비트 시프트 레지스터와 시리얼 입력 데이터를 병렬 출력 형태로 변경하는 출력래치가 포함되어 있으며 출력 채널은 16개를 제공한다. 또한, 각 채널은 다양한 전압 편화 사이의 LED들을 드라이빙하기 위해 정 전류를 제공한다. LED 모듈로 구성된 전광판을 표출하고 제어하는 컨트롤러는 컴퓨터의 DVI 영상을 입력받아 배열로 이루어진 전광판에 LED 신호로 변환하여 전송하는 역할을 담당한다. 위 컨트롤러에서 전광판을 구성하는 LED의 드라이버 IC를 이용하여 에러 신호를 검사하는 역할을 담당한다. 위 구성의 단점은 특정 업체의 드라이버 IC를 사용해야 하며 각 전광판 제조사별로 컨트롤러를 개발하여 사용하여 폐쇄적이며 각 전광판 제조사가 개발한 운영 PC에서 전광판 도트 상태를 점검하고 있어 정확도가 정확하지 않은 문제점들이 있다. 컨트롤러가 주기적으로 에러를 검사하는 방식으로 드라이버 IC 특성상 전압이나 전류, 열등에 민감하여 정확도가 떨어지고 특정 드라이버 IC와 전광판 제조사의 프로그램에서 또한 많은 오류가 있는 문제점들이 있다. 이에 본 논문에서는 기존의 모듈 제조사에서 제공하는 하드웨어에 의존하지 않고 모든 LED디스플레이에 적용이 가능한 카메라 영상 분석 기반의 LED 전광판 불량 모듈 검출 방법을 제안한다.

3. 본론

본 장에서는 LED 디지털 사이니지의 전면부에 고정된 카메라를 통해 수집되는 영상을 분석하여 불량화소를 검출할 수 있는 방안을 제시한다. 아래의 Fig. 1은 제안하는 알고리즘의 전체적인 구성을 나타낸 흐름도이다. 제안하는 알고리즘은 가장 먼저 영상을 입력받아, 전광판 내부에서 모듈의 정확한 위치 파악을 위해 카메라 렌즈의 왜곡을 제거하고 검지 영역을 설정한다. 카메라를 통해 수집되는 영상에서 검지 영역 부분을 추출하여 평면화 작업을 수행하고 사전에 정의된 모듈의 배치에 따라 모듈의 영역을 구분한다. 그 후, 평면화된 영상을 이진화하여 각 모듈 내의 밝기값을 산출하고 임계값을 적용하여 정상적으로 작동하지 않는 모듈을 검출한다.

Fig. 1. Algorithm Flow Chart.

3.1 카메라 교정 작업

3.1.1 카메라 교정 작업

카메라를 이용하여 촬영된 영상은 렌즈의 종류, 렌즈와 이미지 센서 사이의 거리, 이미지 센서와 렌즈가 이루는 각도 등 카메라 내부의 설계 구조에 따라 많은 영향을 받는다. 이러한 요인들로 인해 발생하는 영상의 왜곡 보정 작업에 필요한 왜곡계수를 구하기 위해 카메라의 내부 파라미터를 구해야 한다. 본 논문에서는 캘리브레이션 패턴(Chess Board)이 인쇄된 종이를 다양한 위치 및 각도에서 카메라로 촬영한 후, Zhang의 카메라 교정 방법을 활용하여 카메라의 내/외부 파라미터 값을 계산하였다 [7].

3.1.2 카메라 왜곡 보정

카메라의 왜곡은 크게 방사 왜곡(radial distortion)과 접선 왜곡(tangential distortion), 두 가지로 분류할 수 있다. 먼저 방사 왜곡의 경우 볼록렌즈의 굴절률로 인해 발생하며 영상의 중심에서 멀어질수록 왜곡이 심해지는 특징이 있다. 두 번째, 접선 왜곡의 경우 카메라의 제조 과정에서 카메라 렌즈와 이미지 센서의 수평이 맞지 않거나 렌즈 자체의 중심이 맞지 않아 발생하는 왜곡으로, 주로 타원형의 형태로 왜곡이 발생한다. 본 논문에서는 상기 카메라 교정작업을 통해 얻은 카메라 내/외부 파라미터 값과 Ma의 알고리즘을 이용하여 카메라의 왜곡을 보정하였으며, 결과는 아래의 Fig. 2, Fig. 3과 같다 [8].

Fig. 2. Before Undistortion.

Fig. 3. After Undistortion.

3.1.3 검지 영역 설정 및 평면화

검지 영역의 설정은 디스플레이 평면의 각 모서리 네 점을 이용하여 설정한다. 설정된 네 점은 사전에 설정된 크기의 직사각형으로 평면화하여 정규화된 이미지를 이용하여 불량 모듈의 영역을 검출한다. 본 논문에서는 4단 7열 디스플레이의 규격에 알맞게 가로 700 화소, 세로 400 화소의 이미지로 정규화를 수행하였으며 정규화된 이미지는 아래의 Fig. 4에 나타난 것과 같다.

Fig. 4. Checking Area Extraction.

3.2 불량 모듈 영역 검출

불량 모듈 영역의 검출은 영상의 이진화, 검지 영역 분할, 불량 여부 판단 세 단계로 구성되어 있다. 가장 먼저 입력된 영상에서 정상적으로 빛을 표출하는 모듈과 빛을 표출하지 못하는 모듈을 구분하기 위해 밝기 값을 이용하여 영상을 이진화한다. 그 후, 디스플레이의 모듈 구성에 맞게 검지 영역을 분할한다. 마지막으로 각 영역별 평균 밝기 값을 이용하여 불량 여부를 판단한다.

3.2.1 영상 이진화

영상처리에서 사용되는 이진화 방법 중 가장 간단한 방법은 고정된 임계값을 이용한 전역 고정 이진화 방법이다. 해당 방법의 경우 사전에 설정된 임계값보다 밝은 픽셀은 모두 흰색, 그렇지 않은 픽셀들은 모두 검은색으로 바꾸는 방법이다. 해당 이진화 방법의 경우, 디스플레이가 설치되는 환경이나 대기의 상태, 모듈의 조도 등 다양한 요인들로 인해 모든 상황에서 강건하게 작동하는 임계값을 설정하기에 어려움이 있다. 이러한 문제를 해결하기 위해 임계값을 환경에 따라 적절하게 자동으로 설정할 수 있는 방법이 고안되었는데, 본 논문에서는 영상 전역의 히스토그램을 추출하고, 중간값을 임계값으로 이용하여 이진화를 수행하는 Otsu의 알고리즘을 적용하였다[9].

3.2.2 불량 여부 판단

불량 모듈의 판단은 앞선 이진화된 이미지를 이용하여 이루어진다. 먼저 이진화된 이미지에서 사전에 설정된 디스플레이의 가로, 세로 모듈의 개수를 기반으로 각 모듈의 영역을 분할한다. 그 후, 분할된 각 영역에 대해 평균 밝기값을 구한다. 계산된 밝기값이 사전에 설정된 임계값보다 작은 경우, 해당 모듈을 불량 모듈로 판단한다.

Fig. 5. Flow Chart of Checking Error Module.

4. 실험 및 결과

이 장에서는 4단 7열 LED 사이니지의 전면부에 고정된 카메라를 통해 수집되는 영상을 분석하여 불량 모듈을 검출하는 Vision 응용 기술의 각 단계의 구현 결과와 불량 화소 검지율에 대한 실험 결과를 제시한다. 실험은 세로 4단, 가로 7열의 디스플레이를 활용하여 수행하였으며 일반적인 웹 카메라를 이용하여 영상을 취득하였다.

4.1 불량 모듈 검지율 테스트

먼저 디스플레이 화면을 제어하고 불량 모듈 검지 알고리즘의 결과를 확인하기 위해 별도의 프로그램을 제작하였다. 해당 프로그램은 LED 디스플레이의 색상 표출을 제어할 수 있으며, 각각의 표출 색상 값에 대한 불량 모듈 검출 알고리즘의 수행 결과를 모듈별로 디스플레이 하도록 구성되었다. Fig. 6, Fig. 7, Fig. 8은 각각 적색, 녹색, 청색의 화면에 대한 실제환경 구성 예시이다. 또한, 디스플레이의 전면부에 카메라를 설치하여 전면부 영상의 취득이 가능한 환경의 디지털 사이니지 크기의 시료를 준비하였다. LED 디지털 사이니지 디스플레이의 임의의 정상 표출부에 준비된 불량 시료를 위치와 개수를 무작위로 부착하고 불량 화소의 검출 알고리즘을 실행하여 정상 동작 여부를 판단하였다.

Fig. 6. Red Image. 

Fig. 7. Green Image.

Fig. 8. Blue Image.

총 98회 실험을 반복하였으며 실험 결과는 아래의 Table 1과 같다. 적색 화소에 대해 31번, 녹색 화소에 대해 33번, 청색 화소에 대해 34번, 총 98번의 실험을 수행한 결과 모든 실험 데이터에서 정상적으로 불량화소를 검지할 수 있음을 확인하였다.

Table 1. Error Module Check Result

5. 결론

본 논문에서는 4단 7열 LED 디지털 사이니지의 표출부를 촬영한 영상을 기반으로 불량 화소를 검출하는 Vision 응용 기술을 제시하였다. 본 기술을 활용하여 주기적으로 표출부를 검사하여 운영 인력의 육안 확인을 대체함으로써 운영의 편의를 도모할 수있을 것으로 기대된다. 각 LED 디지털 사이니지의 제조사에서 제공하는 제한적인 화소의 불량 감시 기능을 일반적인 검증된 영상처리 알고리즘들을 활용하여, LED 디지털 사이니지의 불량 화소 검출 기능을 적용할 수 있는 방안을 실험을 통해 검증하였다. 카메라의 영상에서 LED 디지털 사이니지의 표출부를 정규화하고, 정규화된 이미지를 일정 영역 단위로 분리하여 각 영역의 밝기값을 계산, 임계값을 적용하여 LED 화소의 불량 여부를 판단하였다. 하지만 불량 여부를 판단하기 위해 모든 LED 디지털 사이니지에 동일한 색상을 표출하는 특수한 시험 환경을 갖추어야 작동한다는 한계가 있었다. 이러한 한계로 인하여 이미 설치되어 운영 중인 LED 디지털 사이니지에 적용하는 경우, 특정 시점에 불량 화소 검출 기능을 따로 작동시켜야 하는 불편함이 발생하는데 이러한 문제를 해결하기 위하여 LED 디지털 사이니지에 표출되는 원본 영상과 카메라로 촬영된 영상과 비교하는 방법에 대한 연구가 필요할 것으로 사료된다.

※ This work was supported by Institute for Information & Communications Technology Planning & Evaluation (IITP) grant funded by the Korea government (MSIT) in 2020 (No. 2017-0-00217, Development of Immersive Signage Based on Variable Transparency and Multiple Layers)