A New Demosaicking Algorithm for Honeycomb CFA CCD by Utilizing Color Filter Characteristics

Nowadays image sensor is an essential component in many multimedia devices, and it is covered by a color filter array to filter out specific color components at each pixel. We need a certain algorithm to combine those color components reconstructed a full color image from incomplete color samples output from an image sensor, which is called a demosaicking process. Most existing demosaicking algorithms are developed for ideal image sensors, but they do not work well for the practical cases because of dissimilar characteristics of each sensor. In this paper, we propose a new demosaicking algorithm in which the color filter characteristics are fully utilized to generate a good image. To demonstrate significance of our algorithm, we used a commerically available sensor, CBN385B, which is a sort of Honeycomb-style CFA(Color Filter Array) CCD image sensor. As a performance metric of the algorithm, PSNR(Peak Signal to Noise Ratio) and RGB distribution of the output image are used. We first implemented our algorithm in C-language for simulation on various input images. As a result, we could obtain much enhanced images whose PSNR was improved by 4~8 dB compared to the commonly idealized approaches, and we also could remove the inclined red property which was an unique characteristics of the image sensor(CBN385B).Then we implemented it in hardware to overcome its problem of computational complexity which made it operate slow in software. The hardware was verified on Spartan-3E FPGA(Field Programable Gate Array) to give almost the same performance as software, but in much faster execution time. The total logic gate count is 45K, and it handles 25 image frmaes per second.

Honeycomb CFA 구조를 갖는 CCD 이미지센서의 필터특성을 고려한 디모자이킹 알고리즘의 개발 및 검증

CFA(Color Filter Array)를 사용하는 이미지 센서에서는 컬러정보를 획득하기 위해 디모자이킹 과정을 거치게 된다. 이상적인 컬러특성을 갖는 이미지센서에 적용되는 디모자이킹 방식은 실제로 이미지센서에 바로 적용할 경우 올바른 동작을 장담할 수 없는데, 이는 센서마다 그 특성이 다르기 때문이다. 따라서 디모자이킹 알고리즘을 적용할 때에는 각 센서의 특성에 따라서 다르게 적용이 되어야만 한다. 본 논문에서는 Honeycomb CFA방식을 사용하는 CCD 이미지 센서에서 사용되는 디모자이킹 알고리즘을 제안하고, 실제 이미지 센서(CBN385B)의 컬러특성을 고려하여 필터의 계수를 보정함으로써 개선된 성능을 갖는 디모자이킹 알고리즘을 제안한다. 또한 디모자이킹 알고리즘을 하드웨어로 구현하여 그 성능을 비교한다. 제안한 알고리즘을 검증하기 위한 방법으로 전체 ISP시스템을 구현 했으며, 성능을 확인할 지표로 알고리즘 자체성능은 PSNR로 이미지센서의 필터특성의 적용의 결과는 RGB분포도를 이용하였다. 결과적으로 기존의 방법에 비해 PSNR 값이 4~8dB 증가하였으며, 실제 이미지센서(CBN385B)에서 Red 성분으로 편중된 현상도 제거하였다. 또한 하드웨어 설계를 통해 소프트웨어적인 연산의 복잡성을 해결하였으며 검증을 위해 Spartan-3E FPGA가 사용되었다. 총 게이트 수는 45K개이며 25 frame/sec의 속도를 보였다.