• 한국정보통신학회논문지
• /
• 제14권8호
• /
• pp.1737-1744
• /
• 2010

이미지 센서에서 획득된 영상에는 화질 개선을 위해 다양한 이미지 처리 과정이 필요하다. 이러한 이미지를 처리해 주는 역할을 하는 것을 ISP(Image Signal Processor)라고 한다. 기존의 비전 카메라는 상용 ISP 칩을 사용하는 대신에 자체적으로 ISP 기능을 소프트웨어로 구현하여 PC등에서 수행하는 방식을 택해왔다. 그러나 이러한 방식은 ISP 기능을 수행하는데 많은 연산을 필요로 함에 따라 고성능 PC를 필요로 하는 문제가 있다. 본 논문에서는 하드웨어와 소프트웨어의 효율적인 분담을 통해 칩 면적을 크게 줄인 ISP를 제안한다. 연산을 빠르게 처리하기 위하여 연산이 많은 블록은 하드웨어로 설계하였고, 하드웨어의 면적을 고려하여 하드웨어와 소프트웨어를 동시에 이용하도록 설계하였다. 구현된 ISP는 VGA(640*480)급의 영상을 처리할 수 있으며 0.35um 공정에서 91450 게이트의 크기를 가진다.

• 전기전자학회논문지
• /
• 제20권1호
• /
• pp.89-93
• /
• 2016

본 논문에서는 다양한 영상 전처리 알고리즘들을 적용할 수 있고, 영상 인식과 같이 ISP 응용 프로그램을 병렬로 처리 가능한 SIMT(Single Instruction Multiple Threads) 기반 Image Signal Processor를 제안하였다. 기존의 ISP는 입력 영상의 품질 개선을 위하여 영상 개선 알고리즘이 하드웨어로 설계되어 처리 속도는 빠르지만 다양한 영상 처리 알고리즘에 따라 성능 최적화에 어려움이 있었다. 제안한 ISP는 명령어를 기반으로 한 프로세서로서 다양한 영상 처리 알고리즘을 수행하고 SIMT 구조를 적용하여 알고리즘을 병렬로 수행해 성능을 개선하였다. 제안하는 ISP를 검증하기 위해 Xilinx Virtex-7을 탑재한 VC707 Board를 사용하였으며 cell multicore processor와 비교했을 경우 수행시간이 약 71%, ARM Cortex-A9과 ARM Cortex-A15와 비교하였을 경우 각각 63%, 33% 성능을 개선하였다.

• 한국정보통신학회논문지
• /
• 제11권3호
• /
• pp.555-562
• /
• 2007

CMOS 이미지 센서로부터 수신한 베이어 입력 스트림을 디스플레이 장치로 보기위해서는 영상 신호처리를 수행해야 한다. 즉, 이러한 영상 신호처리를 수행한 부분을 ISP(Image Signal Processor)라 한다. ISP 처리를 통해서 실제 원본 이미지를 볼 수 있다. ISP는 감마교정, 인터폴레이션, 공간적 변환, 이미지 효과, 이미지 스케일, AWB, AE, AF 등과 같은 기능을 수행한다. 본 논문에서는 CMOS 카메라 이미지 센서용 ISP를 모델링하여 최적화 알고리즘을 소프트웨어 검증을 통해 도출하였으며, VHDL 언어를 이용하여 설계하고 ModelSim6.0a 시뮬레이터를 이용하여 검증하였다. 또한 보드 레벨의 검증을 위해 PCI 인터페이스를 이용하여 설계한 ISP 모듈을 자일링스 XCV-1000e에 다운로드하여 결과를 확인하였다.

• 대한전자공학회논문지SP
• /
• 제44권5호
• /
• pp.103-111
• /
• 2007

본 논문에서는 single-chip CMOS Image Sensor(CIS)용 고화질 image signal processor(ISP)에 최적화된 하드웨어 구조를 제안한다. Single-chip CIS는 CIS와 ISP가 하나의 칩으로 구현된 것으로, 다양한 휴대기기에 사용된다. 휴대기기의 특성상, single-chip CIS용 ISP는 고화질이면서도 저전력을 위해 하드웨어 복잡도를 최소화해야 한다. 영상의 품질 향상을 위해서 다양한 영상 처리 블록들이 ISP에 적용되지만, 그 중에 핵심이면서 하드웨어 복잡도가 가장 큰 블록은 컬러 영상을 만들기 위한 색 보간 블록과 영상을 선명하게 하기 위한 화질 개선 필터 블록이다. 이들 블록은 데이터 처리를 위한 로직 외에도 라인 메모리를 필요로 하기 때문에 ISP의 하드웨어 복잡도의 대부분을 차지한다. 기존 ISP에서는 색 보간과 화질 개선 필터를 독립적으로 수행하였기 때문에 많은 수의 라인 메모리가 필요하였다. 따라서 하드웨어 복잡도를 낮추기 위해서는 낮은 성능의 색보간 알고리즘을 적용하거나, 화질 개선 필터를 사용하지 않아야 했다. 본 논문에서는 화질 개선을 위해 경계 적응적이면서 채널간 상관관계를 고려하는 고화질 색 보간 알고리즘을 적용하였다. 또한 채널 간 상관관계를 고려하는 색 보간 알고리즘의 특성을 이용하여 색 보간 블록과 화질 개선 필터 블록이 라인 메모리를 공유하도록 설계함으로써, 전체 라인 메모리 수를 최소화하는 새로운 구조를 제안한다. 제안된 방법을 적용하면 화질 개선 필터 블록을 위한 추가적인 라인 메모리가 불필요하기 때문에, 고화질과 낮은 복잡도 모두를 만족시킬 수 있다. 제안 방식과 기존 방식의 MSE(Mean Square Error)는 0.37로, 메모리 공유로 인한 화질의 저하는 거의 없었고, 고화질 색 보간 알고리즘을 적용했기 때문에 전체적인 화질은 향상되었다. 제안된 ISP 구조는 Verilog HDL 및 FPGA를 이용하여 실시간으로 구현 검증되었다. 0.25um CMOS 표준 셀 라이브러리를 이용하여 합성하였을 때, 총 게이트 수는 37K개였으며 7.5개의 라인 메모리가 사용되었다.

• 한국정보통신학회논문지
• /
• 제15권5호
• /
• pp.1147-1154
• /
• 2011

Image Signal Processor(ISP)의 한 블록인 Auto Exposure(AE)는 입력 영상의 밝기가 전체적으로 어둡거나 밝으면 적정 밝기로 조절하여 적당한 평균 밝기를 유지하는 기능을 한다. 하지만 AE는 영상의 전체 평균 밝기만 조절하기 때문에 영상의 명암대비 향상까지 기대하기는 어렵다. 특히 물체 인식이 필요한 분야에서는 ISP의 AE 만으론 명암대비가 낮은 영상에서는 물체 인식이 어려워져 명암대비 향상 기술이 필요하다. 이러한 문제를 해결하기 위해 본 논문에서는 ISP의 AE를 대체할 방법으로 Histogram Equalization(HE)를 제안한다. 또한 기존의 HE 문제점을 간단한 연산만으로 보완하고 하드웨어 구현에도 적합한 방법을 제안한다.

• 융합신호처리학회논문지
• /
• 제17권1호
• /
• pp.26-31
• /
• 2016

본 논문에서는 소형 카메라 모듈의 화질을 분석하는 시스템을 제안하고 이를 이용하여 렌즈의 성능을 평가하며, 플레어 및 헐레이션 방지 디스크를 삽입하여 렌즈의 성능이 개선되는 효과를 검증한다. 카메라 모듈의 화질을 평가하는 카메라 모듈 화질검증 시스템과 이미지 신호 처리기(Image Signal Processor, ISP) 내부의 레지스터를 제어하는 카메라 모듈 제어 프로그램 및 화질분석 소프트웨어를 개발한다. 제안된 헐레이션 방지 디스크를 삽입된 카메라 모듈의 화질을 기존 카메라 모듈의 화질과 비교평가에서 획득된 영상의 해상도, 밝기, 색재현 등의 성능을 검증한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2024년도 춘계학술발표대회
• /
• pp.18-19
• /
• 2024

High Dynamic Range 는 디지털 카메라에 내장된 영상 보정 장치인 Image Signal Processor 의 주요 기능 중 하나로서, 영상의 밝고 어두운 정도의 범위를 넓혀, 피사체가 더 또렷하게 보이도록 한다. 초당 수십 프레임을 촬영하는 경우, 실시간 보정처리를 위해 ISP 에 사용되는 기능 및 알고리즘은 신속성과 효율성이 요구된다. 본 연구는 ISP 에 적합한 HDR 알고리즘을 선정을 목표로 하여, Histogram Equalization 과 Contrast Limited Adaptive Histogram Equalization 을 소개한다. 이어 해당 알고리즘들을 컴퓨터 프로그래밍으로 구현, CMOS 이미지 센서를 통해 추출한 raw image 를 보정하여 각 알고리즘의 성능을 검토하였다.

• Journal of information and communication convergence engineering
• /
• 제7권4호
• /
• pp.507-515
• /
• 2009

In this paper, we propose an image signal processor (ISP) for an ultra small HD-grade video sensor with 3A (AWB, AE, and AF) in camera phones that can process 720P/30fps videos. In order to enhance the video quality of the systems, it is necessary to achieve the high performance of the 3A. The proposed AWB algorithm multiplies the adjusted coefficients of color gains to the captured data of white objects. The proposed AE method adopts the index step moving based on the difference between an averaged Y luminance and a target luminance, together with IIR filters with variable time responses. The proposed AF technique controls the focus curve to find the lens position that maximizes the integrated high frequency components in luminance values by using highpass filters. Finally, we compare the image quality captured from our system to the quality of a commercial HD camcorder in order to evaluate the performance of the proposed ISP. The proposed ISP system is also fabricated with 0.18um CMOS flash memory process.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(B)
• /
• pp.324-327
• /
• 2010

최근 카메라 센서는 ISP(Image Signal Processor)를 별도로 사용하지 않고 SOC(System on Chip) 방식으로 설계를 하여 소형화를 추구하고 있지만, High Resolution의 카메라가 개발 요구되어지면서 센서 Pixel 및 스위칭 트랜지스터의 집적화가 심화되고 있다. 이러한 고집적화는 카메라 센서 내 발열 관리에 대한 관심을 높여주고 있다. 본 논문에서는 우선 SOC 센서가 ISP를 탑재한 센서이므로 프로세서 발열 관리 기법에 대해 먼저 소개를 한 후, SOC 방식 센서를 대상으로 열이 발생되는 관련 조건을 확인 검사하고, 분석한 결과를 보인다. 또한 이러한 분석 결과를 토대로 발열을 제어 할 수 있는 방법으로 DAC(Digital Analog Converter)를 사용하여 센서 내 사용되는 전류 증폭을 최소화 한 설계 방식에 대해 분석해 보았으며, 전류 증폭을 최소화한 결과 최대 PCLK(Pixel Clock)에서도 열화에 따른 Noise(Hot Pixel)를 개선시킬 수 있었다.

• 융합신호처리학회논문지
• /
• 제10권4호
• /
• pp.233-238
• /
• 2009

본 논문에서는 얼굴을 자동 초점(Auto-focus) 디지털 카메라의 관심영역(ROI : Region Of Interest)으로 이용하는 시스템에서 요구되는 검출 영역의 안정적인 선택을 위한 방법을 제안한다. 이 방법은 디지털 카메라와 모바일 카메라에 포함되는 ISP(Image Signal Processor)에서 실시간으로 처리되는 프로그레시브 입력 영상에서 얼굴 영역을 관심영역으로 간주하고 자동으로 초점을 맞추는 방법이다. 얼굴 영역 검출을 위하여 사용한 학습 알고리즘은 에이다부스트 알고리즘을 이용하였다. 학습에 포함되지 않은 기울어진 얼굴에 대한 검출방법과 검출 결과에 대한 후처리 방법, 관심영역이 흔들리지 않고 일정한 영역을 유지하도록 하기 위한 안정화 대책을 제안한다. 제안된 ROI 영역 안정화 알고리즘에 대한 성능을 평가하기 위하여 움직임이 있는 얼굴에 대하여 기준 궤적과의 차이를 보이고, 각 궤적의 회귀곡선과의 RMS 오차를 안정화 성능평가의 척도로 이용하였다.