• 자동차안전학회지
• /
• 제14권2호
• /
• pp.39-44
• /
• 2022

This paper presents LiDAR static obstacle map based vehicle position correction algorithm for urban autonomous driving. Real Time Kinematic (RTK) GPS is commonly used in highway automated vehicle systems. For urban automated vehicle systems, RTK GPS have some trouble in shaded area. Therefore, this paper represents a method to estimate the position of the host vehicle using AVM camera, front camera, LiDAR and low-cost GPS based on Extended Kalman Filter (EKF). Static obstacle map (STOM) is constructed only with static object based on Bayesian rule. To run the algorithm, HD map and Static obstacle reference map (STORM) must be prepared in advance. STORM is constructed by accumulating and voxelizing the static obstacle map (STOM). The algorithm consists of three main process. The first process is to acquire sensor data from low-cost GPS, AVM camera, front camera, and LiDAR. Second, low-cost GPS data is used to define initial point. Third, AVM camera, front camera, LiDAR point cloud matching to HD map and STORM is conducted using Normal Distribution Transformation (NDT) method. Third, position of the host vehicle position is corrected based on the Extended Kalman Filter (EKF).The proposed algorithm is implemented in the Linux Robot Operating System (ROS) environment and showed better performance than only lane-detection algorithm. It is expected to be more robust and accurate than raw lidar point cloud matching algorithm in autonomous driving.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2012년도 춘계학술발표대회논문집
• /
• pp.18-21
• /
• 2012

자동 백색 보정은 디지털 비디오 프로세싱에서 매우 중요한 기능이며, IP 네트워크 카메라의 경우에도 필수적인 영상 전처리 과정이다. 본 논문은 TI 사의 비디오 프로세서인 DM36x을 이용하여 제작된 HD IP 네트워크 카메라에서의 실시간으로 동작할 수 있는 효과적인 비디오 자동 백색 보정 알고리즘을 구현한 결과를 기술한다. 구현한 자동 백색 보정 알고리즘은 매우 효과적인 것으로 알려진 그레이 컬러 포인트 기반 알고리즘을 DM36x의 AWB 엔진이 제공하는 기능을 이용하여 실시간으로 동작될 수 있도록 고쳐서 구현하였다.

• 방송공학회논문지
• /
• 제7권3호
• /
• pp.211-218
• /
• 2002

본 논문에서는 미국의 ATSC방식의 HDTV 방송시스템과 호환되는 HD급 3DTV 카메라 및 3DTV 수신기의 개발에 관해 소개한다. 개발된 3DTV 카메라는 양안식 구조를 가지며 좌우 두 줌 렌즈간 연동제어 및 주시각 조절 기능을 가지고 있고, 수동 주시각 조절 및 독립된 입체영상 전송에서 발생하는 동기문제 해소를 위해 좌우 영상을 단일 채널의 영상으로 다중화하는 기능을 가지고 있다. 또한, 개발된 HD급 3DTV 수신기는 HDTV 신호의 수신, 복조, 디코딩 기능과 3DTV 역다중화 기능을 수행하며 아날로그 및 디지털의 다양한 입출력 인터페이스를 가진다. 개발된 HD급 3DTV 카메라 및 수신기는 2002 월드컵 3DTV 방송중계 시범서비스 시 경기장에서 실시간으로 촬영하고 전송된 3D 영상을 복원하는데 성공함으로써 그 기능을 검증하였다. HD급 3DTV 카메라 및 수신기는 방송 산업뿐만 아니라 컴퓨터 그래픽스 및 네트워크 기술과의 결합에 의해 3D 영화, 3D 게임, 3D 영상처리 및 원격제어 등에 활용될 수 있을 것으로 보인다.

• 한국인터넷방송통신학회논문지
• /
• 제15권6호
• /
• pp.245-250
• /
• 2015

HD-SDI 비디오 신호 전송을 위한 광 비디오 전송 장치를 개발하였다. 광 송수신기는 입력전원 DC 5V로 동작하며, 감시 카메라 주위에 부착 가능하도록 작은 크기로 개발하였다. 광 송수신기는 내부에 별도의 전원 안정화 회로를 내장하여, 출력이 안정된 3.3V 전압을 내부의 다른 전자회로에 공급하도록 하였다. 광 송신기는 케이블드라이버, 레이저 다이오드 드라이버, 레이저 다이어드로 구성되며, 광수신기는 포토다이오드, 리미팅 앰프, 케이블 이퀄라이저로 구성하였다. 광 송신기는 파장 1.3.um, 광출력 -5 dBm, 송신속도 1.485Gbps였고, 광 수신기는 수신감도 -23dBm이었다. 이 장치로 HD-SDI 비디오 신호가 광섬유 30km 광섬유 전송 후에도 끊김 없이 전송됨을 확인하였다.

• 한국소음진동공학회:학술대회논문집
• /
• 한국소음진동공학회 2013년도 추계학술대회 논문집
• /
• pp.763-764
• /
• 2013

A three-dimensional image capturing device and its signal processing algorithm and apparatus are presented. Three dimensional information is one of emerging differentiators that provides consumers with more realistic and immersive experiences in user interface, game, 3D-virtual reality, and 3D display. It has the depth information of a scene together with conventional color image so that full-information of real life that human eyes experience can be captured, recorded and reproduced. 20 Mega-Hertz-switching high speed image shutter device for 3D image capturing and its application to system prototype are presented[1,2]. For 3D image capturing, the system utilizes Time-of-Flight (TOF) principle by means of 20MHz high-speed micro-optical image modulator, so called 'optical resonator'. The high speed image modulation is obtained using the electro-optic operation of the multi-layer stacked structure having diffractive mirrors and optical resonance cavity which maximizes the magnitude of optical modulation[3,4]. The optical resonator is specially designed and fabricated realizing low resistance-capacitance cell structures having small RC-time constant. The optical shutter is positioned in front of a standard high resolution CMOS image sensor and modulates the IR image reflected from the object to capture a depth image (Figure 1). Suggested novel optical resonator enables capturing of a full HD depth image with depth accuracy of mm-scale, which is the largest depth image resolution among the-state-of-the-arts, which have been limited up to VGA. The 3D camera prototype realizes color/depth concurrent sensing optical architecture to capture 14Mp color and full HD depth images, simultaneously (Figure 2,3). The resulting high definition color/depth image and its capturing device have crucial impact on 3D business eco-system in IT industry especially as 3D image sensing means in the fields of 3D camera, gesture recognition, user interface, and 3D display. This paper presents MEMS-based optical resonator design, fabrication, 3D camera system prototype and signal processing algorithms.

• Journal of information and communication convergence engineering
• /
• 제8권1호
• /
• pp.51-58
• /
• 2010

This paper proposes an edge adaptive color interpolation for an ultra-small HD-grade complementary metal-oxide semiconductor (CMOS) video sensor in camera phones that can process 720-p/30-fps videos. Recently, proposed methods with great image quality perceptually reconstruct the green component and then estimate the red/blue component using the reconstructed green and neighbor red and blue pixels. However, these methods require the bulky memory line buffers in order to temporally store the reconstructed green components. The edge adaptive color interpolation method uses seven or nine patterns to calculate the six edge directions. At the same time, the threshold values are adaptively adjusted by the sum of the color values of the selected pixels. This method selects the suitable one among the patterns using two flowcharts proposed in this paper, and then interpolates the missing color values. For verification, we calculated the peak-signal-to-noise-ratio (PSNR) in the test images, which were processed by the proposed algorithm, and compared the calculated PSNR of the existing methods. The proposed color interpolation is also fabricated with the 0.18-${\mu}m$ CMOS flash memory process.

• Journal of information and communication convergence engineering
• /
• 제7권4호
• /
• pp.507-515
• /
• 2009

In this paper, we propose an image signal processor (ISP) for an ultra small HD-grade video sensor with 3A (AWB, AE, and AF) in camera phones that can process 720P/30fps videos. In order to enhance the video quality of the systems, it is necessary to achieve the high performance of the 3A. The proposed AWB algorithm multiplies the adjusted coefficients of color gains to the captured data of white objects. The proposed AE method adopts the index step moving based on the difference between an averaged Y luminance and a target luminance, together with IIR filters with variable time responses. The proposed AF technique controls the focus curve to find the lens position that maximizes the integrated high frequency components in luminance values by using highpass filters. Finally, we compare the image quality captured from our system to the quality of a commercial HD camcorder in order to evaluate the performance of the proposed ISP. The proposed ISP system is also fabricated with 0.18um CMOS flash memory process.

• 인터넷정보학회논문지
• /
• 제17권4호
• /
• pp.11-17
• /
• 2016

본 논문에서는 버스안전을 위한 다중 HD 카메라 기반의 IP통신망 AVB(Audio Video Bridge) 이더넷 케이블을 연동한 FPGA(Xilinx Zynq702)로 멀티뷰어 플랫폼을 제안하였다. 이러한 AVB(IEEE802.1BA) 시스템은 차량용 네트워크에서 다중 HD 비디오와 오디오 디지털 신호의 실시간 전송이 가능하다. 제안한 멀티뷰어 플랫폼은 기존 이더넷 케이블 1Gbps전송과 2-선 100Mbps 스트림 전송방식을 통해 4개의 초광각 HD 카메라로 부터 H.264 비디오 신호를 다중화하기 위한 지연속도의 개선을 위해 FPGA로 설계하였다. 아울러, 차량용 HD 동영상 전송망에서 시간지연을 최소화하기 위한 AVB 플랫폼은 Zynq 702기반의 H.264 AVC 저지연 코덱의 설계 방안을 제안하였다. 이러한 H.264 AVC 코덱의 부호화/복호화 결과확인을 위해 JM 모델을 참조한 PSNR(Peak Signal-to-noise-ratio)을 분석하였다. 설계한 Zynq 702기반의 H.264 AVC CODEC은 다중 HD 카메라의 다중뷰어 동영상 손실 압축에서 화질 손실에 대한 PSNR은 이론 값과 유사한 HW 결과 값을 확인하였다. 이로서 제안한 AVB기반의 다중 HD 카메라 연동형 멀티뷰어 플랫폼은 H.264 AVC CODEC의 저지연 특성이 차량용 특성에 만족함으로서 버스안전을 위한 주변의 오디오와 비디오 영상감시가 가능할 것이다.

• 대한원격탐사학회지
• /
• 제37권5_1호
• /
• pp.1095-1109
• /
• 2021

안전한 자율주행을 위해 정확한 자기위치 측위와 주변지도 생성은 무엇보다 중요하다. 고가의 고정밀위성항법시스템(Global Positioning System, GPS), 관성측정장치(Inertial Measurement Unit, IMU), 라이다(Light Detection And Ranging, LiDAR), 레이더(Radio Detection And Ranging, RADAR), 주행거리측정계(Wheel odometry) 등의 많은 센서를 조합하여 워크스테이션급의 PC장비를 사용하여 센서데이터를 처리하면, cm급의 정밀한 자기위치 계산 및 주변지도 생성이 가능하다. 하지만 과도한 데이터 정합비용과 경제성 부족으로 고가의 장비 조합은 자율주행의 대중화에 걸림돌이 되고 있다. 본 논문에서는 기존 단안카메라를 사용하는 Monocular Visual SLAM을 발전시켜 RTK가 지원되는 GPS를 센서 융합하여 정확성과 경제성을 동시에 확보하였다. 또한 HD Map을 활용하여 오차를 보정하고 임베디드 PC장비에 포팅하여 도심 도로상에서 RMSE 33.7 cm의 위치 추정 및 주변지도를 생성할 수 있었다. 본 연구에서 제안한 방법으로 안전하고 저렴한 자율주행 시스템 개발과 정확한 정밀도로지도 생성이 가능할 것으로 기대한다.

• 대한원격탐사학회지
• /
• 제37권5_1호
• /
• pp.1163-1175
• /
• 2021

자율 주행에서 도로 표시는 객체 추적, 경로 계획을 위한 필수 요소이며 측위를 위한 중요한 정보를 제공할 수 있다. 이 논문은 역 관점 매핑 이미지와 정밀도로지도 투영 이미지를 매칭하여 비교함으로써 도로 노면 표지의 갱신 및 위치 측위를 하는 접근 방식을 제시한다. 역 관점 매핑(IPM; Inverse Perspective Mapping) 기법을 사용하여 차량의 전방을 촬영한 카메라 이미지에서 원근 효과를 제거하고 2D 도메인으로 버드뷰 이미지를 생성한다. 그 다음에 GNSS/INS를 참조하여 촬영된 이미지와 동일한 정밀도로지도 영역을 이미지로 생성하여 두 이미지의 노면표지가 최대한 일치하도록 피팅 한다. 또한 정지선, 횡단 보도, 점선 및 직선 등 문자와 화살표를 인식하여 정밀도로지도의 객체와 비교 함으로써 갱신 여부를 판단 한다. 그리고 새로 설치된 객체의 측위는 주변의 객체의 위치 좌표값을 정밀도로지도에서 참조하여 얻을 수 있다. 우리는 매우 낮은 계산 비용과 저가의 카메라 및 GNSS/INS 센서 만으로도 빠르게 갱신된 정밀도로지도를 얻을 수 있다.