• IEIE Transactions on Smart Processing and Computing
• /
• 제6권3호
• /
• pp.175-182
• /
• 2017

In this paper, we present a multi-depth generation method using a time-of-flight (ToF) fusion camera system. Multi-view color cameras in the parallel type and ToF depth sensors are used for 3D scene capturing. Although each ToF depth sensor can measure the depth information of the scene in real-time, it has several problems to overcome. Therefore, after we capture low-resolution depth images by ToF depth sensors, we perform a post-processing to solve the problems. Then, the depth information of the depth sensor is warped to color image positions and used as initial disparity values. In addition, the warped depth data is used to generate a depth-discontinuity map for efficient stereo matching. By applying the stereo matching using belief propagation with the depth-discontinuity map and the initial disparity information, we have obtained more accurate and stable multi-view disparity maps in reduced time.

• 한국시뮬레이션학회논문지
• /
• 제18권3호
• /
• pp.73-82
• /
• 2009

CMOS 카메라는 저가격, 저전력, 소형화의 장점을 이용해 휴대폰카메라, 자동차 산업, 의학 및 센서 네트워크, 로봇제어, 보안 분야의 연구에서 이용되고 있다. 특히 다중카메라(Multi-Camera)기반의 $360^{\circ}$ 전방향 카메라(Omni-directional Camera)의 소프트웨어, 통신간섭 및 지연과 복잡한 영상제어 문제가 있으며, 하드웨어 분야에서는 다중카메라의 효율적인 관리 및 소형화의 문제를 지닌다. 기존 시스템은 다수 카메라를 제어하고 카메라 영상을 송수신하기 위해 카메라별 고성능 MCU로 구성된 임베디드 시스템(embedded system)과 별도의 제어 시스템(control system) 같이 다계층 시스템(Multi-layer system)으로 구성된다. 하지만 본 시스템은 단일구조로 저성능 MCU 기반에 고속 동기화기법으로 카메라 제어 및 영상 수집이 가능하도록 SLAVS(Small size/Low power Around View System)을 제안하였다. 화각 $110^{\circ}$ CMOS 카메라 여러 대를 이용하여 $360^{\circ}$전방향을 촬영하는 저성능 MCU로 카메라의 제어 및 영상 수집이 가능한 전방향 카메라 초기모형이다. 결과적으로 저전력 CMOS 카메라 4대를 하나의 MCU에 연결하여 개별 카메라에 대한 동기 유지, 제어 및 송수신을 구현하고 이를 기존의 시스템과 비교하였다. MCU를 통한 개별 인터럽트 처리로 카메라별 동기를 제어, 기억하여 Target과 CMOS 카메라와 MCU간의 재동기를 최소화하여 데이터 전송의 효율성을 높였다. 또한, 사용자 선택에 따라 4개의 영역으로 구분된 영상을 각기 또는 하나로 Target에 제공할 수 있도록 하였다. 마지막으로 개발된 카메라 시스템의 동기 및 데이터 전송 시간, 이미지 데이터 유실 등의 성능 비교, 분석을 하였다.

• 한국측량학회지
• /
• 제39권6호
• /
• pp.587-598
• /
• 2021

본 연구는 자율주행을 위한 정밀지도 구축 및 신속갱신을 위한 다중카메라 기반의 MMS (Mobile Mapping System)기술개발을 목표로 한다. 고가의 라이다 센서를 대체하고 긴 처리시간을 단축하기 위해 다수의 카메라를 적용하고 실시간 데이터 전처리를 통해 저가이면서 효율적인 MMS를 개발하고자 한다. 이를 위해 다중카메라 저장 기술개발, 다중카메라 시각동기화 기술개발, MMS 시제품 개발을 수행하였다. 다중의 카메라로부터 취득되는 고속영상의 실시간 JPG압축저장을 위해 엔진을 선정하고 저장모듈을 개발하였으며, 다중영상이 촬영된 정확한 시간을 실시간으로 기록하기 위해 이벤트 및 GNSS (Global Navigation Satellite System) 타임서버 기반 시각동기화 방안을 개발했다. 그리고 각 부문별 요구사항을 바탕으로 MMS를 설계하고 시제품을 제작하였다. 마지막으로 제작된 다중카메라기반 MMS의 성능검증을 위해 실제 1,000km 도로에서 데이터를 취득하고 정량적 평가를 수행했고, 평가결과 시각동기화 성능은 1/1000초 이하를 나타내었으며, SFM영상처리를 통해 얻은 포인트 클라우드의 위치정확도는 5cm 내외를 나타냈다. 정량적 평가 결과를 통해 본 연구에서 개발된 다중카메라 기반 MMS기술이 정밀지도 구축 기준을 만족하는 성능을 나타내는 것을 알 수 있었고, 향후 정밀지도 구축 분야에서 특히 외산기술에 의존하고 있던 고가의 MMS를 대체하는데 기여할 것으로 판단된다.

• Journal of Multimedia Information System
• /
• 제1권1호
• /
• pp.1-10
• /
• 2014

In this paper, we propose a new view synthesis technique for coding of multi-view color and depth data in arbitrary camera arrangements. We treat each camera position as a 3-D point in world coordinates and build clusters of those vertices. Color and depth data within a cluster are gathered into one camera position using a hierarchical representation based on the concept of layered depth image (LDI). Since one camera can cover only a limited viewing range, we set multiple reference cameras so that multiple LDIs are generated to cover the whole viewing range. Therefore, we can enhance the visual quality of the reconstructed views from multiple LDIs comparing with that from a single LDI. From experimental results, the proposed scheme shows better coding performance under arbitrary camera configurations in terms of PSNR and subjective visual quality.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2008년도 하계종합학술대회
• /
• pp.947-948
• /
• 2008

Recently, many efforts have been made for research and application of object tracking system. However, introduced object tracking algorithms have limitations to adopt a realtime object tracking system with multi camera. In this paper, we present a novel background generation and target object recognition algorithm for realtime object tracking system with multi camera and implemented it.

• 대한기계학회논문집A
• /
• 제26권6호
• /
• pp.1194-1202
• /
• 2002

A study on the topology optimization of a multi-spectral camera for space-use is presented. The optimization is carried out under self-weight and polishing pressure loading. A multi-spectral camera for space-use experiences degradation of optical image in the space, which can not be detected on the optical test bench on the earth. An optical surface deformation of a primary mirror, which is a principal component of the camera system, is an important factor affecting the optical performance of the whole camera system. In this study, topology optimization of the primary mirror of the camera is presented. As an objective function, a measure of Strehl ratio is used. Total mass of the primary mirror is given as a constraint to the optimization problem. The sensitivities of the objective function and constraint are calculated by direct differentiation method. Optimization procedure is carried out by an optimality criteria method. For the light-weight primary mirror design, a three dimensional model is treated. As a preliminary example, topology optimization considering a self-weight loading is treated. In the second example, the polishing pressure is also included as a loading in the topology optimization of the mirror. Results of the optimized design topology for the mirror with various mass constraints are presented.

• 대한기계학회:학술대회논문집
• /
• 대한기계학회 2001년도 춘계학술대회논문집A
• /
• pp.920-925
• /
• 2001

A study on the topology optimization of a multi-spectral camera for space-use is presented. A multi-spectral camera for space-use experiences degradation of optical image in the space, which can not be detected on the optical test bench on the earth. An optical surface deformation of a primary mirror, which is a principal component of the camera system, under the self-weight loading is an important factor affecting the optical performance of the whole camera system. In this study, topology optimization of the primary mirror of the camera is presented. Total mass of the primary mirror is given as a constraint to the optimization problem. The sensitivities of the objective function and constraint are calculated by direct differentiation method. Optimization procedure is carried out by an optimality criterion method using the sensitivities of the objective function and the constraint. As a preliminary example, topology optimization considering a self-weight loading is treated. For practical use, the polishing pressure is included as a loading in the topology optimization of the primary mirror. Results of the optimized design topology for the primary mirror with varying mass ratios are presented.

• 제어로봇시스템학회논문지
• /
• 제19권12호
• /
• pp.1061-1066
• /
• 2013

In the steel industry, the detection of tiny defects including its 3D characteristics on steel surfaces is very important from the point of view of quality control. A multi-spectral photometric stereo method is an attractive scheme because the shape of the defect can be obtained based on the images which are acquired at the same time by using a multi-channel camera. Moreover, the calculation time required for this scheme can be greatly reduced for real-time application with the aid of a GPU (Graphic Processing Unit). Although a more reliable shape reconstruction of defects can be possible when the numbers of available images are increased, it is not an easy task to construct a camera system which has more than 3 channels in the visible light range. In this paper, a new 6-channel camera system, which can distinguish the vertical/horizontal linearly polarized lights of RGB light sources, was developed by adopting two 3-CCD cameras and two polarized lenses based on the fact that the polarized light is preserved on the steel surface. The photometric stereo scheme with 6 images was accelerated by using a GPU, and the performance of the proposed system was validated through experiments.

• 대한원격탐사학회지
• /
• 제19권4호
• /
• pp.291-305
• /
• 2003

원격탐사는 각종 상업용 위성과 항공사진을 바탕으로 연구된다. 그러나 이러한 자료는 연구자들이 원하는 시기와 장소에서 촬영하는데 기상조건 및 경제적 이유로 많은 어려움을 겪고 있다. 이러한 문제점을 해결하는 작은 방안의 하나로 본 연구에서는 소형비행기 및 초경량 비행기에 탈 부착이 가능한 소형 다중분광 자동 항공촬영시스템을 개발하였다. 본 항공촬영시스템은 연구실 자체에서 보유한 고해상도 다중분광카메라(가시대역, 적외선대역)와 열 적외선 카메라, 자체 제작한 자동카메라 정밀자세조정장치, 촬영관제 소형컴퓨터, gimbal, GPS수신기, 기상센서 등으로 구성되어 있다. 이에 대한 성능평가 및 분석을 경북 칠포지역에서 2회, 낙동강지역에서 3회, 경안천 지역에서 2회 실시하였다 그 결과, 다양한 항공사진, 기상자료 및 GPS자료를 획득할 수 있었고, 환경감시등에 유용성이 매우 높음을 알 수 있었다.

• 한국위성정보통신학회논문지
• /
• 제9권3호
• /
• pp.47-52
• /
• 2014

본 논문은 이미지 처리 기술을 이용한 광 카메라 통신(OCC: Optical Camera Communications) 기술을 제안한다. OCC 시스템의 구조 및 동작을 제안한다. 상용 30fps 카메라의 샘플링 동작에 의해 제한되는 데이터율을 증가시키기 위해 칼라 이미지 처리기술을 이용한 멀티칼러 전송기법을 제안한다. 멀티칼라 부호화 및 이미지 처리기반의 복호화 기법을 제안한다.