• Journal of the Korea Computer Graphics Society
• /
• v.29 no.3
• /
• pp.13-19
• /
• 2023

카메라 센서의 한계로 인하여 촬영 장면에 따라 한 번의 촬영으로 모든 영역의 밝기가 적절하게 촬영되지 않는 경우가 존재한다. 이러한 센서의 한계는 하이 다이나믹 레인지 이미징 기술을 통해서 극복이 가능하다. 한 장면을 다양한 노출 설정으로 여러 번 촬영하는 브라케팅은 움직이는 피사체를 찍기에 적절하지 않으며 촬영 시간이 길다는 단점이 있다. 본 연구는 한 번의 촬영으로 서로 다른 노출의 이미지를 얻을 수 있는 소형 라이트필드 카메라를 제안한다. 라이트필드 카메라는 대표적으로 두 가지 형태가 있는데, 첫 번째는 여러 대의 카메라를 어레이로 배치한 라이트필드 카메라 시스템이며, 두 번째는 대물렌즈 뒤에 마이크로 렌즈 어레이를 배치한 카메라이다. 본 연구에서 제작된 초박형 라이트필드 카메라는 센서 위에 마이크로 렌즈어레이가 부착되어있는 형태의 카메라로 각 렌즈 조리개 크기를 다르게 설계하여 한 번의 촬영으로 다른 노출의 촬영 결과를 얻을 수 있게 설계되었다. 촬영된 단일 영상들을 전처리 하여 이미지 품질을 높인 이후, HDR 알고리즘을 통해 각 단일 이미지들보다 다이나믹 레인지가 넓은 이미지를 획득하도록 구현하였다. 또한 노출 시간을 기준으로 설계된 식을 수정하여 조리개값에 따라 다른 가중치를 둘 수 있도록 바꾸었고, 이를 통해 단 한 번의 촬영을 통한 HDR 이미징을 구현하였다.

• Journal of the Korea Computer Graphics Society
• /
• v.27 no.3
• /
• pp.25-29
• /
• 2021

초박형 라이트필드 카메라 시스템은 이미지 센서 위에 렌즈 어레이를 부착하는 방식으로 만들어진다. 이러한 초박형 라이트필드 카메라는 하나의 이미지 센서를 여러 개의 sub-aperture가 나눠쓰는 방식으로 되어있어 개별 이미지의 분해능이 낮으며, sub-aperture 이미지들을 융합해 추가적인 분해능 향상이 수행되어야 한다. 본 연구에서는 초박형 라이트필드 카메라 시스템을 개발했으며, 개발된 카메라 시스템을 위한 실시간 분해능 향상 알고리즘을 개발, 실험을 통해 검증했다. 개발된 초박형 라이트필드 카메라는 두께 2mm, 24개(6×4)의 551×551 해상도의 sub-aperture로 구성되어 있으며, 임베디드 컴퓨팅 보드를 사용해 휴대가 가능하도록 제작되었다. 실시간 분해능 향상 알고리즘은 임베디드 컴퓨팅 보드의 GPU에서 병렬처리를 통해 라플라시안 피라미드 기반의 이미지 융합 알고리즘을 수행한다. 실험을 통해 검증한 결과로, 개발 시스템은 MTF50값이 평균 35% 정도 개선되었으며, 10.65fps의 처리속도로 실시간 처리가 가능함을 확인했다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2021.10a
• /
• pp.109-111
• /
• 2021

Recently, computer vision research using light field cameras has been actively conducted. Since light field cameras have spatial information, various studies are being conducted in fields such as depth map estimation, super resolution, and 3D object detection. In this paper, we propose a method for detecting objects in blur images through a 7×7 array of images acquired through a light field camera. The blur image, which is weak in the existing camera, is detected through the light field camera. The proposed method uses the SSD algorithm to evaluate the performance using blur images acquired from light field cameras.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.06a
• /
• pp.150-152
• /
• 2019

본 논문에서는 기존의 연구를 극복하여 단일 영상이 아닌 단안 비디오로부터 5D 라이트필드 영상을 합성하는 딥러닝 프레임워크를 제안한다. 현재 일반적으로 사용 가능한 Lytro Illum 카메라 등은 초당 3프레임의 비디오만을 취득할 수 있기 때문에 학습용 데이터로 사용하기에 어려움이 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 가상 환경 데이터를 구성하며 이를 위해 UnrealCV를 활용하여 사실적 그래픽 렌더링에 의한 데이터를 취득하고 이를 학습에 사용한다. 제안하는 딥러닝 프레임워크는 두 개의 입력 단안 비디오에서 $5{\times}5$의 각 SAI(sub-aperture image)를 갖는 라이트필드 비디오를 합성한다. 제안하는 네트워크는 luminance 영상으로 변환된 입력 영상으로부터 appearance flow를 추측하는 플로우 추측 네트워크(flow estimation network), appearance flow로부터 얻어진 두 개의 라이트필드 비디오 프레임 간의 optical flow를 추측하는 광학 플로우 추측 네트워크(optical flow estimation network)로 구성되어있다.

• Journal of Broadcast Engineering
• /
• v.24 no.5
• /
• pp.755-764
• /
• 2019

Currently commercially available light field cameras are difficult to acquire 5D light field video since it can only acquire the still images or high price of the device. In order to solve these problems, we propose a deep learning based method for synthesizing the light field video from monocular video. To solve the problem of obtaining the light field video training data, we use UnrealCV to acquire synthetic light field data by realistic rendering of 3D graphic scene and use it for training. The proposed deep running framework synthesizes the light field video with each sub-aperture image (SAI) of $9{\times}9$ from the input monocular video. The proposed network consists of a network for predicting the appearance flow from the input image converted to the luminance image, and a network for predicting the optical flow between the adjacent light field video frames obtained from the appearance flow.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.24 no.12
• /
• pp.1604-1611
• /
• 2020

Light field image captured by a microlens array-based camera has many limitations in practical use due to its low spatial resolution and angular resolution. High spatial resolution images can be easily acquired with a single image super-resolution technique that has been studied a lot recently. But there is a problem in that high angular resolution images are distorted in the process of using disparity information inherent among images, and thus it is difficult to obtain a high-quality angular resolution image. In this paper, we propose light field angular super-resolution that extracts an initial feature map using an dilated convolutional neural network in order to effectively extract the view difference information inherent among images and generates target image using a residual neural network. The proposed network showed superior performance in PSNR and subjective image quality compared to existing angular super-resolution networks.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.22 no.2
• /
• pp.261-269
• /
• 2018

This paper presents a convenient method to estimate the internal parameters of plenoptic camera using CCD(charge-coupled device) camera model. The images used for plenoptic camera calibration generally use the checkerboard pattern used in CCD camera calibration. Based on the CCD camera model, the determinant of the plenoptic camera model can be derived through the relationship with the plenoptic camera model. We formulate four equations that express the focal length, the principal point, the baseline, and distance between the virtual camera and the object. By performing a nonlinear optimization technique, we solve the equations to estimate the parameters. We compare the estimation results with the actual parameters and evaluate the reprojection error. Experimental results show that the MSE(mean square error) is 0.309 and estimation values are very close to actual values.

• Journal of the Semiconductor & Display Technology
• /
• v.22 no.3
• /
• pp.149-154
• /
• 2023

This paper presents a novel approach to multi-focus image fusion using light field cameras. The proposed neural network, LFFCNN (Light Field Focus Convolutional Neural Network), is composed of three main modules: feature extraction, feature fusion, and feature reconstruction. Specifically, the feature extraction module incorporates SPP (Spatial Pyramid Pooling) to effectively handle images of various scales. Experimental results demonstrate that the proposed model not only effectively fuses a single All-in-Focus image from images with multi focus images but also offers more efficient and robust focus fusion compared to existing methods.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.22 no.3
• /
• pp.425-433
• /
• 2018

In this paper, we propose a super-resolution reconstruction algorithm for plenoptic images based on the reliability of disparity. The subperture image generated by the Flanoptic camera image is used for disparity estimation and reconstruction of super-resolution image based on TV_L1 algorithm. In particular, the proposed image reconstruction method is effective in the boundary region where disparity may be relatively inaccurate. The determination of reliability of disparity vector is based on the upper, lower, left and right positional relationship of the sub-aperture image. In our method, the unreliable vectors are excluded in reconstruction. The performance of the proposed method was evaluated by comparing to a bicubic interpolation method, a conventional disparity based method and dictionary based method. The experimental results show that the proposed method provides the best performance in terms of PSNR(Peak Signal to noise ratio), SSIM(Structural Similarity).