• 방송공학회논문지
• /
• 제20권5호
• /
• pp.676-686
• /
• 2015

Light field 카메라를 이용하여 영상을 취득한 후 다양한 응용 프로그램으로 확장이 가능한 4차원 light field 영상은 일반적인 2차원 공간영역(spatial domain)과 추가적인 2차원 각영역(angular domain)으로 구성된다. 그러나 이러한 4차원 light field 영상을 유한한 해상도를 가진 2차원 CMOS 센서로 취득하므로 저해상도의 제약이 존재한다. 본 논문에서는 이러한 4차원 light field 영상이 가지는 해상도 제약 조건을 해결하기 위하여, 4차원 light field 영상에 적합한 딕셔너리 학습 기반(dictionary learning-based) 초해상도(superresolution) 알고리즘을 제안한다. 제안하는 알고리즘은 4차원 light field 영상으로부터 추출한 많은 수의 4차원 패치(patch)들을 바탕으로 딕셔너리를 구성 및 훈련하며, 학습된 딕셔너리를 바탕으로 저해상도 입력 영상의 해상도를 향상시키는 과정을 수행한다. 제안하는 알고리즘은 공간영역과 각영역의 해상도를 동시에 각각 2배 향상시킨다. 실험에 사용된 영상은 상용 light field 카메라인 Lytro에서 취득하였고 기존의 알고리즘과의 비교를 통해 제안하는 알고리즘의 우수성을 검증한다.

• Current Optics and Photonics
• /
• 제5권4호
• /
• pp.409-420
• /
• 2021

We propose a method to synthesize a color non-hogel-based computer-generated-hologram (CGH) from light field data of a three-dimensional scene with a hologram pixel pitch shared for all color channels. The non-hogel-based CGH technique generates a continuous wavefront with arbitrary carrier wave from given light field data by interpreting the ray angle in the light field to the spatial frequency of the plane wavefront. The relation between ray angle and spatial frequency is, however, dependent on the wavelength, which leads to different spatial frequency sampling grid in the light field data, resulting in color aberrations in the hologram reconstruction. The proposed method sets a hologram pixel pitch common to all color channels such that the smallest blue diffraction angle covers the field of view of the light field. Then a spatial frequency sampling grid common to all color channels is established by interpolating the light field with the spatial frequency range of the blue wavelength and the sampling interval of the red wavelength. The common hologram pixel pitch and light field spatial frequency sampling grid ensure the synthesis of a color hologram without any color aberrations in the hologram reconstructions, or any loss of information contained in the light field. The proposed method is successfully verified using color light field data of various test or natural 3D scenes.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 추계학술대회
• /
• pp.180-181
• /
• 2015

In this paper, we present a consistent and efficient edit propagation method that is applied for light field data. Unlike conventional sparse edit propagation, the coherency between light field sub-aperture images is fully considered by utilizing light field consistency in the optimization framework. Instead of directly solving the optimization function on all light field sub-aperture images, the proposed optimization framework performs sparse edit propagation in the extended focus image domain. The extended focus image is the representative image that contains implicit depth information and the well-focused region of all sub-aperture images. The edit results in the extended focus image are then propagated back to each light field sub-aperture image. Experimental results on test images captured by a Lytro off-the-shelf light field camera confirm that the proposed method provides robust and consistent results of edited light field sub-aperture images.

• ETRI Journal
• /
• 제46권2호
• /
• pp.165-174
• /
• 2024

We propose a method to suppress the speckle noise and blur effects of the light field extracted from a hologram using a deep-learning technique. The light field can be extracted by bandpass filtering in the hologram's frequency domain. The extracted light field has reduced spatial resolution owing to the limited passband size of the bandpass filter and the blurring that occurs when the object is far from the hologram plane and also contains speckle noise caused by the random phase distribution of the three-dimensional object surface. These limitations degrade the reconstruction quality of the hologram resynthesized using the extracted light field. In the proposed method, a deep-learning model based on a generative adversarial network is designed to suppress speckle noise and blurring, resulting in improved quality of the light field extracted from the hologram. The model is trained using pairs of original two-dimensional images and their corresponding light-field data extracted from the complex field generated by the images. Validation of the proposed method is performed using light-field data extracted from holograms of objects with single and multiple depths and mesh-based computer-generated holograms.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 하계학술대회
• /
• pp.497-498
• /
• 2015

영상을 취득한 후 다양한 응용프로그램으로 확장이 가능한 4 차원 light field 영상은 일반적인 2 차원 공간 (spatial) 영역과 추가적인 2 차원 각 (angular) 영역으로 구성된다. 그러나 이러한 4 차원 light field 영상을 2 차원 CMOS 센서로 취득하므로 이에 따른 해상도 제약이 존재한다. 본 논문에서는 이러한 4 차원 light field 영상이 가지는 해상도 제약 조건을 해결하기 위하여, 4 차원 light field 영상에 적합한 학습 기반 (learning-based) 초해상도 (superresolution) 알고리즘을 제안한다. 제안하는 알고리즘은 공간영역 해상도 그리고 각영역의 해상도를 각각 2 배 향상시킨다. 실험에 사용되는 영상은 상용 light field 카메라인 Lytro 에서 취득하며, 기존의 선형 보간 기법인 bicubic 기법과의 비교를 통해 제안하는 기법의 우수성을 검증한다.

• Current Optics and Photonics
• /
• 제6권4호
• /
• pp.375-380
• /
• 2022

We demonstrate two types of light field displays based on waveguide grating coupler arrays: a line beam type and a point source type. Ultra violet imprinting of an array of diffractive nanograting cells on the top surface of a 50-㎛-thin slab waveguide can deliver a line beam or a point beam to a multidirectional light field out of the waveguide slab. By controlling the grating vectors of the nanograting cells, the waveguide modes are externally coupled to specific viewing angles to create a multidirectional light field display. Nanograting cells with periods of 300 nm-518 nm and slanted angles of -8.5°~+8.5° are fabricated by two-beam interference lithography on a 40 mm × 40 mm slab waveguide for seven different viewpoints. It is expected that it will be possible to realize a very thin and flexible panel that shows multidirectional light field images through the waveguide-type diffraction display.

• 방송공학회논문지
• /
• 제24권5호
• /
• pp.755-764
• /
• 2019

현재 사용 가능한 상용 라이트필드 카메라는 정지 영상만을 취득하거나 가격이 매우 높은 단점으로 인하여 5차원 라이트필드 비디오 취득에 어려움이 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 단안 비디오로부터 라이트필드 비디오를 합성하기 위한 딥러닝 기반 기법을 제안한다. 라이트필드 비디오 학습 데이터를 취득하기 어려운 문제를 해결하기 위하여 UnrealCV를 활용하여 3차원 그래픽 장면의 사실적 렌더링에 의한 합성 라이트필드 데이터를 취득하고 이를 학습에 사용한다. 제안하는 딥러닝 프레임워크는 입력 단안 비디오에서 $9{\times}9$의 각 SAI(sub-aperture image)를 갖는 라이트필드 비디오를 합성한다. 제안하는 네트워크는 밝기 영상으로 변환된 입력 영상으로부터 appearance flow를 추정하는 네트워크, appearance flow로부터 얻어진 인접한 라이트필드 비디오 프레임간의 optical flow를 추정하는 네트워크로 구성되어 있다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2021년도 추계학술대회
• /
• pp.109-111
• /
• 2021

최근 라이트 필드 카메라를 통한 컴퓨터 비전 연구가 활발히 진행되고 있다. 라이트 필드 카메라에서는 공간정보를 가지고 있기 때문에, depth map estimation, super resolution, 3D object detection 과 같은 분야에서 다양한 연구가 진행되고 있다. 본 논문에서는 라이트필드 카메라를 통해 취득되는 7×7 배열의 이미지를 통해 blur 영상에서 객체를 검출하기 위한 방법을 제안한다. 기존의 카메라에서 취약한 blur 영상을 라이트 필드 카메라를 통하여 검출한다. 제안하는 방법은 SSD 알고리즘을 사용하여 실제 라이트 필드 카메라에서 취득한 blur 영상을 사용하여 성능평가를 수행한다

• Journal of Information Processing Systems
• /
• 제19권4호
• /
• pp.483-497
• /
• 2023

Depth estimation is one of the most complicated and difficult problems to deal with in the light field. In this paper, a compound attention convolutional neural network (CAttNet) is proposed to extract depth maps from light field images. To make more effective use of the sub-aperture images (SAIs) of light field and reduce the redundancy in SAIs, we use a compound attention mechanism to weigh the channel and space of the feature map after extracting the primary features, so it can more efficiently select the required view and the important area within the view. We modified various layers of feature extraction to make it more efficient and useful to extract features without adding parameters. By exploring the characteristics of light field, we increased the network depth and optimized the network structure to reduce the adverse impact of this change. CAttNet can efficiently utilize different SAIs correlations and features to generate a high-quality light field depth map. The experimental results show that CAttNet has advantages in both accuracy and time.

• Current Optics and Photonics
• /
• 제6권3호
• /
• pp.313-322
• /
• 2022

Remote-sensing optical payloads, especially hyperspectral imagers, have particular issues with stray light because they often encounter high-contrast target/background conditions, such as sun glint. While developing an optical payload, we usually apply several stray-light analysis methods, including forward and backward analyses, separately or in combination, to support lens design and optomechanical design. In addition, we often characterize the stray-light response over a full field to support calibration, or when developing an algorithm to correct stray-light errors. For this purpose, we usually use forward analysis across the entire field, but this requires a tremendous amount of computational time. In this paper, we propose a sequence of forward-backward-forward analyses to more effectively investigate the through-field response of stray light, utilizing the combined advantages of the individual methods. The application is an airborne hyperspectral imager for creating hyperspectral maps from 900 to 1700 nm in a 5-nm-continuous band. With the proposed method, we have investigated the through-field response of stray light to an effective accuracy of 0.1°, while reducing computation time to 1/17^th of that for a conventional, forward-only stray-light analysis.