• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2008.11a
• /
• pp.109-112
• /
• 2008

최근 MPEG(moving picture experts group)에서 표준화를 진행하고 있는 3차원 비디오 시스템은 다시점 영상과 깊이영상을 동시에 이용하여 사용자가 임의의 시점을 선택하거나 스테레오스코픽 장치와 같은 3차원 영상 재생장 치를 동해 3차원 영상을 제공하는 차세대 방송 시스템이다 제한된 시점수를 이용하여 보다 많은 시점의 영상을 제공하려면 중간시점의 영상을 보간하는 장치가 필수적이다. 이 시스템의 입력정보인 깊이값을 이용하면 시점이동을 쉽게 할 수 있는데, 보간한 영상의 화질은 이 깊이값의 정확도에 따라 결정된다. 깊이맵은 대개 컴퓨터 비전을 기반으로 한 스테레오 정합기술을 이용 획득하는데, 객체의 경계와 같은 깊이값 불연속 영역에서 주로 깊이값 오류가 발생하게 된다. 이런 오류는 생성한 중간영상의 배경에 원치 않는 잡음을 발생시킨다. 기존의 방법에서는 측정한 깊이법의 객체 경계와 영상의 객체 경계가 일치한다는 가정으로 중간영상을 합성했다. 그러나 실제로는 깊이값 측정 과정에서 두 가지 경계가 일치하지 않아 전경의 일부분이 배경으로 합성되어 잡음을 발생하는 것이다. 본 논문에서는 깊이맵을 기반으로 중간시점의 영상을 보간할 때 발생하는 경계 잡음을 처리하는 방법을 제안한다. 중간영상을 합성할 때 비폐색 영역을 합성한 후 경계 잡음이 발생할 수 있는 영역을 비폐색 영역을 따라 구별한 다음, 잡음이 없는 참조 영상을 이용함으로써 경계 잡음을 처리할 수 있다. 실험 결과를 통해 배경 잡음이 사라진 자연스러운 합성영상을 생성했다.

• Information and Communications Magazine
• /
• v.24 no.4
• /
• pp.59-66
• /
• 2007

최근 3차원 TV 방송 기술에 대한 연구가 활발히 이루어지고 있다. 3차원 TV 방송 기술이란 2차원 영상에 깊이 정보를 부가하여 사용자로 하여금 입체감과 현장감을 느낄 수 있게 하는 방송을 말한다. 스테레오 영상을 이용하면 입체감은 느낄 수 있지만 시점이 고정되는 단점이 있다. 또한, 다시점 영상의 경우 데이터 양이 커지는 단점이 있다. 이러한 문제를 해결하고, 자연스럽고 연속적인 입체감을 느낄 수 있게 하는 방법으로 중간 시점 영상 합성 방법이 사용된다. 본고에서는 3차원 영상처리 기술의 한 분야 중 중간 시점 영상을 합성하는 방식에 대해 살펴보고자 한다. 기존의 스테레오 정합을 기반으로 하는 변이 추정 방식과 변이를 이용하여 중간 시점 영상을 합성하는 방법에 대해 기술하고 결론을 맺고자 한다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.20 no.2
• /
• pp.375-384
• /
• 2016

In this paper, when stereo image, satellite view and corresponding depth maps were used as the input data, we propose a new method that convert these data to data format suitable for compressing, and then by using these format, intermediate view is synthesized. In the transmitter depth maps are merged to a global depth map and satellite view are converted to residual image corresponding hole region as out of frame area and occlusion region. And these images subsampled to reduce a mount of data and stereo image of main view are encoded by HEVC codec and transmitted. In the receiver intermediate views between stereo image and between stereo image and bit-rate are synthesized using decoded global depth map, residual images and stereo image. Through experiments, we confirm good quality of intermediate views synthesized by proposed format subjectively and objectively in comparison to intermediate views synthesized by MVD format versus total bit-rate.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.34 no.10B
• /
• pp.1070-1075
• /
• 2009

In this paper, we propose new depth estimation and intermediate view synthesis algorithms for three-dimensional video generation. In order to improve temporal consistency of the depth map sequence, we add a temporal weighting function to the conventional matching function when we compute the matching cost for estimating the depth information. In addition, we propose a boundary noise removal method in the view synthesis operation. after finding boundary noise areas using the depth map, we replace them with corresponding texture information from the other reference image. Experimental results showed that the proposed algorithm improved temporal consistency of the depth sequence and reduced flickering artifacts in the virtual view. It also improved visual quality of the synthesized virtual views by removing the boundary noise.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.29 no.5C
• /
• pp.632-641
• /
• 2004

In this paper, a new intermediate view reconstruction method employing a stereo image rectification algorithm by which an uncalibrated input stereo image can be transformed into the calibrated one is suggested and its performance is analyzed. In the proposed method, feature point are extracted from the stereo image pair though detection of the corners and similarities between each pixel of the stereo image. And then, using these detected feature points, the moving vectors between stereo image and the epipolar line is extracted. Finally, the input stereo image is rectified by matching the extracted epipolar line between the stereo image in the horizontal direction and intermediate views are reconstructed by using these rectified stereo images. From some experiments on synthesis of the intermediate views by using three kinds of stereo image; a CCETT's stereo image of 'Man' and two stereo images of 'Face' ＆ 'Car' captured by real camera, it is analyzed that PSNRs of the intermediate views reconstructed from the calibrated image by using the proposed rectification algorithm are improved by 2.5㏈ for 'Man', 4.26㏈ for 'Pace' and 3.85㏈ for 'Car' than !hose of the uncalibrated ones. This good experimental result suggests a possibility of practical application of the unposed stereo image rectification algorithm-based intermediate view reconstruction view to the uncalibrated stereo images.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2001.11a
• /
• pp.137-142
• /
• 2001

입체 시점 확장을 위하여 많은 양의 영상 데이터가 필요하다. 그러나 이를 전송하치 위해서는 전송량, 장치 등의 여러 어려움이 존재한다. 이에 소량의 영상 데이터를 보내고 수신 측에서 시점을 확장하는 방법으로 중간 영상 합성이 연구되고 있다. 중간 영상 합성을 위해서는 많은 방법들이 제안되었다 블록 매칭, 화소 기반 매칭, 에페폴라 방식, 옵티컬 플로워 등이 그것이다. 본 고에서는 위의 방법들 중에서 블록 매칭 방법을 기본으로, 블록을 생성하는 과정에서 고정 블록이 아닌 영상의 차분 신호를 이용하여 가변 블록을 생성하게 되며, 좌에서 우나 우에서 좌의 단방향이 아닌 양 방향으로 매칭하는 방법을 제안한다.

• Smart Media Journal
• /
• v.1 no.3
• /
• pp.36-42
• /
• 2012

Recently, the smart applications, such as smart phone and smart TV, become a hot issue in IT consumer markets. In particular, the smart TV provides 3D video services, hence efficient coding methods for 3D video data are required. Three-dimensional (3D) video involves stereoscopic or multi-view images to provide depth experience through 3D display systems. Binocular cues are perceived by rendering proper viewpoint images obtained at slightly different view angles. Since the number of viewpoints of the multi-view video is limited, 3D display devices should generate arbitrary viewpoint images using available adjacent view images. In this paper, after we explain a view synthesis method briefly, we propose a new algorithm to compensate view synthesis errors around object boundaries. We describe a 3D warping technique exploiting the depth map for viewpoint shifting and a hole filling method using multi-view images. Then, we propose an algorithm to remove boundary noises that are generated due to mismatches of object edges in the color and depth images. The proposed method reduces annoying boundary noises near object edges by replacing erroneous textures with alternative textures from the other reference image. Using the proposed method, we can generate perceptually inproved images for 3D video systems.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2001.11a
• /
• pp.101-104
• /
• 2001

3차원 TV를 구현하기 위한 기술은 아날로그 TV, 디지털 TV, HDTV에 이어 차세대의 TVRL 기술로서 미국, 유럽, 일본 등에서 국가의 대형연구과제로 연구되고 있다. 이를 위한 중요기술로서 다 시점 입체영상구현을 위한 많은 연구들이 진행되고 있다. 다 시점 입체영상 구현을 위하여서는 많은 시점의 영상들이 필요한데 여기에는 카메라 설치, 데이터 전송 등에서 많은 문제가 존재한다. 이런 문제를 해결하기 위하여 본 논문에서는 적은 량의 정보로 양질의 디스플레이를 할 수 있는 한 기법으로 중간영상합성 기법을 제안한다. 본 연구의 결과를 평가하기 위해 기존 방법과 비교한 결과 좋은 효과를 보였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.06a
• /
• pp.218-221
• /
• 2019

본 논문은 최근 MPEG-I 에서 논의되고 있는 전방위 6 자유도 영상의 가상시점 합성의 기존 공개 소프트웨어의 문제점 해결방안을 제안한다. 참조시점을 사용하여 합성된 가상시점의 영상을 대상으로 묶음 조정(bundle adjustment) 개념의 딥 러닝을 적용하여 영상 간 시공간적 품질 차이를 낮춘다. 실험에 따르면 중간시점 영상 합성 후 같은 시간적 특성을 같은 묶음을 MF-CNN (Multi-Frame Convolutional Neural Networks)에 적용함으로써 단순 VVS2.0 의 합성 결과 대비 평균 공간적으로 0.34dB, 시간적으로 0.81dB의 성능 향상을 제공하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.22-24
• /
• 2011

본 논문에서는 3차원 디스플레이 시스템에서 다수의 중간 시점 영상을 실시간으로 생성할 수 있도록 GPU 기반의 고속 영상 합성기법을 제안하였으며 그에 대한 성능을 알아본다. 카메라의 기하 정보 및 참조 영상들의 깊이 정보를 이용하여 중간 시점 영상을 생성하였으며, 영상 합성 방법을 GPU에서 병렬 처리함으로써 고속화할 수 있었다. GPU를 효율적으로 다루기 위해 NVIDIA사의 CUDA(Compute Unified Device Architecture)$^TM$를 이용하였다. 제안한 기법은 CUDA의 SIMD(Single Instruction MUltiple Data) 구조를 사용하여 중간 영상 합성을 처리할 수 있도록 설계하였다. 본 논문은 고속 영상 합성에 중점을 두었고, 제안한 고속화 기법의 결과를 분석함으로써 다시점 3차원 디스플레이 시스템의 적용 가능성을 알아본다.