• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2008.11a
• /
• pp.109-112
• /
• 2008

최근 MPEG(moving picture experts group)에서 표준화를 진행하고 있는 3차원 비디오 시스템은 다시점 영상과 깊이영상을 동시에 이용하여 사용자가 임의의 시점을 선택하거나 스테레오스코픽 장치와 같은 3차원 영상 재생장 치를 동해 3차원 영상을 제공하는 차세대 방송 시스템이다 제한된 시점수를 이용하여 보다 많은 시점의 영상을 제공하려면 중간시점의 영상을 보간하는 장치가 필수적이다. 이 시스템의 입력정보인 깊이값을 이용하면 시점이동을 쉽게 할 수 있는데, 보간한 영상의 화질은 이 깊이값의 정확도에 따라 결정된다. 깊이맵은 대개 컴퓨터 비전을 기반으로 한 스테레오 정합기술을 이용 획득하는데, 객체의 경계와 같은 깊이값 불연속 영역에서 주로 깊이값 오류가 발생하게 된다. 이런 오류는 생성한 중간영상의 배경에 원치 않는 잡음을 발생시킨다. 기존의 방법에서는 측정한 깊이법의 객체 경계와 영상의 객체 경계가 일치한다는 가정으로 중간영상을 합성했다. 그러나 실제로는 깊이값 측정 과정에서 두 가지 경계가 일치하지 않아 전경의 일부분이 배경으로 합성되어 잡음을 발생하는 것이다. 본 논문에서는 깊이맵을 기반으로 중간시점의 영상을 보간할 때 발생하는 경계 잡음을 처리하는 방법을 제안한다. 중간영상을 합성할 때 비폐색 영역을 합성한 후 경계 잡음이 발생할 수 있는 영역을 비폐색 영역을 따라 구별한 다음, 잡음이 없는 참조 영상을 이용함으로써 경계 잡음을 처리할 수 있다. 실험 결과를 통해 배경 잡음이 사라진 자연스러운 합성영상을 생성했다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.11a
• /
• pp.260-263
• /
• 2011

이 논문에서 제안한 방법은 간단하게 중간 시점 깊이 영상을 생성하는 방법이다. 왼쪽 시점과 오른쪽 시점 두 가지 깊이 영상을 가지고 깊이 값을 계산 한 후 깊이 값과 시점의 이동에 따라 물체의 위치가 변화하는 상관관계를 간단한 식으로 계산해 중간 시점을 만든다. 중간 시점을 생성 한 후, 픽셀 이동에 따른 노이즈 감소 방법을 사용하는 기존 알고리즘 (1)과 이를 수정한 노이즈 감소 방법과 Occlusion영역을 채운 후, 중간 시점을 생성하는 알고리즘 (2)를 사용한다. 우리가 생성한 중간 시점의 PSNR은 알고리즘 (1)는 30.38dB이고, 알고리즘 (2)는 30.52dB이다.

• Information and Communications Magazine
• /
• v.24 no.4
• /
• pp.59-66
• /
• 2007

최근 3차원 TV 방송 기술에 대한 연구가 활발히 이루어지고 있다. 3차원 TV 방송 기술이란 2차원 영상에 깊이 정보를 부가하여 사용자로 하여금 입체감과 현장감을 느낄 수 있게 하는 방송을 말한다. 스테레오 영상을 이용하면 입체감은 느낄 수 있지만 시점이 고정되는 단점이 있다. 또한, 다시점 영상의 경우 데이터 양이 커지는 단점이 있다. 이러한 문제를 해결하고, 자연스럽고 연속적인 입체감을 느낄 수 있게 하는 방법으로 중간 시점 영상 합성 방법이 사용된다. 본고에서는 3차원 영상처리 기술의 한 분야 중 중간 시점 영상을 합성하는 방식에 대해 살펴보고자 한다. 기존의 스테레오 정합을 기반으로 하는 변이 추정 방식과 변이를 이용하여 중간 시점 영상을 합성하는 방법에 대해 기술하고 결론을 맺고자 한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.361-364
• /
• 2011

이 논문에서 제안한 방법은 간단하게 중간 시점 깊이 영상을 생성하는 방법이다. 왼쪽 시점과 오른쪽 시점 두 가지 깊이 영상을 가지고 깊이값을 계산 한 후 깊이값과 시점의 이동에 따라 물체의 위치가 변화하는 상관관계를 간단한 식으로 계산해 중간 시점을 만든다. 중간 시점을 생성 한 후, occlusion영역을 채우는 방법과 픽셀 이동에 따른 노이즈 감소 방법을 사용한다. 우리가 생성한 중간 시점의 PSNR은 32.255dB이며, $1,920{\times}1,080$ 영상 기준 한 장당 약 0.406s의 생성 속도를 갖는다.

• Journal of Broadcast Engineering
• /
• v.17 no.2
• /
• pp.363-373
• /
• 2012

This paper proposes a method to generate a depth image at an arbitrary intermediate view-point, which is targeting a video service for free-view, auto-stereoscopy, holography, etc. It assumes that the leftmost and the rightmost depth images are given and they both have been camera-calibrated and image-rectified. This method calculates and uses a disparity increment per depth value. In this paper, it is obtained by stereo matching for the given two depth image by considering more general cases. The disparity increment is used to find the location in the intermediate view-point depth image (IVPD) for each depth in the given images. Thus, this paper finds two IVPDs, from left image and from right image. Noises are removed and holes are filled in each IVPDs and the two results are combined to get the final IVPD. The proposed method was implemented and applied to several test sequences. The results revealed that the quality of the generated IVPD corresponds to 33.84dB of PSNR in average and it takes about 1 second to generate a HD IVPD. We evaluate that this image quality is quite good by considering the low correspondency among the left images, intermediate images, and the right images in the test sequences. If the execution speed is improved, the proposed method can be a very useful method to generate an IVPD at an arbitrary view-point, we believe.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.17 no.8
• /
• pp.1908-1918
• /
• 2013

Free-view, auto-stereoscopic video service is a next generation broadcasting system which offers a three-dimensional video, images of the various point are needed. This paper proposes a method that parallelizes the algorithm for arbitrary intermediate view-point image fast generation and make it faster using General Propose Graphic Processing Unit(GPGPU) with help of the Compute Unified Device Architecture(CUDA). It uses a parallelized stereo-matching method between the leftmost and the rightmost depth images to obtain disparity information and It use data calculated disparity increment per depth value. The disparity increment is used to find the location in the intermediate view-point image for each depth in the given images. Then, It is eliminate to disocclusions complement each other and remaining holes are filled image using hole-filling method and to get the final intermediate view-point image. The proposed method was implemented and applied to several test sequences. The results revealed that the quality of the generated intermediate view-point image corresponds to 30.47dB of PSNR in average and it takes about 38 frames per second to generate a Full HD intermediate view-point image.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.26 no.7B
• /
• pp.975-982
• /
• 2001

본 논문에서는 3차원 영상 시스템에서 기준이 되는 좌우 영상이 있을 때 임의의 중간 시점 영상 합성 기법을 제안하였다. 제안한 기법은 양방향 다이나믹 프로그래밍 기반 변이 추정 과정과, 이를 기반으로 양방향 변이 정합과정에 의해 가려진 영역을 추출하는 과정, 그리고 완성된 변이 맵을 바탕으로 중간 시점 영상을 생성하는 과정으로 구성된다. 이중 변이 추정 과정에 제안된 양방향 다이나믹 프로그래밍 기법은, 일반적인 다이나믹 프로그래밍이 가진 장점을 살리면서, 영상 특성을 고려한 코스트 값의 사용 및 양방향 코스트 행렬 생성 방법으로 발생될 수 있는 오류를 최소화함으로써 가려진 영역을 보다 정확하게 구분해 낼 수 있었다. 이후 이러한 과정에서 생성된 변이 맵에 대해 적절한 후처리 과정으로 가려진 영역을 판별하고, 이를 기반으로 한 중간 영상 생성에서 모호한 영역을 고려하여 보다 정확하고 안정적인 결과를 얻을 수 있었다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.20 no.2
• /
• pp.375-384
• /
• 2016

In this paper, when stereo image, satellite view and corresponding depth maps were used as the input data, we propose a new method that convert these data to data format suitable for compressing, and then by using these format, intermediate view is synthesized. In the transmitter depth maps are merged to a global depth map and satellite view are converted to residual image corresponding hole region as out of frame area and occlusion region. And these images subsampled to reduce a mount of data and stereo image of main view are encoded by HEVC codec and transmitted. In the receiver intermediate views between stereo image and between stereo image and bit-rate are synthesized using decoded global depth map, residual images and stereo image. Through experiments, we confirm good quality of intermediate views synthesized by proposed format subjectively and objectively in comparison to intermediate views synthesized by MVD format versus total bit-rate.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2001.11a
• /
• pp.137-142
• /
• 2001

입체 시점 확장을 위하여 많은 양의 영상 데이터가 필요하다. 그러나 이를 전송하치 위해서는 전송량, 장치 등의 여러 어려움이 존재한다. 이에 소량의 영상 데이터를 보내고 수신 측에서 시점을 확장하는 방법으로 중간 영상 합성이 연구되고 있다. 중간 영상 합성을 위해서는 많은 방법들이 제안되었다 블록 매칭, 화소 기반 매칭, 에페폴라 방식, 옵티컬 플로워 등이 그것이다. 본 고에서는 위의 방법들 중에서 블록 매칭 방법을 기본으로, 블록을 생성하는 과정에서 고정 블록이 아닌 영상의 차분 신호를 이용하여 가변 블록을 생성하게 되며, 좌에서 우나 우에서 좌의 단방향이 아닌 양 방향으로 매칭하는 방법을 제안한다.

• Proceedings of the Korea Multimedia Society Conference
• /
• 2001.11a
• /
• pp.101-104
• /
• 2001

3차원 TV를 구현하기 위한 기술은 아날로그 TV, 디지털 TV, HDTV에 이어 차세대의 TVRL 기술로서 미국, 유럽, 일본 등에서 국가의 대형연구과제로 연구되고 있다. 이를 위한 중요기술로서 다 시점 입체영상구현을 위한 많은 연구들이 진행되고 있다. 다 시점 입체영상 구현을 위하여서는 많은 시점의 영상들이 필요한데 여기에는 카메라 설치, 데이터 전송 등에서 많은 문제가 존재한다. 이런 문제를 해결하기 위하여 본 논문에서는 적은 량의 정보로 양질의 디스플레이를 할 수 있는 한 기법으로 중간영상합성 기법을 제안한다. 본 연구의 결과를 평가하기 위해 기존 방법과 비교한 결과 좋은 효과를 보였다.