• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.07a
• /
• pp.334-336
• /
• 2015

In this paper, we describe a couple of methods for Frame Rate Up Conversion (FRUC) in Multi-View system. First, we introduce View Synthesis scheme that generates virtual views and FRUC that interpolates new frames between consecutive frames. Then, we introduce two applications of FRUC. One is a traditional application. The other is an application that uses feature of Multi-View system. Then we compare each result of two applications.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.07a
• /
• pp.415-416
• /
• 2010

이 논문에서 우리는 텍스쳐 정보가 적은 영역이 존재하는 입력 영상들에 대해서도 안정적인 복원을 도출하는 새로운 다시 점 스테레오 방법을 제시한다. 제안된 방법에서는 입력 영상들을 인접한 픽셀간의 색 유사성을 이용하여 세그먼테이션한 후, 세그먼트 단위로 다시점 스테레오를 수행한다. 특히 그 과정에서 한 영상 내의 이웃한 세그먼트들의 깊이 값 유사성, 그리고 서로 다른 시점에서 상응하는 세그먼트 간의 깊이 값 일관성을 가정하여, 텍스쳐 정보가 적은 영역에 대해서도 안정적으로 3D 점들을 생성해준다. 생성된 3D 점들은 그래프 컷 기반의 복원 알고리즘을 통해 일관된 3D 표면으로 복원 되었고, 복원 결과는 제안된 방법이 실제로 기존의 다른 다시점 스테레오에 비해 보다 안정적으로 깊이 정보를 추출할 수 있음을 보여준다. 결과적으로 제안된 방법은 보다 일반적이고 실생활에 가까운 입력 영상들에 대해서도 3D 복원을 수행할 수 있는 방향을 제시한다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2014.10a
• /
• pp.822-823
• /
• 2014

The usual method of generating an image for a multiview display system requires acquiring a color image and depth information of a reference camera. Then, intermediate images, generated using DIBR method, will be captured at a number of different viewpoints and composed to construct an multiview image. When such intermediate views are generated, several holes would be shown because some hidden parts are shown when the screenshot is taken at different angle. Previous research tried to solve this problem by creating a new hole-filling algorithm or enhancing the depth information. This paper describes a new method of enhancing the intermediate view images by applying the Ball Pivoting algorithm, which constructs meshes from a point cloud. When the new method is applied to the Microsoft's "Ballet" and "Break Dancer" data sets, PSNR comparison shows that about 0.18~1.19 increasement. This paper will explaing the new algorithm and the experiment method and results.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.373-375
• /
• 2011

최근 들어, Time-of-Flight (TOF) 방식의 깊이 센서가 컴퓨터 비전이나 영상처리분야 등의 연구에서 다양하게 활용되고 있다. TOF 방식의 깊이 센서는 실시간으로 정확한 깊이 정보를 획득할 수 있는 장점이 있는 반면, 해상도가 낮고 센서의 광학적 특성으로 인해 노이즈가 발생한다는 단점이 있다. 본 논문에서는 이러한 깊이 센서의 단점을 극복하고 고품질의 다시점 영상 합성을 위해 기존 깊이 센서에 여러 대의 Charge-coupled Device (CCD) 카메라를 결합하여 시점 간 일관성 있는 고해상도의 깊이 영상을 획득하는 기술을 제안한다. 한정되어 있는 시점의 영상을 이용하여 다시점 영상을 합성할 때, 각 시점에 해당하는 깊이 영상의 정확도에 따라 합성되는 영상의 품질이 결정된다. 따라서 보유 시점에 해당하는 깊이 영상 간의 일관성이 유지되고 객체의 경계가 정확히 보존되어야만 생성되는 임의 시점 영상의 품질이 보장될 수 있다. 이에, 본 논문에서는 Joint Bilateral Upsampling (JBU)을 기반으로 시점 간 일관성을 고려한 깊이 영상의 해상도 개선 기술을 제안하고 이를 통해 다시점 영상 합성 결과의 품질을 향상시킨다.

• Journal of Broadcast Engineering
• /
• v.17 no.5
• /
• pp.838-850
• /
• 2012

In this paper, we propose a novel algorithm that generates multi-view images by using various image features obtained from the given stereoscopic images. In the proposed algorithm, we first create an intensity gradient saliency map from the given stereo images. And then we calculate a block-based optical flow that represents the relative movement(disparity) of each block with certain size between left and right images. And we also obtain the disparities of feature points that are extracted by SIFT(scale-invariant We then create a disparity saliency map by combining these extracted disparity features. Disparity saliency map is refined through the occlusion detection and removal of false disparities. Thirdly, we extract straight line segments in order to minimize the distortion of straight lines during the image warping. Finally, we generate multi-view images by grid mesh-based image warping algorithm. Extracted image features are used as constraints during grid mesh-based image warping. The experimental results show that the proposed algorithm performs better than the conventional DIBR algorithm in terms of visual quality.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.11a
• /
• pp.236-239
• /
• 2014

3차원 영상을 제작하기 위해서는 여러 시점의 색상 영상과 함께 깊이 정보를 필요로 한다. 하지만 깊이 정보를 얻을 때 사용하는 ToF 카메라는 해상도가 낮으며 적외선 신호의 주파수 문제 때문에 최대 3대까지 사용할 수 있다. 따라서 깊이 정보를 색상 영상과 함께 사용하기 위해서 깊이 정보의 업샘플링이 필수적이다. 업샘플링은 깊이 정보를 색상 카메라 위치로 3차원 워핑하고 결합형 양방향 필터(joint bilateral filter, JBF)를 사용하여 빈 영역을 채우는 방법으로 진행된다. 업샘플링은 오랜 시간이 소요되지만 그래픽스 프로세싱 유닛(graphics processing units, GPU)를 이용하여 빠르게 수행될 수 있다. 본 논문에서는 다중 GPU의 병렬 수행을 통하여 빠르게 다시점 깊이맵을 생성할 수 있는 방법을 제안한다. 다중 GPU 병렬 수행은 범용 목적 GPU(general purpose computing on GPU, GPGPU) 중의 하나인 CUDA를 이용하였으며, 본 논문에서 제안된 방법을 이용하여 3개의 GPU 사용한 실험 결과 초당 35 프레임의 다시점 깊이맵을 생성했다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.07a
• /
• pp.450-451
• /
• 2015

본 논문에서는 렌티큘러 렌즈를 이용한 무안경 입체 디스플레이 환경에서 렌티큘러 렌즈의 속성과 디스플레이 장치의 속성의 변화에 따라 다중 시점에서 촬영한 영상으로부터 적응적으로 하나의 다시점 입체 합성 영상을 생성하는 방법을 제안한다. 제안 방법에서는 렌티큘러 렌즈의 기본 속성과 디스플레이 장치의 기본 속성값을 고려하여 다중 시점에서 획득된 영상의 서브픽셀들의 가중 평균을 구하고 이를 다시점 입체 합성 영상의 서브 픽셀의 값으로 사용하도록 하였다. 여러 다시점 영상을 이용한 실험을 통하여, 렌티큘러 렌즈의 속성과 디스플레이 장치의 속성이 정확히 하드웨어적으로 일치 하지 않은 상황에서도 본 논문에서 제안하는 적응적 다시점 서브 픽셀 재배치 기법을 통하여 3D 입체감이 안정적으로 제공됨을 확인하였다.

• Smart Media Journal
• /
• v.2 no.4
• /
• pp.27-33
• /
• 2013

Multi-view video system provides both realistic 3D feelings and free-view navigation. But it is hard to transmit too huge data, so we send only two or three view images and generate intermediate view image using depth information. In this paper, we propose high quality multi-view image generation method from stereoscopic images. Since the stereo matching method does not provide accurate disparity values for all the pixels, especially at the occlusion area, we propose an occlusion handling method using the background pixels at first. We also apply a joint bilateral filtering to enhance the disparity map at the object boundary since it can affect the quality of synthesized images significantly. Finally, we can generate virtual view images at intermediate view positions using confidence map to reduce bad pixel and hole's error. Experimental results show the proposed method performs better than the conventional method.

• Journal of Broadcast Engineering
• /
• v.18 no.6
• /
• pp.859-871
• /
• 2013

In this paper, we propose an algorithm that generates multi-view images by grid-mesh based image domain warping using occlusion mask and various image features obtained from the stereoscopic images. In the proposed algorithm, we first extract image saliency map, line segments and disparity saliency map from stereo images and then get them through a process that improves the quality of extracted features. This process is accomplished in two steps. In the first step, reliability of disparity saliency map on object boundary regions is enhanced by using occlusion information. And in the second step, we enhance the quality of image features in terms of temporal consistency by using temporal consistency information for stereo images. With these enhanced features, multi-view images are generated by grid-mesh based image domain warping technique. Experimental results show that the proposed algorithm performs better than existing algorithms in terms of visual quality.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.33 no.12C
• /
• pp.1029-1038
• /
• 2008

In this paper, we propose a method for an arbitrary-view image generation in multi-view video and methods for pre- and post-processing to compensate unattended regions in the generated image. To generate an arbitrary-view image, camera geometry is used. Three dimensional coordinates of image pixels can be obtained by using depth information of multi-view video and parameter information of multi-view cameras, and by replacing three dimensional coordinates on a two dimensional image plane of other view, arbitrary-view image can be reconstructed. However, the generated arbitrary-view image contains many unattended regions. In this paper, we also proposed a method for compensating these regions considering temporal redundancy and spatial direction of an image and an error of acquired multi-view image and depth information. Test results show that we could obtain a reliably synthesized view-image with objective measurement of PSNR more than 30dB and subjective estimation of DSCQS(double stimulus continuous quality scale method) more than 3.5 point.