• Journal of KIISE:Computing Practices and Letters
• /
• v.14 no.8
• /
• pp.788-792
• /
• 2008

In this paper, we propose a method that uses the constrained inter-view prediction for multi-view video coding. In the multi-view video, there exists occluded area because of the locations and angles of cameras. This increases the computational complexity, as it still uses both reference pictures for predicting the area which is not shown in the current frame. In this paper, we propose a method that does not use the inter-view prediction in cases of the occluded macroblocks. Experimental results show that benefits about 4% can be achieved compared with the conventional approaches.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.24-32
• /
• 2006

본 논문에서는 다시점 카메라부터 획득된 부분적인 3D 점군을 사용하여 실내환경의 3D 복원을 위한 새로운 방법을 제안한다. 지금까지 다양한 양안차 추정 알고리즘이 제안되었으며, 이는 활용 가능한 깊이 영상이 다양함을 의미한다. 따라서, 본 논문에서는 일반화된 다시점 카메라를 이용하여 실내환경을 복원하는 방법을 다룬다. 첫 번째, 3D 점군들의 시간적 특성을 기반으로 변화량이 큰 3D 점들을 제거하고, 공간적 특성을 기반으로 주변의 3D 점을 참조하여 빈 영역을 채움으로써 깊이 영상 정제 과정을 수행한다. 두 번째, 연속된 두 시점에서의 3D 점군을 동일한 영상 평면으로 투영하고, 수정된 KLT (Kanade-Lucas-Tomasi) 특징 추적기를 사용하여 대응점을 찾는다. 그리고 대응점 간의 거리 오차를 최소화함으로써 정밀한 정합을 수행한다. 마지막으로, 여러 시점에서 획득된 3D 점군과 한 쌍의 2D 영상을 동시에 이용하여 3D 점들의 위치를 세밀하게 조절함으로써 최종적인 3D 모델을 생성한다. 제안된 방법은 대응점을 2D 영상 평면에서 찾음으로써 계산의 복잡도를 줄였으며, 3D 데이터의 정밀도가 낮은 경우에도 효과적으로 동작한다. 또한, 다시점 카메라를 이용함으로써 수 시점에서의 깊이 영상과 컬러 영상만으로도 실내환경 3D 복원이 가능하다. 제안된 방법은 네비게이션 뿐만 아니라 상호작용을 위한 3D 모델 생성에 활용될 수 있다.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.46 no.1
• /
• pp.41-48
• /
• 2009

This Paper introduces representation and coding schemes of multiview texture and depth data for complex three-dimensional scenes. We represent input color and depth images using compressed texture and depth map pairs. The proposed X-codec encodes them further to increase compression ratio in a near-lossless way. Our system resolves two problems. First, rendering time and output visual quality depend on input image resolutions rather than scene complexity since a depth image-based rendering techniques is used. Second, the random access problem of conventional image-based rendering could be effectively solved using our image block-based compression schemes. From experimental results, the proposed approach is useful to graphics applications because it provides multiview rendering, selective decoding, and scene manipulation functionalities.

• Journal of KIISE
• /
• v.41 no.11
• /
• pp.900-910
• /
• 2014

Multi-view video is obtained by capturing one three-dimensional scene with many cameras at different positions. The computational complexity of multi view video coding increases in proportion to the number of cameras. To reduce computational complexity and maintain the image quality, improved prediction structure and motion estimation method is proposed in this paper. The proposed prediction structure exploits an average distance between the current picture and its reference pictures. The proposed prediction structure divides every GOP into several groups to decide the maximum index of hierarchical B layer and the number of pictures of each B layer. And the proposed motion estimation method uses a hierarchical search strategy. This strategy method consists of modified diamond search pattern, progressive diamond search pattern and modified raster search pattern. Experiment results show that the complexity reduction of the proposed prediction structure and motion estimation method over JMVC (Joint Multiview Video Coding) reference model using hierarchical B pictures of Fraunhofer-HHI and TZ search method can be up to 40~70% while maintaining similar video quality and bit rates.

• Journal of Broadcast Engineering
• /
• v.11 no.4 s.33
• /
• pp.420-430
• /
• 2006

In this paper, we propose a flexible GGOP prediction structure to improve coding efficiency for multi-view video coding. In general, reference software used for MVC uses the fixed GGOP prediction structure. However, the performance of MVC depends on the base view and numbers of B-pictures between I-picture(or P-picture) and P-picture. In order to implement the flexible GGOP prediction structure, the location of base view is decided according to the global disparities among the adjacent sequences. Numbers of B-pictures between I-picture(or P-picture) and P-picture are decided by camera arrangement such as the baseline distance among the cameras. The proposed method shows better result than the reference software of MVC. The proposed prediction structure shows considerable reduction of coded bits by 7.1%.

• Journal of Korea Multimedia Society
• /
• v.15 no.9
• /
• pp.1093-1101
• /
• 2012

Multi-view video is obtained by capturing one three-dimensional scene with many cameras at different positions. Multi-view video coding exploits inter-view correlations among pictures of neighboring views and temporal correlations among pictures of the same view. Multi-view video coding which uses many cameras requires a method to reduce the computational complexity. In this paper, we proposed an efficient prediction structure to improve performance of multi-view video coding. The proposed prediction structure exploits an average distance between the current picture and its reference pictures. The proposed prediction structure divides every GOP into several small groups to decide the maximum index of hierarchical B layer and the number of pictures of each B layer. Experimental results show that the proposed prediction structure shows good performance in image quality and bit-rates. When compared to the performance of hierarchical B pictures of Fraunhofer-HHI, the proposed prediction structure achieved 0.07~0.13 (dB) of PSNR gain and was down by 6.5(Kbps) in bitrate.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.15 no.8
• /
• pp.1704-1713
• /
• 2011

This paper proposes a method to generate multiview images which use a synthesized image consisting of layered objects. The camera system which consists of a depth camera and a RGB camera is used in capturing objects and extracts 3-dimensional information. Considering the position and distance of the synthesizing image, the objects are synthesized into a layered image. The synthesized image is spaned to multiview images by using multiview generation tools. In this paper, we synthesized two images which consist of objects and human and the multiview images which have 37 view points were generated by using the synthesized images.

• Journal of Broadcast Engineering
• /
• v.15 no.4
• /
• pp.591-599
• /
• 2010

In this paper, we propose a disparity-adaptive filtering method to reduce view-aliasing and inter-perspective aliasing on auto-multiscopic 3D display. View aliasing by the subsampled multi-view images could happen if the resolution of an auto-multiscopic monitor is lower than that of the original multi-view images. Furthermore, multi-view images on auto-multiscopic monitor usually cause eye strain and fatigue because of inter-perspective aliasing by discontinuity that exists between viewpoints. The greater disparity value becomes, the stronger these types of aliasing could be. Thus, we design a lowpass filter whose cut-off frequency is determined adaptively to the number of intermediate reconstructed views and their disparity's strength. Though experimental results, we show that the proposed filtering algorithm could reduce the aliasing effect very efficiently by using DSCQS (double stimulus continuous quality scale method).

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 1997.11a
• /
• pp.135-138
• /
• 1997

Multi-view 영상 DB의 surround view 입체 화상을 재현하기 위해서는 영상 정보를 효과적으로 합성, 보간하는 방법이 필연적으로 요구된다. 다시점 입체 영상의 표시 기능을 구현하기 위해서 이론적으로는 충분한 개수의 카메라를 상하 좌우로 배치하여 영상을 획득하고 보는 이의 위치에 가장 적합한 영상을 선택하여 표현하면 된다. 이 경우 많은 수의 카메라로부터 입력되는 방대한 영상 데이터의 저장, 처리, 전송, 설치 문제 등 현실적으로 많은 제약점이 존재한다. 이러한 문제점을 해결하기 위해 기존의 블록 매칭과 같은 3D 구조 추정에 기초하여 블록 단위의 깊이 정보와 텍스쳐 정보의 추출, 다시점 영상 set의 가장 왼쪽 영상으로부터 시작하여 차례로 한 줄씩 쌓아서 얻어진 EPI(Epipolar Plane Image)에 기초한 유사 영상 값의 자취선 탐색 방법에 의한 시차와 텍스쳐 정보 추출로 전체 다안화상을 다해상도로 표현하여 전송하는 방식을 제안한다. 다해상도의 영상 표현과 점진적 전송 방법을 통해 다시점 영상 검색 시스템의 성능향상을 위한 네트워크 모델링을 제안하고자 한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.472-474
• /
• 2011

본 논문에서는 특징점 기반 색상보정을 이용한 다시점 비디오 부호화 전처리 방법을 제안 한다. 다시점 영상은 조명 및 카메라 간의 특성차이로 인해 인접 시점 간 색상차를 보인다. 이를 보정하기 위한 여러 가지 방법 중, 본 논문에서는 영상간의 대응되는 특징점들을 기반으로 상대적인 카메라의 특성을 모델링하고 이를 통해 색상을 보정하는 방법을 이용하였다. 대응되는 특징점을 추출하기 위해 Harris 코너 검출법을 사용하였고, 모델링 된 수식의 계수는 가우스-뉴튼 순환 기법으로 추정하였다. 참조 영상을 기준으로 보정해야할 타겟 영상의 색상값을 RGB 성분별로 보정했다. 테스트 영상을 가지고 실험한 결과 제안한 전처리 방법으로 보정을 하였을 경우, 전처리 과정을 거치지 않았을 때보다 화질 및 압축효율이 향상됨을 알 수 있었다. 또한 누적 히스토그램 기반의 전처리 방식과 비교했을 때, PSNR은 성분별로 0.5 dB ~ 0.8dB 정도 올랐고 Bit rate는 14% 정도 절감되는 효과를 확인 하였다.