• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.356-358
• /
• 2011

본 논문에서는 깊이영상 기반의 영상합성과 다시점 영상 생성 기술을 이용하여 3차원 입체 콘텐츠를 제작하는 방법을 제안하였다. 이를 위해 깊이영상을 촬영한 후에 깊이정보를 조절하고, 레이어 기반의 영상으로 합성한 후에 이를 이용하여 다시점 영상을 생성하였다. 깊이카메라와 RGB 카메라로 구성된 카메라 시스템을 이용하여 객체들을 촬영함으로써 객체에 대한 3차원 정보를 획득하고 이를 데이터베이스화하여 3차원 영상을 합성하고 생성하는데 이용한다. 3차원 영상의 위치 및 거리를 고려하여 객체의 3차원 정보를 조절하고, 레이어 기반으로 하나의 영상으로 합성한다. 합성된 영상은 다시점 영상 생성 도구를 이용하여 원하는 시점만큼의 다시점 영상들로 생성된다. 본 논문에서는 객체와 사람의 영상을 합성하였고, 이들을 이용하여 각각 37시점의 다시점 영상을 생성하였다.

• Journal of Broadcast Engineering
• /
• v.26 no.3
• /
• pp.247-257
• /
• 2021

This paper proposes a new technique for calibrating a multi-view RGB-D camera using a 3D (dimensional) skeleton. In order to calibrate a multi-view camera, consistent feature points are required. In addition, it is necessary to acquire accurate feature points in order to obtain a high-accuracy calibration result. We use the human skeleton as a feature point to calibrate a multi-view camera. The human skeleton can be easily obtained using state-of-the-art pose estimation algorithms. We propose an RGB-D-based calibration algorithm that uses the joint coordinates of the 3D skeleton obtained through the posture estimation algorithm as a feature point. Since the human body information captured by the multi-view camera may be incomplete, the skeleton predicted based on the image information acquired through it may be incomplete. After efficiently integrating a large number of incomplete skeletons into one skeleton, multi-view cameras can be calibrated by using the integrated skeleton to obtain a camera transformation matrix. In order to increase the accuracy of the calibration, multiple skeletons are used for optimization through temporal iterations. We demonstrate through experiments that a multi-view camera can be calibrated using a large number of incomplete skeletons.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.15 no.8
• /
• pp.1704-1713
• /
• 2011

This paper proposes a method to generate multiview images which use a synthesized image consisting of layered objects. The camera system which consists of a depth camera and a RGB camera is used in capturing objects and extracts 3-dimensional information. Considering the position and distance of the synthesizing image, the objects are synthesized into a layered image. The synthesized image is spaned to multiview images by using multiview generation tools. In this paper, we synthesized two images which consist of objects and human and the multiview images which have 37 view points were generated by using the synthesized images.

• Proceedings of the Korean Information Science Society Conference
• /
• 2008.06c
• /
• pp.450-455
• /
• 2008

다시점 비디오는 여러 개의 시점(view-point)을 이용하여 현장감과 몰입감을 제공하는 새로운 형태의 멀티미디어 서비스이다. 시점의 개수가 증가함에 따라 방대한 양의 영상 데이터로 인한 영상 획득, 저장 전송 및 재현 시 문제가 발생한다. 또한 현재의 다시점 비디오에 관한 연구는 고정된 카메라로 환경이 제한되어 있다. 본 논문에서는 유동적인 카메라 환경에서 최적의 상관관계를 가지는 영상을 획득하기 위한 방법을 제안한다. 제안하는 방법은 영상의 일부분만을 선택하여 중복성을 먼저 측정하고, 중복성의 척도에 따라 사용자와의 상호작용을 통하여 높은 상관관계를 가지는 다시점 영상을 획득할 수 있다. 또한 영상 획득 시 카메라간의 조명 차이에 의해 발생되는 부정확성을 감소시키기 위해 영상 마스킹을 적용한다. 마스킹된 영상에 에지 검출 방법을 적용하여 변위 추정을 함으로써 계산 복잡도를 줄였다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.31 no.1C
• /
• pp.36-45
• /
• 2006

In this paper, multiview calibration system for an effective 3D display is proposed. This system can be obtain 4-view image from multiview camera system. Also it can be rectify lens and camera distortion, error of bright and color, and it can be calibrate distortion of geometry. In this paper, we proposed the signal processing skill to calibrate the camera distortions which are able to take place from the acquisited multiview images. The discordance of the brightness and the colors are calibrated the color transform by extracting the feature point, correspondence point. And the difference of brightness is calibrated by using the differential map of brightness from each camera image. A spherical lens distortion is corrected by extracting the pattern of the multiview camera images. Finally the camera error and size among the multiview cameras is calibrated by removing the distortion. Accordingly, this proposed rectification & calibration system enable to effective 3D display and acquire natural multiview 3D image.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.37 no.4A
• /
• pp.239-249
• /
• 2012

Recently, the virtual view generation method using depth data is employed to support the advanced stereoscopic and auto-stereoscopic displays. Although depth data is invisible to user at 3D video rendering, its accuracy is very important since it determines the quality of generated virtual view image. Many works are related to such depth enhancement exploiting a time-of-flight (TOF) camera. In this paper, we propose a fast 3D scene capturing system using one TOF camera at center and two high-resolution cameras at both sides. Since we need two depth data for both color cameras, we obtain two views' depth data from the center using the 3D warping technique. Holes in warped depth maps are filled by referring to the surrounded background depth values. In order to reduce mismatches of object boundaries between the depth and color images, we used the joint bilateral filter on the warped depth data. Finally, using two color images and depth maps, we generated 10 additional intermediate images. To realize fast capturing system, we implemented the proposed system using multi-threading technique. Experimental results show that the proposed capturing system captured two viewpoints' color and depth videos in real-time and generated 10 additional views at 7 fps.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.07a
• /
• pp.433-434
• /
• 2015

카메라 캘리브레이션은 다시점 카메라 시스템에서 내부와 외부 인자로 이루어진 카메라 파라미터를 획득하는 과정을 의미 한다. 이는 3차원으로 표현되는 장면과 카메라간의 구조를 다루기 위해 중요하다. 그러나 카메라 캘리브레이션은 사람이 직접 손으로 각 영상에서 사각형의 네 점을 정확히 찍어 주어야 하는 과정 때문에 카메라의 수와 패턴 영상의 수가 늘어남에 따라 상당히 번거로운 작업이 된다. 본 논문에서는 카메라 캘리브레이션 과정에서 손으로 수행하는 작업을 줄이기 위해 자동으로 패턴 특징점을 탐색하는 알고리즘을 제안한다. 제안하는 방법은 먼저 영상에서 패턴 특징점의 후보를 찾기 위해 해리스 코너 검출 방법을 사용한다. 그리고 후보 주변의 원형 샘플 화소를 이용하여 유효한 패턴 특징점을 추출한다. 실험 결과는 Matlab 캘리브레이션 툴박스를 이용하여 획득한 카메라 파라미터와 비교해 보았을 때 큰 차이가 없지만 수작업의 번거로움을 상당히 감소시켰음을 확인하였다.

• Journal of Broadcast Engineering
• /
• v.11 no.4 s.33
• /
• pp.407-419
• /
• 2006

In this paper, an adaptive illumination change compensation method is proposed for multi-view video coding. In multi-view video, an illumination change can occur due to physically imperfect camera calibration, each different camera position and direction, and so on. These characteristics can cause a performance decrease in the multi-view video coding that uses an inter-view prediction by referring to the pictures obtained from the neighboring views. By using the proposed method, a compression ratio of the proposed method in the multi-view video coding is increased, and finally $0.1{\sim}0.6dB$ PSNR(Peak Signal-to-Noise Ratio) improvement was obtained compared with the case of not using the proposed method.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2012.04a
• /
• pp.386-389
• /
• 2012

다시점 비디오는 3차원 정보를 표현하기 위한 영상으로 하나의 3차원 장면을 여러 시점에서 다수의 카메라로 촬영한 동영상이다. 영상들 사이에 존재하는 시간적 상관성과 화면간 상관성을 이용하는 다시점 비디오 부호화는 카메라의 수에 비례하여 데이터의 양이 늘어나기 때문에 계산량을 줄일 수 있는 다시점 비디오 부호화 기술이 필요하다. 본 논문에서는 다시점 비디오의 부호화 성능을 향상시키기 위한 효율적인 예측구조를 제안한다. 제안한 예측 구조는 다시점 비디오의 부호화 효율을 높이기 위하여 부호화되는 현재 화면과 현재 화면이 참조하는 참조 화면들과의 평균 거리, B계층 최대 인덱스 그리고 각 B계층의 화면 수를 고려하였다. 제안한 예측 구조의 성능을 참조 예측 구조의 성능과 비교하였을 때 영상 화질 면에 있어서 제안한 예측 구조가 참조 예측 구조보다 약 0.07~0.13 (dB) 성능 향상을 보였다. 발생되는 평균 초당 비트량에 있어서 제안한 예측 구조가 참조 예측 구조보다약 +3 ~ -6.5(Kbps) 감소하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 1997.11a
• /
• pp.135-138
• /
• 1997

Multi-view 영상 DB의 surround view 입체 화상을 재현하기 위해서는 영상 정보를 효과적으로 합성, 보간하는 방법이 필연적으로 요구된다. 다시점 입체 영상의 표시 기능을 구현하기 위해서 이론적으로는 충분한 개수의 카메라를 상하 좌우로 배치하여 영상을 획득하고 보는 이의 위치에 가장 적합한 영상을 선택하여 표현하면 된다. 이 경우 많은 수의 카메라로부터 입력되는 방대한 영상 데이터의 저장, 처리, 전송, 설치 문제 등 현실적으로 많은 제약점이 존재한다. 이러한 문제점을 해결하기 위해 기존의 블록 매칭과 같은 3D 구조 추정에 기초하여 블록 단위의 깊이 정보와 텍스쳐 정보의 추출, 다시점 영상 set의 가장 왼쪽 영상으로부터 시작하여 차례로 한 줄씩 쌓아서 얻어진 EPI(Epipolar Plane Image)에 기초한 유사 영상 값의 자취선 탐색 방법에 의한 시차와 텍스쳐 정보 추출로 전체 다안화상을 다해상도로 표현하여 전송하는 방식을 제안한다. 다해상도의 영상 표현과 점진적 전송 방법을 통해 다시점 영상 검색 시스템의 성능향상을 위한 네트워크 모델링을 제안하고자 한다.