• Journal of the Institute of Electronics and Information Engineers
• /
• v.52 no.7
• /
• pp.93-99
• /
• 2015

In this paper, we propose a gaze correction method for realistic video teleconferencing. Typically, cameras used in teleconferencing are installed at the side of the display monitor, but not in the center of the monitor. This system makes it too difficult for users to contact each eyes. Therefore, eys contact is the most important in the immersive videoconferencing. In the proposed method, we use the stereo camera and the depth camera to correct the eye contact. The depth camera is the kinect camera, which is the relatively cheap price, and estimate the depth information efficiently. However, the kinect camera has some inherent disadvantages. Therefore, we fuse the kinect camera with stereo camera to compensate the disadvantages of the kinect camera. Consecutively, for the gaze-corrected image, view synthesis is performed by 3D warping according to the depth information. Experimental results verify that the proposed system is effective in generating natural gaze-corrected images.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.11a
• /
• pp.37-39
• /
• 2012

최근 ToF(Time-of-Flight) 방식의 깊이 센서 카메라가 깊이 영상 획득에 많이 사용되고 있다. 그러나 ToF 깊이 카메라가 제공하는 깊이 영상은 센서의 물리적 한계로 인해 잡음이 존재한다. 따라서 고품질의 깊이 영상을 얻기 위해서는 깊이 영상의 잡음을 제거해 주는 것이 필수적이다. 일반적으로 깊이 영상의 잡음 제거에는 joint bilateral filter 를 사용한다. Joint bilateral filter 는 기준 화소와 그 주변 화소의 색상 영상의 밝기 차이값과 화소간 거리값에 각각 가우시안 함수를 적용하여 joint histogram 을 생성하고 그 평균값을 기준 화소의 깊이값으로 채운다. 하지만 이 과정에서 깊이 영상의 경계 영역에서 흐려짐 현상이 발생한다. 경계영역에 발생한 흐려짐 현상은 최종적인 3D 입체 콘텐츠의 품질을 저하시킨다. 본 논문에서는 이와 같은 문제점을 해결하기 위해 joint histogram 의 최고점을 찾아 기준 화소의 깊이값을 채우는 기법을 제안한다. 최고점 탐색을 통해 기존 기법의 평균값을 통해 생기는 흐려짐 현상을 줄이고 깊이 영상의 경계를 보존하면서 잡음을 제거하였다. 실험을 통하여 제안하는 기법의 우수성을 확인하였다.

• Proceedings of the Korean Society of Precision Engineering Conference
• /
• 2011.06a
• /
• pp.99-100
• /
• 2011

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2013.11a
• /
• pp.186-189
• /
• 2013

최근 다양한 3D 콘텐츠들에 대한 사용자의 요구에 따라 HD(High Definition)화질 및 이를 넘어서는 고해상도(FHD(full high definition), UHD(ultra high definition))의 고품질 3D 방송 서비스에 대한 연구가 진행되고 있으며, 차세대 영상 기술로 주목되고 있는 3차원 비디오 기술은 사용자에게 실감 있는 영상을 제공할 수 있다, 하지만 많은 시점을 전부 촬영하는 것은 한계가 있으므로, 카메라의 깊이 정보를 이용하여, 전송하는 시점을 줄이고, 시점영상을 합성함으로써 사용하는 카메라의 수보다 더 많은 시점을 생성하는 방법이 필요하다. 현재 국제 표준화 기구인 MPEG(Moving Picture Experts Group)의 3차원 비디오 부호화(3D Video Coding, 3DVC)에서는 깊이영상을 가지는 3차원 비디오영상에 대한 효과적인 부호화 기술들에 대해 표준화가 진행되고 있다. 이에 본 논문은 HEVC 기반의 3D-HEVC에서 사용하는 표준 기술들에 대하여 소개하고, 현재 사용되고 있는 기술들에 대한 성능 평가를 분석 하였다.

• Journal of Broadcast Engineering
• /
• v.19 no.1
• /
• pp.44-55
• /
• 2014

The goal of 3D stereoscopy is not only to maximize positive experiences (such as sense of realism) by adding depth information to 2D video but to also minimize negative experiences (such as fatigue). This study examines the impact of different depth levels induced by adjusting 3D camera convergences on positive and negative experiences and finds an optimal parameter for viewers. The results show that there are significant differences among depth levels on spatial involvement, realistic immersion, presence, depth perception, screen transmission, materiality, shape perception, spatial extension and display perception. There are also significant differences for fatigue and unnaturalness. This study suggests that reducing the camera convergence angle of an object by $0.17^{\circ}$ behind the object is the optimal parameter in a 3D stereoscopic setting.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.124-125
• /
• 2021

최근 증강현실(AR), 가상현실(VR), 혼합현실(XR) 분야가 각광받고 있으며, 3차원 공간과 사물을 인식하여 다양한 콘텐츠 서비스를 제공하는 기술이 개발되고 있다[1]. 3차원 공간과 사물을 인식하기 위해 가장 널리 사용되는 방법은 RGB 카메라를 이용하는 것이다[2]. RGB 카메라를 이용하여 촬영한 영상을 분석한 후 분석된 결과를 이용하여 카메라와 환경의 관계를 추정한다. 시차는 사용자가 촬영한 복수의 이미지에서 특징점의 차이를 이용하여 계산된다. 실험적으로 구한 깊이에 대해 계산된 디스패리티에 시차 정보와 스케일링 정보를 더하여 3차원 특징점을 생성한다. 제안하는 알고리즘은 단일 모바일 디바이스에서 획득한 영상을 사용한다. 특징점 매칭을 기반으로한 디스패리티 추정과 시차조정 3D 특징점 생성이다. 실제 깊이 값과 비교했을 때, 생성된 3차원 특징점은 실측값의 10% 이내의 오차가 있음을 실험적으로 증명하였다. 따라서 제안하는 방법을 이용하여 유효한 3차원 특징점을 생성할 수 있다.

• Journal of Broadcast Engineering
• /
• v.23 no.5
• /
• pp.614-621
• /
• 2018

This paper proposes a method of restoring corrupted depth image captured by depth camera through unsupervised learning using generative adversarial network (GAN). The proposed method generates restored face depth images using 3D morphable model convolutional neural network (3DMM CNN) with large-scale CelebFaces Attribute (CelebA) and FaceWarehouse dataset for training deep convolutional generative adversarial network (DCGAN). The generator and discriminator equip with Wasserstein distance for loss function by utilizing minimax game. Then the DCGAN restore the loss of captured facial depth images by performing another learning procedure using trained generator and new loss function.

• Journal of the Korea Computer Industry Society
• /
• v.7 no.5
• /
• pp.455-466
• /
• 2006

In this paper, 3D objects is created from the real scene that is used by an active sensor, which gets depth and RGB information. To get the depth information, this paper uses the $Zcam^{TM}$ camera which has built-in an active sensor module. <중략> Thirdly, calibrate the detailed parameters and create 3D mesh model from the depth information, then connect the neighborhood points for the perfect 3D mesh model. Finally, the value of color image data is applied to the mesh model, then carries out mapping processing to create 3D object. Experimentally, it has shown that creating 3D objects using the data from the camera with active sensors is possible. Also, this method is easier and more useful than the using 3D range scanner.

• The Journal of the Korea institute of electronic communication sciences
• /
• v.18 no.6
• /
• pp.1307-1312
• /
• 2023

In this paper, we propose a hybrid camera system that combines cameras with different focal lengths and LiDAR (Light Detection and Ranging) sensors to address the core components of autonomous driving perception technology, which include object recognition and distance measurement. We extract objects within the scene and generate precise location and distance information for these objects using the proposed hybrid camera system. Initially, we employ the YOLO7 algorithm, widely utilized in the field of autonomous driving due to its advantages of fast computation, high accuracy, and real-time processing, for object recognition within the scene. Subsequently, we use multi-focal cameras to create depth maps to generate object positions and distance information. To enhance distance accuracy, we integrate the 3D distance information obtained from LiDAR sensors with the generated depth maps. In this paper, we introduce not only an autonomous vehicle platform capable of more accurately perceiving its surroundings during operation based on the proposed hybrid camera system, but also provide precise 3D spatial location and distance information. We anticipate that this will improve the safety and efficiency of autonomous vehicles.

• Smart Media Journal
• /
• v.2 no.4
• /
• pp.60-65
• /
• 2013

In this paper, we propose a high-resolution disparity map generation method using a low-resolution time-of-flight (TOF) depth camera and color camera. The TOF depth camera is efficient since it measures the range information of objects using the infra-red (IR) signal in real-time. It also quantizes the range information and provides the depth image. However, there are some problems of the TOF depth camera, such as noise and lens distortion. Moreover, the output resolution of the TOF depth camera is too small for 3D applications. Therefore, it is essential to not only reduce the noise and distortion but also enlarge the output resolution of the TOF depth image. Our proposed method generates a depth map for a color image using the TOF camera and the color camera simultaneously. We warp the depth value at each pixel to the color image position. The color image is segmented using the mean-shift segmentation method. We define a cost function that consists of color values and segmented color values. We apply a weighted average filter whose weighting factor is defined by the random walk probability using the defined cost function of the block. Experimental results show that the proposed method generates the depth map efficiently and we can reconstruct good virtual view images.