• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.11a
• /
• pp.159-162
• /
• 2010

본 논문에서는 2D 영상에서 다시점 영상 생성 시 가상 시점을 만드는 과정에서 발생하는 가려짐 영역(occlusion) 보상 기법을 제안한다. 제안된 기법에서는 영상이 가지고 있는 주요한 특성을 유지하면서 가려짐 영역을 보상한다. 기존에 제안되었던 가려짐 영역 보상 방법은 가려짐 영역이 발생한 주변의 화소를 그대로 채워 넣는 방식을 사용하거나 평군값 필터 또는 중간값 필터와 같은 기존의 보상 필터를 이용하기 때문에 시차의 분포 특성을 고려하지 않는다. 따라서 오차는 줄일 수 있으나, 교정된 시차의 정확성은 보장되지 않는다. 본 논문에서 제안하는 가려짐 영역 보상 기법에서는 영상의 주요한 특성을 함께 고려하여 정확성을 높였다. 다양한 영상에 적용하여 제안된 기법의 성능을 테스트하였고, 그 결과 기존의 보상 방법에 비해 가려짐 영역을 비교적 정확하게 보상하는 것을 확인하였다.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.42 no.4 s.304
• /
• pp.13-20
• /
• 2005

In this paper, we propose new smoothing filters, i.e., occluding patterns that can accurately correct disparities of occluded areas in the estimated disparity map. An image is composed of several layers and each layer presents similar disparity. Furthermore, the distribution of the estimated disparities has a specific direction around the boundary of the occlusion, and this distribution presents the different direction with respect to the left- and the right-based disparity map. However, typical smoothing filters, such as mean filter and median filter, did not take into account those characteristic. So, they can decrease some error, but they cannot guarantee the accuracy of the corrected disparity. On the contrary, occluding patterns can accurately correct disparities of occluded areas because they consider both the characteristic that occlusion occurs and the characteristic that disparities of the occlusion are ranged, from estimated disparity maps with respect to the left and the right images. We made experiments on occluding patterns with some real stereo image set, and as a result, we can correct disparities of occluded areas more accurately than typical smoothing filters did.

• Journal of Broadcast Engineering
• /
• v.16 no.4
• /
• pp.573-583
• /
• 2011

In this paper, we propose an occlusion compensation algorithm which is used for virtual view generation. In general, since occlusion region is recovered from neighboring pixels by taking the mean value or median value of neighbor pixels, the visual characteristics of a given image are not considered and consequently the accuracy of the compensated occlusion regions is not guaranteed. To solve these problem, we propose an algorithm that considers primary visual characteristics of a given image to compensate the occluded regions by using seam carving algorithm. In the proposed algorithm, we first use Sobel mask to obtain the edge map of a given image and then make it binary digit 0 or 1 and finally thinning process follows. Then, the energy patterns of original and thinned edge map obtained by the modified seam carving method are used to compensate the occlusion regions. Through experiments with many test images, we verify that the proposed algorithm performed better than conventional algorithms.

• Journal of Broadcast Engineering
• /
• v.17 no.6
• /
• pp.1040-1047
• /
• 2012

In this paper, we propose a ball tracking algorithm robust against occlusion in broadcasting soccer video sequences. Soccer ball tracking is a challenging task due to occlusion, fast motion and fast direction changes. Many works have been proposed based on ball trajectory. However, this approach requires heavy computational complexity. We propose a ball tracking algorithm with occlusion handling capability. Initial ball location is calculated using the circular hough transform. Then, the ball is tracked using template matching. Occlusion is handled by matching score. In occlusion cases, we generate a set of ball candidates. The ball candidates which exist in the previous frame were removed. On the other hand, the new appearing candidate is determined as the ball. Experiments with several broadcasting soccer video sequences show that the proposed method efficiently handles the occlusion cases.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2008.11a
• /
• pp.173-176
• /
• 2008

본 논문에서는 한 장의 기준 영상과 그에 상응하는 참 깊이 맵을 이용하여 가상의 다중 시점 영상 생성 시 발생하는 가려짐 영역 보간 방법을 제안한다. 이 방법은 영상 인페인팅 기술과 각각의 깊이 정도에 따른 층별 보간 기술을 이용한다. 우선, 기준영상을 깊이 정보에 따라 여러 개의 층으로 분할한다. 각각의 층에 대해 가려짐 영역 내의 화소들은 영상 인페인팅 기술을 이용하여 보간한다. 마지막 단계 에서 개별적으로 보간 된 층 영상들은 하나로 합성되어 가상 시점의 영상을 이룬다. 영상을 깊이 정보에 따라 분할함으로써, 각 깊이 정도에 대한 텍스쳐의 연관성을 보존하며 보간 할 수 있으므로 기존의 방법에 비하여 보다 정확하고 세밀한 가려짐 영역 보간이 가능하다. 본 논문에서는 여러 가지 실험 결과를 통하여 제안한 방법의 효율성을 입증하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.06a
• /
• pp.297-298
• /
• 2018

증강현실 콘텐츠에서 가려짐 표현은 사실감을 위한 필수적이다. 가려짐이란 가상 물체의 일부가 실제 사물에 의해서 가려져서 표현되는 것을 의미한다. 이는 카메라의 트래킹 정보와 함께 현재 관찰하고 있는 실제 세계의 3차원 스캔 정보를 같이 획득해야 한다. 카메라 트래킹이란 현재 카메라가 세상의 어디에 위치해있는지, 어떤 자세로 바라보고 있는지에 대한 정보를 실시간으로 획득하는 기술이다. 3차원 스캐닝이란 실제 물체를 이루는 모든 점들의 3차원 위치 관계를 파악하는 과정이다. 가상물체의 3차원 위치와 자세가 실제물체의 위치/자세와의 관계를 통해서 가상물체의 그려야할 부분과 그리지 말아야할 부분을 판단할 수 있다. 본 논문에서는 트래킹과 스캐닝을 동시에 처리하여 가려짐 표현이 가능한 증강현실용 트래킹 기술을 제안한다. 카메라 트래킹이 실내외에서도 제약없이 동작하기 위해서 스테레오 카메라를 활용하였다. 트래킹은 카메라 프레임간 특징점들의 상호 관계를 파악하는 방법에 의해서 구하였다. 스테레오 카메라 이미징을 통해서 매 프레임마다 실세계의 3차원 깊이정보를 파악하게 되고, 이를 앞서구한 카메라 위치자세를 통해서 3차원 깊이 데이터를 병합하는 과정으로 스캐닝기술을 구현하였다.

• Journal of Broadcast Engineering
• /
• v.15 no.1
• /
• pp.3-13
• /
• 2010

In this paper, we propose a method for filling out the occlusions in generating multi-view images from one source image and its ground-truth depth image. The method is based on image inpainting and layered interpolation. The source image is first divided into several layers using depth information. The occlusions are interpolated separately in every layered image using the image inpainting algorithm. Finally, the interpolated layered images are combined to obtain different viewpoint images. Interpolating occlusions with depth-correlated texture information that is contained to each layer makes it possible to obtain more detailed and accurate results than previous methods. The effectiveness of the proposed method is shown through experimental results.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.06b
• /
• pp.337-339
• /
• 2006

이동 카메라 환경에서의 객체 추적은 배경과 객체의 동시 이동으로 인친 배경 모델링과 같은 고정 카메라 환경에서의 접근방법으로는 해결이 어려운 문제이다. 또한 다중 객체의 추적에서는 객체간 가려짐이 발생하는 상황에 대한 안정적 기법이 필수적으로 요구된다. 본 연구에서는 커널에 기반한 객체의 표현과 Mean shift 알고리즘을 통해 여러 명의 사람을 실시간으로 추적하고, 객체간의 공간 정보와 확률적 유사도에 기반한 객체간의 가려짐의 발생과 가려짐 후의 복원에 대한 방법을 제안하였다.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.10 no.6
• /
• pp.23-29
• /
• 2010

Nowadays it is required to design intelligent visual surveillance systems which automatically detect abandoned objects in public places to strengthen the social safety. Already recognized abandoned objects can be occluded partially or fully by surrounding people in public places after the first recognition. To improve an essential recognition performance index PAT, the system should overcome the occlusion problems. In this research, a design scheme is newly proposed to construct the robust detection system which is comprised of multiple stages considering the occlusion problem. To show the feasibilities of the proposed system, the evaluation was tried for the prepared image streams including 6 various situations and the experimental results show 96% and 75% in PAT performance for intrusion and abandoning events, respectively. Finally in spite of full occlusions by multiple persons, the proposed system shows the capability to continuously recognize the abandoned object after complex occlusions disappear.

• Journal of the Institute of Electronics Engineers of Korea SP
• /
• v.48 no.6
• /
• pp.48-60
• /
• 2011

Nowadays, the 3D community is actively researching on 3D imaging and free-viewpoint video (FVV). The free-viewpoint rendering in multi-view video, virtually move through the scenes in order to create different viewpoints, has become a popular topic in 3D research that can lead to various applications. However, there are restrictions of cost-effectiveness and occupying large bandwidth in video transmission. An alternative to solve this problem is to generate virtual views using a single texture image and a corresponding depth image. A critical issue on generating virtual views is that the regions occluded by the foreground (FG) objects in the original views may become visible in the synthesized views. Filling this disocclusions (holes) in a visually plausible manner determines the quality of synthesis results. In this paper, a new approach for handling disocclusions using depth based inpainting algorithm in synthesized views is presented. Patch based non-parametric texture synthesis which shows excellent performance has two critical elements: determining where to fill first and determining what patch to be copied. In this work, a noise-robust filling priority using the structure tensor of Hessian matrix is proposed. Moreover, a patch matching algorithm excluding foreground region using depth map and considering epipolar line is proposed. Superiority of the proposed method over the existing methods is proved by comparing the experimental results.