• 한국멀티미디어학회논문지
• /
• 제17권5호
• /
• pp.547-555
• /
• 2014

This paper presents a method for hand segmentation using depth information, and adaptive threshold by means of histogram analysis and color clustering in HSV color model. We consider hand area as a nearer object to the camera than background on depth information. And the threshold of hand color is adaptively determined by clustering using the matching of color values on the input image with one of the regions of hue histogram. Experimental results demonstrate 95% accuracy rate. Thus, we confirmed that the proposed method is effective for hand segmentation in variations of hand color, scale, rotation, pose, different lightning conditions and any colored background.

• IEIE Transactions on Smart Processing and Computing
• /
• 제6권3호
• /
• pp.175-182
• /
• 2017

In this paper, we present a multi-depth generation method using a time-of-flight (ToF) fusion camera system. Multi-view color cameras in the parallel type and ToF depth sensors are used for 3D scene capturing. Although each ToF depth sensor can measure the depth information of the scene in real-time, it has several problems to overcome. Therefore, after we capture low-resolution depth images by ToF depth sensors, we perform a post-processing to solve the problems. Then, the depth information of the depth sensor is warped to color image positions and used as initial disparity values. In addition, the warped depth data is used to generate a depth-discontinuity map for efficient stereo matching. By applying the stereo matching using belief propagation with the depth-discontinuity map and the initial disparity information, we have obtained more accurate and stable multi-view disparity maps in reduced time.

• 한국멀티미디어학회논문지
• /
• 제19권4호
• /
• pp.681-688
• /
• 2016

In the intelligent video surveillance, recognizing the moving objects is important issue. However, the conventional moving object recognition methods have some problems, that is, the influence of light, the distinguishing between similar colors, and so on. The recognition methods for the moving objects using depth information have been also studied, but these methods have limit of accuracy because the depth camera cannot measure the depth value accurately. In this paper, we propose a recognition method for the moving objects by using both the depth and the color information. The depth information is used for extracting areas of moving object and then the color information for correcting the extracted areas. Through tests with typical videos including moving objects, we confirmed that the proposed method could extract areas of moving objects more accurately than a method using only one of two information. The proposed method can be not only used in CCTV field, but also used in other fields of recognizing moving objects.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권8호
• /
• pp.2068-2082
• /
• 2023

With the rapid development of deep learning, Depth Map Super-Resolution (DMSR) method has achieved more advanced performances. However, when the upsampling rate is very large, it is difficult to capture the structural consistency between color features and depth features by these DMSR methods. Therefore, we propose a color-image guided DMSR method based on iterative depth feature enhancement. Considering the feature difference between high-quality color features and low-quality depth features, we propose to decompose the depth features into High-Frequency (HF) and Low-Frequency (LF) components. Due to structural homogeneity of depth HF components and HF color features, only HF color features are used to enhance the depth HF features without using the LF color features. Before the HF and LF depth feature decomposition, the LF component of the previous depth decomposition and the updated HF component are combined together. After decomposing and reorganizing recursively-updated features, we combine all the depth LF features with the final updated depth HF features to obtain the enhanced-depth features. Next, the enhanced-depth features are input into the multistage depth map fusion reconstruction block, in which the cross enhancement module is introduced into the reconstruction block to fully mine the spatial correlation of depth map by interleaving various features between different convolution groups. Experimental results can show that the two objective assessments of root mean square error and mean absolute deviation of the proposed method are superior to those of many latest DMSR methods.

• 대한전자공학회논문지SP
• /
• 제48권3호
• /
• pp.13-18
• /
• 2011

본 논문에서는 다시점 색상 카메라와 다시점 깊이 카메라를 이용하여 촬영한 영상의 후처리 방법과 3차원 장면의 깊이 정보를 생성하는 방법을 제안한다. 깊이 카메라는 장면의 깊이 정보를 실시간으로 측정할 수 있는 장점이 있지만, 잡음과 왜곡이 발생하고 색상 영상과의 상관도도 떨어진다. 따라서 다시점 깊이 영상에 후처리 작업을 수행한 후, 이를 다시점 색상 영상과 조합하여 3차원 깊이 정보를 생성한다. 깊이 카메라로부터 얻은 각 시점에서의 초기 변이 정보를 기반으로 한 스테레오 정합의 결과는 기존 방법의 결과 보다 우수한 성능을 나타내었음을 볼 수 있었다.

• 한국콘텐츠학회논문지
• /
• 제17권1호
• /
• pp.137-144
• /
• 2017

얼굴 검출은 복잡한 배경 내에서 다양한 얼굴의 자세로 인해 여전히 어려운 문제에 직면하고 있다. 본 논문은 피부색과 깊이 정보를 기반으로 한 한명 또는 여러 명의 얼굴을 검출하는 효과적인 알고리즘을 제안한다. 먼저 우리는 컬러 영상에서 가우시안 혼합 모델을 이용한 피부색 검출 방법에 대해 소개한다. 그리고 Kinect V2의 깊이 센서를 이용하여 획득한 3차원의 깊이 정보는 배경으로부터 사람의 몸을 분할할 때 유용하다. 그리고 레이블링 과정에서 여러 개의 특징을 이용하여 얼굴이 아닌 영역은 성공적으로 제거된다. 실험 결과를 통해 제안한 얼굴 검출 알고리즘은 다양한 조건과 복잡한 배경에서 얼굴이 효과적으로 검출되는 것을 확인할 수 있다.

• 융합신호처리학회논문지
• /
• 제18권2호
• /
• pp.68-75
• /
• 2017

본 연구에서는 이동 물체의 색상이 배경 내 색상과 동일하거나 유사한 색상이 존재하는 경우 컬러기반에서 효과적으로 이동 물체의 추적 방법을 다루고 있다. 대표적인 컬러 기반 추적방법인 CamShift 알고리즘은 배경 영상에 이동물체의 색상이 존재하는 경우 불안정한 추적을 보여주고 있다. 이러한 단점을 극복하기 위해 본 논문에서는 물체의 Depth 정보를 병합한 CamShift 알고리즘을 제안하고 있다. Depth 정보 영상의 모든 픽셀의 거리정보를 측정하는 Kinect 장치로부터 구할 수 있다. 실험결과 이동물체의 거리정보를 병합시킨 제안된 추적 방법은 기존 CamShift 알고리즘의 불안정한 추적기능을 보완하였고, CamShift 알고리즘만 사용한 경우와 비교해 볼 때 추적성능을 향상시켰다.

• 한국컴퓨터정보학회논문지
• /
• 제17권6호
• /
• pp.29-36
• /
• 2012

본 논문에서는 입력되는 3차원의 정지 또는 동적인 입체영상으로부터 색상과 깊이 특징을 결합하여 인간의 피부색상 영역을 강건하게 추출하는 새로운 방법을 제안한다. 제안된 방법에서는 먼저 스테레오 정합 기법을 이용하여 입력된 좌우 영상으로부터 카메라와 물체 사이의 거리를 나타내는 깊이 특징을 강건하게 추출한다. 그런 다음, 유사한 깊이 특징을 가지는 화소들을 레이블링하고, 레이블링한 영역 중에서 인간의 피부색상 분포를 가지는 영역들을 실제적인 피부색상 영역이라고 판단한다. 실험에서는 2차원 위주의 기존의 피부영역 추출 방법과 제안된 3차원의 특징을 활용한 방법의 성능을 정확도 측면에서 비교 및 평가하였다. 그 결과 제안된 방법은 색상 특징과 깊이 특징을 효과적으로 결합함으로써 기존의 배경 영역에서 부정확하게 검출되는 피부색상 영역의 오류를 상당수 제거하는 효과를 가지며, 이로 인해 전반적으로 보다 정확하게 피부영역을 추출하였다.

• Journal of Multimedia Information System
• /
• 제1권1호
• /
• pp.1-10
• /
• 2014

In this paper, we propose a new view synthesis technique for coding of multi-view color and depth data in arbitrary camera arrangements. We treat each camera position as a 3-D point in world coordinates and build clusters of those vertices. Color and depth data within a cluster are gathered into one camera position using a hierarchical representation based on the concept of layered depth image (LDI). Since one camera can cover only a limited viewing range, we set multiple reference cameras so that multiple LDIs are generated to cover the whole viewing range. Therefore, we can enhance the visual quality of the reconstructed views from multiple LDIs comparing with that from a single LDI. From experimental results, the proposed scheme shows better coding performance under arbitrary camera configurations in terms of PSNR and subjective visual quality.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권3호
• /
• pp.1121-1141
• /
• 2020

We propose a robust visual object tracking algorithm fusing a convolutional neural network tracker trained offline from a large number of video repositories and a color histogram based tracker to track objects for mixing immersive audio. Our algorithm addresses the problem of occlusion and large movements of the CNN based GOTURN generic object tracker. The key idea is the offline training of a binary classifier with the color histogram similarity values estimated via both trackers used in this method to opt appropriate tracker for target tracking and update both trackers with the predicted bounding box position of the target to continue tracking. Furthermore, a histogram similarity constraint is applied before updating the trackers to maximize the tracking accuracy. Finally, we compute the depth(z) of the target object by one of the prominent unsupervised monocular depth estimation algorithms to ensure the necessary 3D position of the tracked object to mix the immersive audio into that object. Our proposed algorithm demonstrates about 2% improved accuracy over the outperforming GOTURN algorithm in the existing VOT2014 tracking benchmark. Additionally, our tracker also works well to track multiple objects utilizing the concept of single object tracker but no demonstrations on any MOT benchmark.