• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2011.10a
• /
• pp.605-606
• /
• 2011

최근 PC 기반의 새로운 입력장치인 키넥트(Kinect) 센서에 대한 연구사 활발하게 진행되고 있다. 키넥트 센서의 가장 큰 이점은 2차원 평면 영상정보에 대하여 새롭게 추가된 깊이(Depth) 정보를 얻을 수 있다는 것이다. 이것은 이전에 등장했던 다른 인터페이스보다 새로운 차원의 인터페이스로서 2차원의 영상 정보로부터 한 차원 확장된 3차원의 정보를 활용할 수 있다는 점에서 그 의미가 크다고 볼 수 있다. 본 논문에서는 이러한 2차원 영상정보와 추가된 깊이 정보를 활용하여 사람의 영상정보와 사람의 위치 정보를 활용하여 위치한 환경의 조명을 제어할 수 있도록 시스템을 구성하였다. 또한, 키넥트의 다양한 성능을 검토하기위하여 3개의 키넥트를 사용하였으며 중첩된 영상정보를 30%의 중복도를 가지도록 구성하여 다양한 활용가능성을 검토하였다. 구현한 시스템을 통하여 사람을 추적할 수 있도록 알고리즘을 개발하고, 추적된 사람의 위치 정보를 통하여 LED 조명을 제어할 수 있는 키넥트 기반의 조명제어 시스템을 제시하고자 한다.

• KIPS Transactions on Software and Data Engineering
• /
• v.1 no.3
• /
• pp.177-186
• /
• 2012

In this paper, we propose a real-time approach for detecting and tracking a hand region by analyzing depth images. We build a hand model in advance. The model has the shape information of a hand. The detecting process extracts out moving areas in an image, which are possibly caused by moving a hand in front of a camera. The moving areas can be identified by analyzing accumulated difference images and applying the region growing technique. The extracted moving areas are compared against a hand model to get justified as a hand region. The tracking process keeps the track of center points of hand regions of successive frames. For this purpose, it involves three steps. The first step is to determine a seed point that is the closest point to the center point of a previous frame. The second step is to perform region growing to form a candidate region of a hand. The third step is to determine the center point of a hand to be tracked. This point is searched by the mean-shift algorithm within a confined area whose size varies adaptively according to the depth information. To verify the effectiveness of our approach, we have evaluated the performance of our approach while changing the shape and position of a hand as well as the velocity of hand movement.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.16 no.8
• /
• pp.1642-1652
• /
• 2012

Generally, a camera isn't located at the center of display in a tele-presence system and it causes an incorrect eye contact between speakers which reduce the realistic feeling during the conversation. To solve this incorrect eye contact problem, we newly propose an intermediate view reconstruction algorithm using both a color camera and a depth camera and applying for the depth image based rendering (DIBR) algorithm. In the proposed algorithm, an efficient hole filling method using the arithmetic mean value of neighbor pixels and an efficient boundary noise removal method by expanding the edge region of depth image are included. We show that the generated eye-contacted image has good quality through experiments.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2013.11a
• /
• pp.120-123
• /
• 2013

본 논문에서는 키넥트 센서의 RGB영상을 이용하여 얼굴을 검출하고 검출된 영역의 깊이정보를 템플릿으로 사용하여 다수개의 얼굴을 추적하는 방법을 제안한다. 이 논문은 [1]의 단일 얼굴 추적방법을 다수의 얼굴을 추적하도록 확장한 것이다. 다수의 얼굴추적을 실시간으로 처리하기 위하여 영상을 down sampling 하여 사용한다. 얼굴 검출은 기본적으로 기존의 Adaboost 방법을 사용하나, 피부색만을 이용, 탐색영역을 최대한 축소하여 수행 시간 및 오검출율을 줄인다. 얼굴추적은 깊이정보를 템플릿으로 하며, 깊이값에 따라 크기, 탐색영역을 조정하고, 또한 일정 프레임마다 얼굴을 검출하며 겹침, 새로 나타남, 영상 밖으로 사라짐 등의 얼굴추적 시 발생하는 문제를 해결한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.11a
• /
• pp.270-272
• /
• 2011

다시점 비디오는 사용자들에게 자유로운 시점 선택 및 넓은 시점에서의 입체감을 제공하지만, 시점의 증가에 따른 데이터 량의 증가가 불가피하다. 이에 따라 최근 MPEG 에서는 재생되는 시점 수 보다 적은 수의 다시점 비디오와 그에 대응하는 깊이 영상 및 관련 파라미터를 메타데이터 형태로 제공하는 다시점 및 깊이 영상 부호화(MVD: Multiview plus Depth)에 대한 표준화를 진행하고 있다. 본 논문은 MVD 가 방송망에서 서비스되는 시나리오를 가정하여 다시점 비디오와 그에 대응하는 깊이 영상을 MPEG-2 TS(Transport Stream)로 전송하기 위한 기법을 제시한다. 제안한 기법은 기존의 단일 영상 및 깊이 영상을 전송하기 위한 부가비디오스트림 서술자(Auxiliary Video Stream Descriptor) 및 MPEG-C Part 3 표준을 확장하여 다시점 비디오와 그에 대응하는 깊이 영상간의 매핑 정보 및 각 시점의 깊이 파라미터를 제공할 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.05a
• /
• pp.600-603
• /
• 2020

360 영상은 시청자가 시야방향을 결정하는 3DoF(3 Degree of Freedom)를 지원한다. 본 연구에서는 다수의 360 영상에서 깊이 정보를 획득하고, 이를 DIBR (Depth -based Image Rendering) 기법을 사용하여 임의 시점 시청기능을 제공하는 6DoF(6 Degree of Freedom) 영상제작 기법을 제안한다. 이를 위하여 기존의 평면 다시점 영상기법을 확장하여 360 ERP 투영 영상으로부터 카메라의 파라미터 예측을 하는 방법과 깊이영상 추출 방법을 설계 및 구현하고 그 성능을 조사하였으며, OpenGL 그래픽스기반의 RVS(Reference View Synthesizer) 라이브러리를 사용하여 DIBR을 적용하였다.

• Journal of the Korea Society of Computer and Information
• /
• v.18 no.8
• /
• pp.65-75
• /
• 2013

This paper proposes a method of tracking the hand region and detecting the fingertip using only depth images. In order to eliminate the influence of lighting conditions and obtain information quickly and stably, this paper proposes a tracking method that relies only on depth information, as well as a method of using region growing to identify errors that can occur during the tracking process and a method of detecting the fingertip that can be applied for the recognition of various gestures. First, the closest point of approach is identified through the process of transferring the center point in order to locate the tracking point, and the region is grown from that point to detect the hand region and boundary line. Next, the ratio of the invalid boundary, obtained by means of region growing, is used to calculate the validity of the tracking region and thereby judge whether the tracking is normal. If tracking is normal, the contour line is extracted from the detected hand region and the curvature and RANSAC and Convex-Hull are used to detect the fingertip. Lastly, quantitative and qualitative analyses are performed to verify the performance in various situations and prove the efficiency of the proposed algorithm for tracking and detecting the fingertip.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.17 no.2
• /
• pp.438-446
• /
• 2013

Generally, a camera isn't located at the center of display in a tele-presence system and it causes an incorrect eye contact between speakers which reduce the realistic feeling during the conversation. To solve this incorrect eye contact problem, we newly propose an intermediate view reconstruction algorithm using both a color camera and a depth camera and applying for the depth image based rendering (DIBR) algorithm. In the proposed algorithm, an efficient hole filling method using the arithmetic mean value of neighbor pixels and an efficient boundary noise removal method by expanding the edge region of depth image are included. We show that the generated eye-contacted image has good quality through experiments.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.37 no.4A
• /
• pp.239-249
• /
• 2012

Recently, the virtual view generation method using depth data is employed to support the advanced stereoscopic and auto-stereoscopic displays. Although depth data is invisible to user at 3D video rendering, its accuracy is very important since it determines the quality of generated virtual view image. Many works are related to such depth enhancement exploiting a time-of-flight (TOF) camera. In this paper, we propose a fast 3D scene capturing system using one TOF camera at center and two high-resolution cameras at both sides. Since we need two depth data for both color cameras, we obtain two views' depth data from the center using the 3D warping technique. Holes in warped depth maps are filled by referring to the surrounded background depth values. In order to reduce mismatches of object boundaries between the depth and color images, we used the joint bilateral filter on the warped depth data. Finally, using two color images and depth maps, we generated 10 additional intermediate images. To realize fast capturing system, we implemented the proposed system using multi-threading technique. Experimental results show that the proposed capturing system captured two viewpoints' color and depth videos in real-time and generated 10 additional views at 7 fps.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.07a
• /
• pp.31-33
• /
• 2012

MPEG 3DV 그룹에서는 재생되는 시점 수 보다 적은 시점의 다시점 비디오와 그에 대응하는 깊이영상 및 관련 파라미터를 하나의 비트스트림으로 부호화하는 다시점 및 깊이영상 부호화(MVD: Multiview Video plus Depth) 표준화가 진행 중에 있다. 본 논문은 3DV MVD 비트스트림 포맷을 MPEG-2 TS 로 다중화하기 위한 TS 다중화 확장기법을 제안한다. 또한, MVD 재현 시나리오에 따른 효율적인 TS 전송 구조를 제시하고, TS 다중화 SW 툴의 설계 및 구현을 통하여 그 장단점을 고찰한다. 제안된 기법은 프로그램 및 ES 에 대한 정보를 함께 다중화하여 MVD 의 다양한 재현 시나리오 적응 및 효율적인 복호화 및 가상시점 합성을 지원할 수 있다.