• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.38C no.10
• /
• pp.920-927
• /
• 2013

Chroma key technique which composes images by separating an object from its background in specific color has restrictions on color and space. Especially, unlike general chroma key technique, image composition for stereo 3D display requires natural image composition method in 3D space. The thesis attempted to compose images in 3D space using depth keying method which uses high resolution depth information. High resolution depth map was obtained through camera calibration between the DSLR and Kinect sensor. 3D mesh model was created by the high resolution depth information and mapped with RGB color value. Object was converted into point cloud type in 3D space after separating it from its background according to depth information. The image in which 3D virtual background and object are composed obtained and played stereo 3D images using a virtual camera.

• Journal of Broadcast Engineering
• /
• v.18 no.3
• /
• pp.380-392
• /
• 2013

A method to classify a golf swing motion into 7 sections using a Kinect sensor and a fuzzy system is proposed. The inputs to the fuzzy logic are the positions of golf club and its head, which are extracted from the information of golfer's joint position and color information obtained by a Kinect sensor. The proposed method consists of three modules: one for extracting the joint's information, another for detecting and tracking of a golf club, and the other for classifying golf swing motions. The first module extracts the hand's position among the joint information provided by a Kinect sensor. The second module detects the golf club as well as its head with the Hough line transform based on the hand's coordinate. Using a fuzzy logic as a classification engine reduces recognition errors and, consequently, improves the performance of robust classification. From the experiments of real-time video clips, the proposed method shows the reliability of classification by 85.2%.

• KIPS Transactions on Software and Data Engineering
• /
• v.2 no.3
• /
• pp.199-204
• /
• 2013

An implementation method of real-time numeral recognizer based on gesture is presented in this paper for various information devices. The proposed algorithm steadily captures the motion of a hand on 3D open space with the Kinect sensor. The captured hand motion is simplified with PCA, in order to preserve the trace consistency and to minimize the trace variations due to noises and size changes. In addition, we also propose a new HMM using both the gradient and the positional features of the simplified hand stroke. As the result, the proposed algorithm has robust characteristics to the variations of the size and speed of hand motion. The recognition rate is increased up to 30%, because of this combined model. Experimental results showed that the proposed algorithm gives a high recognition rate about 98%.

• Journal of the Institute of Electronics and Information Engineers
• /
• v.52 no.7
• /
• pp.93-99
• /
• 2015

In this paper, we propose a gaze correction method for realistic video teleconferencing. Typically, cameras used in teleconferencing are installed at the side of the display monitor, but not in the center of the monitor. This system makes it too difficult for users to contact each eyes. Therefore, eys contact is the most important in the immersive videoconferencing. In the proposed method, we use the stereo camera and the depth camera to correct the eye contact. The depth camera is the kinect camera, which is the relatively cheap price, and estimate the depth information efficiently. However, the kinect camera has some inherent disadvantages. Therefore, we fuse the kinect camera with stereo camera to compensate the disadvantages of the kinect camera. Consecutively, for the gaze-corrected image, view synthesis is performed by 3D warping according to the depth information. Experimental results verify that the proposed system is effective in generating natural gaze-corrected images.

• Journal of Sensor Science and Technology
• /
• v.25 no.3
• /
• pp.196-201
• /
• 2016

Rehabilitation exercises are the treatments designed to help patients who are in the process of recovery from injury or illness to restore their body functions back to the original status. However, many patients suffering from chronic diseases have found difficulties visiting hospitals for the rehabilitation program due to lack of transportation, cost of the program, their own busy schedules, etc. Also, the program usually contains a few medical check-ups which can cause patients to feel uncomfortable. In this paper, we develop a remote rehabilitation system with bio-signals by a stereo camera. A Kinect stereo camera manufactured by Microsoft corporation was used to recognize the body movement of a patient by using its infrared(IR) camera. Also, we detect the chest area of a user from the skeleton data and process to gain respiratory status. ROI coordinates are created on a user's face to detect photoplethysmography(PPG) signals to calculate heart rate values from its color sensor. Finally, rehabilitation exercises and bio-signal detecting features are combined into a Windows application for the cost effective and high performance remote rehabilitation system.

• Proceedings of The KACE
• /
• 2017.08a
• /
• pp.197-199
• /
• 2017

재난 상황이나 우주 공간과 같은 환경에서는 인간이 직접 작업을 수행하기가 매우 어렵다. 따라서 이러한 환경에서 인명 구조나 탐사 등을 진행할 때에는 원격으로 제어가능한 로봇을 활용하는 것이 효과적이다. 특히 이 로봇이 인간의 움직임을 실시간으로 모방한다면 직관적이고 순발력 있는 제어가 가능해진다. 본 연구에서는 키넥트 센서를 이용해 인간의 움직임을 인식하고 이 움직임을 모방하는 로봇핸드와 로봇암을 구현하였다. 하드웨어는 TETRIX와 EV3 플랫폼을 이용하여 설계하였고, 소프트웨어는 C# 기반의 KINECT for Windows SDK와 Visual Studio 2015로 구현하였다. 본 연구에서 구현한 시스템은 재난 현장에서의 인명 구조, 복구 상황에서와 우주 공간에서의 탐사 상황에서 유용하게 사용될 수 있을 것이다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.06a
• /
• pp.12-15
• /
• 2016

요즘 들어, 3차원 콘텐츠의 수요는 지속적으로 증가하고 있다. 3차원 콘텐츠의 품질은 해당 장면의 깊이 정보에 큰 영향을 받기 때문에 정확한 깊이 정보를 얻는 방법이 매우 중요하다. 깊이 정보를 얻는 방법은 크게 수동형 방식과 능동형 방식으로 나뉘는데, 수동형 방식은 계산 과정이 복잡하고 깊이맵의 품질이 보장되지 않는 단점을 갖기 때문에 능동형 방식이 많이 사용되고 있다. 능동형 방식은 깊이 카메라를 이용하여 직접적인 깊이 정보를 얻는 방식으로, 대게 ToF(Time-of-flight) 기술이 사용된다. 이 논문에서는 ToF 깊이 카메라로 촬영된 실제 깊이맵의 특성을 분석하기 위해 여러 가지 촬영 환경과 객체에 대해서 SR4000 깊이 카메라와 키넥트 v2 센서를 이용하여 깊이맵 품질을 비교했다. 실험 결과, 적외선이 제대로 반사되기 어려운 방사성 물질이나 표면, 경계 영역, 어두운 영역, 머리 영역 등에서 정확한 깊이 정보를 얻기 어려웠으며, 실외 환경에서 정확한 깊이 정보가 획득되지 않는 것을 확인할 수 있었다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2013.07a
• /
• pp.289-290
• /
• 2013

본 논문에서는 Kinect를 이용하여 효율적으로 애니메이션 캐릭터의 움직임의 제어하는 방법을 제안한다. 대상의 3차원 정보를 획득할 수 있는 Kinect 센서를 이용하여 15개 관절의 정보 값을 추출해 내고, 이를 애니메이션 캐릭터의 관절에 사상시켜 캐릭터의 움직임을 보다 자연스럽게 표현 해 낸다. 실험 결과 공간상에서의 실제 인물의 움직임을 애니메이션 캐릭터가 정교하게 재현함을 확인하였다. 본 연구를 통해 많은 비용과 노력이 필요한 캐릭터 애니메이션 작업을 간단하게 수행할 수 있는 방법을 제시한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2012.11a
• /
• pp.11-14
• /
• 2012

본 논문에서는 키넥트 센서의 RGB영상과 깊이영상을 사용하여 얼굴을 검출하고, 검출 된 템플릿을 이용하여 얼굴을 추적하는 방법을 제안한다. 얼굴검출은 기본적으로 기존의 Adaboost 방법을 사용하나, 깊이정보와 피부색을 사용하여 탐색영역을 최대한 축소하여 수행시간 및 오검출율을 줄였다. 그리고 얼굴추적은 깊이정보를 이용하여 템플릿의 크기, 탐색영역을 조정하였다. 또한, RGB영상보다 조명변화에 강한 깊이영상을 이용하여 효율적인 템플릿 매칭을 하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.04a
• /
• pp.868-870
• /
• 2016

균형 조절 능력 저하를 진단하고 치료하기 위해서는 자세 조절 능력을 객관적으로 평가하는 것이 매우 중요하다. 임상에서 사용하는 자세검사기는 고감도 압력센서를 사용하기 때문에 종래의 임상적 검사보다 객관적이고 정량적으로 자세 불안정성을 평가할 수 있다. 하지만 일반적으로 사용하는 자세검사기는 차지하는 공간이 크고 비싼 가격 때문에 소규모 병원이나 개인이 사용하기에는 어려움이 있다. 이에 본 논문에서는 키넥트와 위 밸런스 보드에서 획득한 정보를 이용하여 자세 불안정성을 평가하는 저비용 자세검사 시스템을 제안한다. 본 논문에서 제안한 자세검사 시스템을 실제 임상 환경에 적용한다면 간편하고 정량적으로 자세 조절 능력을 평가할 수 있는 환경을 제공할 수 있을 것이다.