• 한국멀티미디어학회논문지
• /
• 제22권10호
• /
• pp.1142-1148
• /
• 2019

Reconstruction of the three-dimensional (3D) environment is a key aspect of augmented reality and augmented virtuality, which utilize and incorporate a user's surroundings. Such reconstruction can be easily realized by employing a Kinect device. However, multiple Kinect devices are required for enhancing the reconstruction density and for spatial expansion. While employing multiple Kinect devices, they must be calibrated with respect to each other in advance, and a marker is often used for this purpose. However, a marker needs to be placed at each calibration, and the result of marker detection significantly affects the calibration accuracy. Therefore, a user-friendly, efficient, accurate, and marker-less method for calibrating multiple Kinect devices is proposed in this study. The proposed method includes a joint tracking algorithm for approximate calibration, and the obtained result is further refined by applying the iterative closest point algorithm. Experimental results indicate that the proposed method is a convenient alternative to conventional marker-based methods for calibrating multiple Kinect devices. Hence, the proposed method can be incorporated in various applications of augmented reality and augmented virtuality that require 3D environment reconstruction by employing multiple Kinect devices.

• 제어로봇시스템학회논문지
• /
• 제21권11호
• /
• pp.1003-1007
• /
• 2015

Depth calibration is a procedure for finding the conversion function that maps disparity data from a depth-sensing camera to actual distance information. In this paper, we present an optimal depth calibration method for Kinect$^{TM}$ sensors based on an experimental design and convex optimization. The proposed method, which utilizes multiple measurements from only two points, suggests a simplified calibration procedure. The confidence ellipsoids obtained from a series of simulations confirm that a simpler procedure produces a more reliable calibration function.

• Journal of information and communication convergence engineering
• /
• 제12권4호
• /
• pp.208-214
• /
• 2014

In this paper, in order to solve the problems of a narrow viewing angle and the flip effect in a three-dimensional (3D) integral imaging display, we propose an improved system by using an eye tracking method based on the Kinect sensor. In the proposed method, we introduce two types of calibration processes. First process is to perform the calibration between two cameras within Kinect sensor to collect specific 3D information. Second process is to use a space calibration for the coordinate conversion between the Kinect sensor and the coordinate system of the display panel. Our calibration processes can provide the improved performance of estimation for 3D position of the observer's eyes and generate elemental images in real-time speed based on the estimated position. To show the usefulness of the proposed method, we implement an integral imaging display system using the eye tracking process based on our calibration processes and carry out the preliminary experiments by measuring the viewing angle and flipping effect for the reconstructed 3D images. The experimental results reveal that the proposed method extended the viewing angles and removed the flipping images compared with the conventional system.

• 한국전산구조공학회논문집
• /
• 제31권4호
• /
• pp.207-213
• /
• 2018

본 연구에서는 건물 실내 공간 정보 획득을 위해 Microsoft사의 $Kinect^{(R)}$ v2를 활용한 point cloud 기법을 도입하였다. 카메라로 취득한 2차원의 투영 공간 이미지 픽셀 좌표를 각 카메라의 보정을 거쳐 3차원 이미지 변환하며 이를 토대로 공간 정보를 구현하였다. 기준점을 중심으로 $360^{\circ}$ 회전하여 취득한 3차원 이미지를 통해 거리 측정이 불가한 기존의 2차원 이미지의 한계를 개선하였으며, 이 과정을 통해 얻은 point cloud를 통해 3차원 map을 형성하였다. 형성된 3차원 map은 기존의 공간정보 융 복합을 위한 센서와 비슷한 수준의 측정 효율을 가지면서 동시에 렌즈 왜곡 현상에 대한 후처리 과정을 통해 공간 정보를 정확하게 측정할 수 있도록 하였다. 측정한 결과를 2D 도면과 실제 공간 및 구조부재의 길이 및 위치 등과 비교하여 검증하였다.

• 방송공학회논문지
• /
• 제26권3호
• /
• pp.269-282
• /
• 2021

증강현실과 가상현실 같은 3차원 콘텐츠 보급이 증가함에 따라 실시간 컴퓨터 애니메이션 기술의 중요성이 높아지고 있다. 하지만 컴퓨터 애니메이션 제작 과정은 대부분 수작업 혹은 마커를 부착하는 모션캡쳐 방식으로 이루어져 있다. 때문에 사실적인 영상을 얻기 위해서는 숙련된 전문가에게도 매우 오랜 시간이 필요하다. 이러한 문제점을 해결하기 위해 최근에는 딥러닝 모델과 센서를 기반으로 하는 애니메이션 제작 시스템과 알고리즘이 나오고 있다. 이에 본 논문에서는 딥러닝과 Kinect 카메라 기반 FBX 형식의 애니메이션 제작 시스템에서 자연스러운 인체 움직임을 구현하는 4가지 방법에 대해 연구했다. 각 방법은 환경적 특성과 정확도를 고려하여 선택된다. 첫 번째 방법은 Kinect 카메라를 사용한다. 두 번째 방법은 Kinect 카메라와 보정 알고리즘을 사용한다. 세 번째 방법은 딥러닝 모델을 사용한다. 네 번째 방법은 딥러닝 모델과 Kinect를 사용한다. 제안 방법을 오차와 처리 속도를 실험한 결과, 네 번째 딥러닝 모델과 Kinect를 동시에 사용하는 방법이 다른 방법에 비해 가장 좋은 결과를 보였다.

• 한국정보통신학회논문지
• /
• 제21권3호
• /
• pp.558-567
• /
• 2017

본 연구에서는 다수의 키넥트 센서를 이용하여 효율적인 실시간 운동 자세 추정 시스템을 설계하고 개발하였다. 이 시스템은 정면과 측면에 키넥트 센서를 사용하여, 한 개로 추적이 어려웠던 사용자의 특정 자세 (예를 들어, 무릎컬 또는 런지)를 보다 정확하게 측정하고 인식하는 것을 목적으로 한다. 그리고 추후 다양한 자세를 지원할 수 있도록 확장 가능하고 모듈화 된 방법으로 설계되었다. 이 시스템은 여러 클라이언트와 유니티 3D 서버로 구성된다. 클라이언트는 키넥트 골격 데이터를 처리하여 서버로 전송한다. 서버는 다중 키넥트를 보정하고, 각도와 거리를 기반으로 한 특징 값 추출하며 여러 대의 키넥트로부터 계산된 특징 값의 가중 평균을 사용하여 자세 인식 모델을 기반으로 자세 추정 알고리즘을 적용한다. 본 논문은 다중 키넥트 센서를 이용한 인간 운동 자세 추정 시스템의 설계 및 구현 방법을 제시하고, 체험형 유니티 3D 운동 게임에 적용한 예시를 설명한다.

• 전기전자학회논문지
• /
• 제18권2호
• /
• pp.291-297
• /
• 2014

Since hand gesture recognition was realized thanks to improved image processing algorithms, sign language translation has been a critical issue for the hearing-impaired. In this paper, we extract human hand figures from a real time image stream and detect gestures in order to figure out which kind of hand language it means. We used depth-color calibrated image from the Kinect to extract human hands and made a decision tree in order to recognize the hand gesture. The decision tree contains information such as number of fingers, contours, and the hand's position inside a uniform sized image. We succeeded in recognizing 'Hangul', the Korean alphabet, with a recognizing rate of 98.16%. The average execution time per letter of the system was about 76.5msec, a reasonable speed considering hand language translation is based on almost still images. We expect that this research will help communication between the hearing-impaired and other people who don't know hand language.

• ETRI Journal
• /
• 제39권2호
• /
• pp.181-190
• /
• 2017

The movements of the human body are difficult to capture owing to the complexity of the three-dimensional skeleton model and occlusion problems. In this paper, we propose a motion capture system that tracks dynamic human motions in real time. Without using external markers, the proposed system adopts multiple depth sensors (Microsoft Kinect) to overcome the occlusion and body rotation problems. To combine the joint data retrieved from the multiple sensors, our calibration process samples a point cloud from depth images and unifies the coordinate systems in point clouds into a single coordinate system via the iterative closest point method. Using noisy skeletal data from sensors, a posture reconstruction method is introduced to estimate the optimal joint positions for consistent motion generation. Based on the high tracking accuracy of the proposed system, we demonstrate that our system is applicable to various motion-based training programs in dance and Taekwondo.

• 한국컴퓨터그래픽스학회논문지
• /
• 제22권4호
• /
• pp.1-9
• /
• 2016

본 논문은 빛을 이용한 영상 투사 매체인 프로젝터와 사용자의 신체를 인식하는 키넥트 센서를 이용하여 움직이는 사람의 손에 영상을 프로젝션 매핑하는 시스템 개발을 제안한다. 기존 프로젝션 매핑은 고정된 물체에 영상을 투사하는 경우가 대부분이지만, 본 시스템은 움직이는 손을인식해 손바닥의 중심점에 영상을 투사하여 사용자에게 새로운 인지 경험을 제공하기 위해 개발되었다. 본 논문에서는 시스템 제작 과정과 이를 기반으로 제작된 콘텐츠와 응용 예에 대해 설명한다. 하드웨어구성과 조립방법을 구체적으로 제시하고객체지향개발 방법을 통한 오픈 소프트웨어 구조 개발과정에 대해 자세히 서술한다. 안정적인 사영을위해 3차원 공간상에서 프로젝터와 키넥트 센서 좌표 캘리브레이션, 그리고 키넥트 센서 좌표 노이즈, 손떨림으로 인해 발생하는 노이즈 감소 방법을 실험 결과와 함께 제시한다.

• 대한조선학회논문집
• /
• 제58권6호
• /
• pp.382-390
• /
• 2021

The present study suggests the application of a depth camera for wave height field measurement, focusing on the calibration procedure and test setup. Azure Kinect system is used to measure the water surface elevation, with a field of view of 800 mm × 800 mm and repetition rate of 30 Hz. In the optimal optical setup, the spatial resolution of the field of view is 288 × 320 pixels. To detect the water surface by the depth camera, tracer particles that float on the water and reflects infrared is added. The calibration consists of wave height scaling and correction of the barrel distortion. A polynomial regression model of image correction is established using machine learning. The measurement results by the depth camera are compared with capacitance type wave height gauge measurement, to show good agreement.