• 제어로봇시스템학회논문지
• /
• 제21권10호
• /
• pp.958-964
• /
• 2015

In this paper, an object recognition method based on the depth information from the RGB-D camera, Xtion, is proposed for an indoor mobile robot. First, the RANdom SAmple Consensus (RANSAC) algorithm is applied to the point cloud obtained from the RGB-D camera to detect and remove the floor points. Next, the removed point cloud is classified by the k-means clustering method as each object's point cloud, and the normal vector of each point is obtained by using the k-d tree search. The obtained normal vectors are classified by the trained multi-layer perceptron as 18 classes and used as features for object recognition. To distinguish an object from another object, the similarity between them is measured by using Levenshtein distance. To verify the effectiveness and feasibility of the proposed object recognition method, the experiments are carried out with several similar boxes.

• 방송공학회논문지
• /
• 제25권7호
• /
• pp.1095-1106
• /
• 2020

In this paper, we propose an algorithm that extracts a high-precision 3D skeleton using a model generated using a distributed RGB-D camera. When information about a 3D model is extracted through a distributed RGB-D camera, if the information of the 3D model is used, a skeleton with higher precision can be obtained. In this paper, in order to improve the precision of the 2D skeleton, we find the conditions to obtain the 2D skeleton well using the PCA. Through this, high-quality 2D skeletons are obtained, and high-precision 3D skeletons are extracted by combining the information of the 2D skeletons. Even though this process goes through, the generated skeleton may have errors, so we propose an algorithm that removes these errors by using the information of the 3D model. We were able to extract very high accuracy skeletons using the proposed method.

• 한국통신학회논문지
• /
• 제38C권10호
• /
• pp.920-927
• /
• 2013

크로마키 방식에 의한 영상 합성은 색상 정보에 의해 전경 후경을 분리하기 때문에 객체 색상의 제약과 특정 스크린이 위치해 있어야 하는 공간의 제약이 있다. 특히 스테레오스코픽 3D 디스플레이를 위한 영상 합성은 크로마키 방식과는 달리 3D 공간에서의 자연스러운 영상 합성이 요구된다. 본 논문에서는 고해상도의 깊이 정보를 이용하여 깊이 키잉(depth keying) 방식에 의한 3D 공간에서의 스테레오스코픽 영상 합성을 제안하였다. 이를 위해 DSLR과 마이크로소프트사 키넥트 센서간의 카메라 캘리브레이션을 통해 고화질의 깊이 정보 획득 후 RGB 정보와의 정합 과정을 통해 3차원 데이터를 획득하였다. 깊이 정보에 의해 배경과 분리 된 객체는 3차원 공간에서의 포인트 클라우드 형태로 표현되어 가상 배경과 합성하였다. 이후 가상의 스테레오 카메라에 의해 Full HD 스테레오스코픽 비디오 합성 영상 획득 결과를 보였다.

• Current Optics and Photonics
• /
• 제5권1호
• /
• pp.32-39
• /
• 2021

We propose a three-dimensional (3D) streaming system based on a lamina display that can convey field information in real-time by creating floating 3D images that can satisfy the accommodation cue. The proposed system is mainly composed of three parts, namely: a 3D vision camera unit to obtain and provide RGB and depth data in real-time, a 3D image engine unit to realize the 3D volume with a fast response time by using the RGB and depth data, and an optical floating unit to bring the implemented 3D image out of the system and consequently increase the sense of presence. Furthermore, we devise the streaming method required for implementing augmented reality (AR) images by using a multilayered image, and the proposed method for implementing AR 3D video in real-time non-face-to-face communication has been experimentally verified.

• 반도체디스플레이기술학회지
• /
• 제22권1호
• /
• pp.72-77
• /
• 2023

In many manufacturing settings, including the semiconductor industry, products are completed by producing and assembling various components. Sorting out from randomly mixed parts and classification operations takes a lot of time and labor. Recently, many efforts have been made to select and assemble correct parts from mixed parts using robots. Automating the sorting and classification of randomly mixed components is difficult since various objects and the positions and attitudes of robots and cameras in 3D space need to be known. Previously, only objects in specific positions were grasped by robots or people sorting items directly. To enable robots to pick up random objects in 3D space, bin picking technology is required. To realize bin picking technology, it is essential to understand the coordinate system information between the robot, the grasping target object, and the camera. Calibration work to understand the coordinate system information between them is necessary to grasp the object recognized by the camera. It is difficult to restore the depth value of 2D images when 3D restoration is performed, which is necessary for bin picking technology. In this paper, we propose to use depth information of RGB-D camera for Z value in rotation and movement conversion used in calibration. Proceed with camera calibration for accurate coordinate system conversion of objects in 2D images, and proceed with calibration of robot and camera. We proved the effectiveness of the proposed method through accuracy evaluations for camera calibration and calibration between robots and cameras.

• 디지털융복합연구
• /
• 제14권1호
• /
• pp.189-194
• /
• 2016

최근 카메라, 캠코더 및 CCTV 등의 사용이 활발해지면서 영상 처리 기술의 수요가 급증하고 있다. 특히 키넥트 센서와 같은 깊이(Depth) 카메라를 사용한 3D 영상 기술에 대한 연구개발이 더욱더 활성화되고 있다. 키넥트 센서는 RGB, 골격(Skeleton) 및 깊이(Depth) 영상을 통해 인체의 3D 골격 구조를 실시간 프레임 단위로 획득할 수 있는 고성능 카메라이다. 본 논문에서는 키넥트 센서를 사용하여 인체의 3D 골격 구조를 모션 캡처하고 범용으로 사용되고 있는 모션 파일 포맷($^*.trc$ 및 $^*.bvh$)으로 선택하여 저장할 수 있는 시스템을 개발한다. 또한 본 시스템은 광학식 모션 캡처 파일 포맷($^*.trc$)을 자기식 모션 캡처 파일 포맷($^*.bvh$)으로 변환할 수 있도록 하는 기능을 가진다. 마지막으로 본 논문에서는 키넥트 센서를 사용하여 캡처한 모션 데이터가 제대로 캡처되어졌는지 모션 캡처 데이터 뷰어를 통하여 확인한다.

• International journal of advanced smart convergence
• /
• 제9권3호
• /
• pp.192-198
• /
• 2020

The 3D point cloud is a key technology of object detection for virtual reality and augmented reality. In order to apply various areas of object detection, it is necessary to obtain 3D information and even color information more easily. In general, to generate a 3D point cloud, it is acquired using an expensive scanner device. However, 3D and characteristic information such as RGB and depth can be easily obtained in a mobile device. GNN (Graph Neural Network) can be used for object detection based on these characteristics. In this paper, we have generated RGB and RGBD by detecting basic information and characteristic information from the KITTI dataset, which is often used in 3D point cloud object detection. We have generated RGB-GNN with i-GNN, which is the most widely used LiDAR characteristic information, and color information characteristics that can be obtained from mobile devices. We compared and analyzed object detection accuracy using RGBD-GNN, which characterizes color and depth information.

• 국제학술발표논문집
• /
• The 9th International Conference on Construction Engineering and Project Management
• /
• pp.328-335
• /
• 2022

With the advance of robot capabilities and functionalities, construction robots assisting construction workers have been increasingly deployed on construction sites to improve safety, efficiency and productivity. For close-proximity human-robot collaboration in construction sites, robots need to be aware of the context, especially construction worker's behavior, in real-time to avoid collision with workers. To recognize human behavior, most previous studies obtained 3D human poses using a single camera or an RGB-depth (RGB-D) camera. However, single-camera detection has limitations such as occlusions, detection failure, and sensor malfunction, and an RGB-D camera may suffer from interference from lighting conditions and surface material. To address these issues, this study proposes a novel method of 3D human pose estimation by extracting 2D location of each joint from multiple images captured at the same time from different viewpoints, fusing each joint's 2D locations, and estimating the 3D joint location. For higher accuracy, the probabilistic representation is used to extract the 2D location of the joints, considering each joint location extracted from images as a noisy partial observation. Then, this study estimates the 3D human pose by fusing the probabilistic 2D joint locations to maximize the likelihood. The proposed method was evaluated in both simulation and laboratory settings, and the results demonstrated the accuracy of estimation and the feasibility in practice. This study contributes to ensuring human safety in close-proximity human-robot collaboration by providing a novel method of 3D human pose estimation.

• 한국통신학회논문지
• /
• 제30권4C호
• /
• pp.239-246
• /
• 2005

본 논문에서는 영상의 RGB 정보와 화소단위의 8비트 깊이 정보를 이용하여 현재의 영상과 스테레오 쌍이 되는 가상의 우 영상을 생성한다. 이 과정에서 깊이 정보를 시차 정보로 변환하고, 생성된 시차정보를 이용하여 우 영상을 생성하게 된다. 또한 스테레오 영상을 합성한 후 회전(rotation)과 이동(translation) 등의 기하학적 변환을 이용하여 관찰자의 위치를 고려한 다시점 스테레오 영상을 합성하는 기법을 제안하고, 깊이 정보와 시차 정보와의 관계를 분석하여 화소 단위의 실시간 처리를 위한 LUT(look-up table) 방식의 고속 기법도 제안한다. 실험 결과 SD급 영상의 경우 8비트 깊이 정보만을 가지고 11시점의 스테레오 영상을 실시간으로 합성할 수 있다.

• 한국콘텐츠학회논문지
• /
• 제21권2호
• /
• pp.130-139
• /
• 2021

본 연구에서는 매실에 가장 큰 피해를 주는 복숭아 씨살이좀벌의 방제 적기 안내를 위해 3D 영상을 활용한 매실 인식 및 크기 추정 프로그램을 통해 매실 크기를 예측하였다. 3차원 영상 측정이 가능한 Kinect 2.0 Camera 및 RealSense Depth Camera D415를 사용하여 야간 영상 촬영을 진행하였다. 획득한 영상을 토대로 MATLAB R2018a를 이용하여 영상 전처리, 크기 추정이 가능한 매실 추출, RGB 및 Depth 영상 정합 및 매실 크기 추정의 4단계로 구성된 매실 인식 및 추정 프로그램을 구현해 매실 성장 단계를 고려하여 2018년의 5개 영상 및 2019년의 5개의 영상을 분석하였다. 10개 영상에 대해 프로그램을 구동하여 얻은 결과를 통해 매실 인식률의 평균 61.9%, 매실 인식 오류율 평균 0.5% 및 크기 측정 오차율 평균 3.6%를 도출하였다. 이러한 매실 인식 및 크기 추정 프로그램의 지속적인 개발은 향후 정확한 열매 크기 모니터링 및 복숭아 씨살이좀벌의 적기 방제 시스템 개발을 가능하게 할 것으로 예상한다.