• 한국측량학회지
• /
• 제37권2호
• /
• pp.45-53
• /
• 2019

RGB-D SLAM (Simultaneous Localization and Mapping) refers to the technology of using deep camera as a visual sensor for SLAM. In view of the disadvantages of high cost and indefinite scale in the construction of maps for laser sensors and traditional single and binocular cameras, a method for creating three-dimensional map of indoor environment with deep environment data combined with RGB-D SLAM scheme is studied. The method uses a mobile robot system equipped with a consumer-grade RGB-D sensor (Kinect) to acquire depth data, and then creates indoor three-dimensional point cloud maps in real time through key technologies such as positioning point generation, closed-loop detection, and map construction. The actual field experiment results show that the average error of the point cloud map created by the algorithm is 0.0045m, which ensures the stability of the construction using deep data and can accurately create real-time three-dimensional maps of indoor unknown environment.

• ETRI Journal
• /
• 제44권2호
• /
• pp.286-299
• /
• 2022

Human activity recognition in real time is a challenging task. Recently, a plethora of studies has been proposed using deep learning architectures. The implementation of these architectures requires the high computing power of the machine and a massive database. However, handcrafted features-based machine learning models need less computing power and very accurate where features are effectively extracted. In this study, we propose a handcrafted model based on three-dimensional sequential skeleton data. The human body skeleton movement over a frame is computed through joint positions in a frame. The joints of these skeletal frames are projected into two-dimensional space, forming a "movement polygon." These polygons are further transformed into a one-dimensional space by computing amplitudes at different angles from the centroid of polygons. The feature vector is formed by the sampling of these amplitudes at different angles. The performance of the algorithm is evaluated using a support vector machine on four public datasets: MSR Action3D, Berkeley MHAD, TST Fall Detection, and NTU-RGB+D, and the highest accuracies achieved on these datasets are 94.13%, 93.34%, 95.7%, and 86.8%, respectively. These accuracies are compared with similar state-of-the-art and show superior performance.

• 한국컴퓨터정보학회논문지
• /
• 제19권10호
• /
• pp.35-42
• /
• 2014

주어진 실내 환경에 위치한 여러 장애물에 대한 정보를 사전에 훈련하고 인식하여 로봇의 인지 능력을 향상시키기 위해 스테레오비전 센서의 RGB-D 이미지에서 인텐시티를 기반으로 일정 거리 안에 있는 장애물을 검출하는 기법을 제시한다. RGB-D 인텐시티 정보에 대해 PCA, ICA, LDA, SVM의 주요 패턴인식 알고리즘을 적용하여 인식률 및 실행시간을 구하고, 여러 패턴인식 알고리즘 중에서 어떤 알고리즘이 인식률 및 실행시간 측면에서 적용이 가능한지를 제시한다. 실험결과, RGB-D 데이터와 인텐시티 데이터를 비교한 결과 정확도면에서는 RGB-D 데이터가 4.2% 높은 인식률을 보였으나 훈련시간은 인텐시티 데이터가 RGB-D 이미지에 비해 LDA의 경우 29%, SVM의 경우 31% 빠르게 처리되었으며 테스트시간은 LDA의 경우 70%, SVM의 경우 33% 빠르게 처리되어 모바일 로봇 장애물 인식에 인텐시티 데이터를 사용하는 것이 정확도면에서도 우수하고 처리 속도 면에서 높은 개선효과가 있다.

• 정보과학회 논문지
• /
• 제43권12호
• /
• pp.1365-1375
• /
• 2016

일상생활 환경 속에서 자율적으로 동작하는 서비스 로봇에게 가장 필수적인 능력 중 하나가 동적으로 변화하는 주변 환경에 대한 올바른 상황 인식과 이해 능력이다. 다양한 센서 데이터 스트림들로 부터 신속히 의사 결정에 필요한 고수준의 상황 지식을 생성해내기 위해서는, 멀티 모달 센서 데이터의 융합, 불확실성 처리, 기호 지식의 실체화, 시간 의존성과 가변성 처리, 실시간성을 만족할 수 있는 시-공간 추론 등 많은 문제들이 해결되어야 한다. 이와 같은 문제들을 고려하여, 본 논문에서는 지능형 서비스 로봇을 위한 효과적인 동적 상황 관리 및 시-공간 추론 방법을 제시한다. 본 논문에서는 상황 지식 관리와 추론의 효율성을 극대화하기 위해, 저수준의 상황 지식은 센서 및 인식 데이터가 입력될 때마다 실시간적으로 생성되지만, 반면에 고수준의 상황 지식은 의사 결정 모듈에서 요구가 있을 때만 후향 시-공간 추론을 통해 유도되도록 알고리즘을 설계하였다. Kinect 시각 센서 기반의 Turtlebot를 이용한 실험을 통해, 제안한 방법에 기초한 동적 상황 관리 및 추론 시스템의 높은 효율성을 확인할 수 있었다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제2권3호
• /
• pp.199-204
• /
• 2013

본 논문에서는 다양한 정보단말기에 활용될 수 있는 손동작기반의 실시간 숫자 인식기 구현 기법을 제안한다. 제안한 알고리즘은 키넥트 센서를 활용하여 3차원 공간에서 손의 움직임을 획득한다. 획득한 손의 궤적은 잡음과 제스처의 크기 변화에 의한 궤적 변화를 최소화하고 일관성 있는 추적을 유지하기 위해 주성분 분석으로 단순화 된다. 또한, 기울기와 위치정보 특징을 동시에 고려한 새로운 특징 기반 은닉 마르코프 모델을 제시한다. 그 결과 제안한 기법은 손동작의 크기와 움직임 속도에 강인한 실시간 인식기를 구현하였다. 실험을 통하여 기존의 기울기 정보만을 사용하였을 때 보다 30% 이상의 높은 인식률을 보였으며, 98%의 높은 숫자 인식률을 나타내었다.

• 한국정보통신학회논문지
• /
• 제25권5호
• /
• pp.637-644
• /
• 2021

일반적으로, 컴퓨터 비전, 로보틱스, 증강현실 분야에서 3차원 공간 및 3차원 객체 검출 및 인식기술의 중요성이 대두되고 있다. 특히, 마이크로소프트사의 키넥트(Microsoft Kinect) 방식을 사용하는 영상 센서를 통하여 RGB 영상과 깊이 영상을 실시간 획득하는 것이 가능해짐으로 인하여 객체 검출, 추적 및 인식 연구에 많은 변화를 가져오고 있다. 본 논문에서는 다시점 카메라 시스템 상에서의 깊이 기반(RGB-Depth) 카메라를 통해 획득된 영상을 처리하여 3D 복원 영상의 품질을 향상하는 방법을 제안한다. 본 논문에서는 컬러 영상으로부터 획득한 마스크 적용을 통해 객체 바깥쪽 잡음을 제거하는 방법과 객체 안쪽의 픽셀 간 깊이 정보 차이를 구하는 필터링 연산을 결합하여 적용하는 방법을 제시하였다. 각 실험 결과를 통해 제시한 방법이 효과적으로 잡음을 제거하여 3D 복원 영상의 품질을 향상할 수 있음을 확인하였다.

• International Journal of Internet, Broadcasting and Communication
• /
• 제7권1호
• /
• pp.15-19
• /
• 2015

The depth information of an image is used in a variety of applications including 2D/3D conversion, multi-view extraction, modeling, depth keying, etc. There are various methods to acquire depth information, such as the method to use a stereo camera, the method to use the depth camera of flight time (TOF) method, the method to use 3D modeling software, the method to use 3D scanner and the method to use a structured light just like Microsoft's Kinect. In particular, the depth camera of TOF method measures the distance using infrared light, whereas TOF sensor depends on the sensitivity of optical light of an image sensor (CCD/CMOS). Thus, it is mandatory for the existing image sensors to get an infrared light image by bundling several pixels; these requirements generate a phenomenon to reduce the resolution of an image. This thesis proposed a measure to acquire a high-resolution image through gradual area movement while acquiring a low-resolution image through pixel bundling method. From this measure, one can obtain an effect of acquiring image information in which illumination intensity (lux) and resolution were improved without increasing the performance of an image sensor since the image resolution is not improved as resolving a low-illumination intensity (lux) in accordance with the gradual pixel bundling algorithm.

• 제어로봇시스템학회논문지
• /
• 제19권5호
• /
• pp.457-461
• /
• 2013

This paper proposes an image feature-based real-time RGB-D (Red-Green-Blue Depth) 3D SLAM (Simultaneous Localization and Mapping) system. RGB-D data from Kinect style sensors contain a 2D image and per-pixel depth information. 6-DOF (Degree-of-Freedom) visual odometry is obtained through the 3D-RANSAC (RANdom SAmple Consensus) algorithm with 2D image features and depth data. For speed up extraction of features, parallel computation is performed with GPU acceleration. After a feature manager detects a loop closure, a graph-based SLAM algorithm optimizes trajectory of the sensor and builds a 3D point cloud based map.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2013년도 제47차 동계학술대회논문집 21권1호
• /
• pp.41-42
• /
• 2013

본 논문에서는 키넥트 센서에 의해 획득한 스켈레톤 정보를 이용하여 스노보드 동작을 시각화 할 수 있는 도구를 설계한다. 스노보드 동작에서 가장 기본이 되는 동작은 BBP(Balanced Body Position)자세로서 안정된 턴 동작을 위한 기본 기술이다. 키넥트 센서로 부터 획득한 좌표정보를 이용하여 발목, 무릎, 엉덩이 관절의 각도와 몸의 중심축을 추적하여 표준 자세와 비교분석한다. 본 연구결과는 향후 스노보드 턴 동작을 시각화하는 도구의 기초자료로 활용될 수 있을 것이다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권2호
• /
• pp.763-774
• /
• 2015

Hand posture recognition has been a wide region of applications in Human Computer Interaction and Computer Vision for many years. The problem arises mainly due to the high dexterity of hand and self-occlusions created in the limited view of the camera or illumination variations. To remedy these problems, a hand posture recognition method using 3-D point cloud is proposed to explicitly utilize 3-D information from depth maps in this paper. Firstly, hand region is segmented by a set of depth threshold. Next, hand image normalization will be performed to ensure that the extracted feature descriptors are scale and rotation invariant. By robustly coding and pooling 3-D facets, the proposed descriptor can effectively represent the various hand postures. After that, SVM with Gaussian kernel function is used to address the issue of posture recognition. Experimental results based on posture dataset captured by Kinect sensor (from 1 to 10) demonstrate the effectiveness of the proposed approach and the average recognition rate of our method is over 96%.