• 방송공학회논문지
• /
• 제24권5호
• /
• pp.765-774
• /
• 2019

본 논문에서는 다중 RGB-D 카메라의 포인트 클라우드 정합 알고리즘을 제안한다. 일반적으로 컴퓨터 비전 분야에서는 카메라의 위치를 정밀하게 추정하는 문제에 많은 관심을 두고 있다. 기존의 3D 모델 생성 방식들은 많은 카메라 대수나 고가의 3D Camera를 필요로 한다. 또한 2차원 이미지를 통해 카메라 외부 파라미터를 얻는 기존의 방식은 큰 오차를 가지고 있다. 본 논문에서는 저가의 RGB-D 카메라 8대를 사용하여 전방위 3차원 모델을 생성하기 위해 깊이 이미지와 함수 최적화 방식을 이용하여 유효한 범위 내의 오차를 갖는 좌표 변환 파라미터를 구하는 방식을 제안한다.

• 방송공학회논문지
• /
• 제25권3호
• /
• pp.439-448
• /
• 2020

본 논문에서는 다시점 RGB-D 카메라의 포인트 클라우드 정합을 위한 수정된 최적화 알고리즘을 제안한다. 일반적으로 컴퓨터 비전 분야에서는 카메라의 위치를 정밀하게 추정하는 것은 매우 중요하다. 기존의 연구에서 제안된 3D 모델 생성 방식들은 많은 카메라 대수나 고가의 3차원 Camera를 필요로 한다. 또한 2차원 이미지를 통해 카메라 외부 파라미터를 얻는 방식들은 큰 오차를 가지고 있다. 본 논문에서는 저가의 RGB-D 카메라를 8개 사용하여 전방위 자유시점을 제공할 수 있는 3차원 포인트 클라우드 및 매쉬 모델을 생성하기 위한 정합 기법을 제안하고자 한다. RGB영상과 함께 깊이지도 기반의 함수 최적화 방식을 이용하고, 초기 파라미터를 구하지 않으면서 고품질의 3차원 모델을 생성할 수 있는 좌표 변환 파라미터를 구하는 방식을 제안한다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제3권8호
• /
• pp.309-314
• /
• 2014

물체의 360도 방향에서 다수의 RGB-D(RGB-Depth) 카메라를 이용하여 깊이영상을 획득하고 3차원 모델을 생성하기 위해서는 RGB-D 카메라 간의 3차원 변환관계를 구하여야 한다. 본 논문에서는 구형 물체를 이용하여 4대의 RGB-D 카메라 사이의 변환관계를 간편하게 구할 수 있는 시점보정(view calibration) 방법을 제안한다. 기존의 시점보정 방법들은 평면 형태의 체크보드나 코드화된 패턴을 가진 3차원 물체를 주로 사용함으로써 패턴의 특징이나 코드를 추출하고 정합하는 작업에 상당한 시간이 걸린다. 본 논문에서는 구형 물체의 깊이영상과 사진영상을 동시에 사용하여 간편하게 시점을 보정할 수 있는 방법을 제안한다. 우선 하나의 구를 모델링 공간에서 연속적으로 움직이는 동안 모든 RGB-D 카메라에서 구의 깊이영상과 사진영상을 동시에 획득한다. 다음으로 각 RGB-D 카메라의 좌표계에서 획득한 구의 3차원 중심좌표를 월드좌표계에서 일치되도록 각 카메라의 외부변수를 보정한다.

• IEIE Transactions on Smart Processing and Computing
• /
• 제4권4호
• /
• pp.224-230
• /
• 2015

This manuscript presents a real-time solution for 3D human body reconstruction with multiple RGB-D cameras. The proposed system uses four consumer RGB/Depth (RGB-D) cameras, each located at approximately $90^{\circ}$ from the next camera around a freely moving human body. A single mesh is constructed from the captured point clouds by iteratively removing the estimated overlapping regions from the boundary. A cell-based mesh construction algorithm is developed, recovering the 3D shape from various conditions, considering the direction of the camera and the mesh boundary. The proposed algorithm also allows problematic holes and/or occluded regions to be recovered from another view. Finally, calibrated RGB data is merged with the constructed mesh so it can be viewed from an arbitrary direction. The proposed algorithm is implemented with general-purpose computation on graphics processing unit (GPGPU) for real-time processing owing to its suitability for parallel processing.

• 한국멀티미디어학회논문지
• /
• 제19권9호
• /
• pp.1647-1658
• /
• 2016

RGB+D database has been widely used in object recognition, object tracking, robot control, to name a few. While rapid advance of active depth sensing technologies allows for the widespread of indoor RGB+D databases, there are only few outdoor RGB+D databases largely due to an inherent limitation of active depth cameras. In this paper, we propose a novel method used to build outdoor RGB+D databases. Instead of using active depth cameras such as Kinect or LIDAR, we acquire a pair of stereo image using high-resolution stereo camera and then obtain a depth map by applying stereo matching algorithm. To deal with estimation errors that inevitably exist in the depth map obtained from stereo matching methods, we develop an approach that estimates confidence of depth maps based on unsupervised learning. Unlike existing confidence estimation approaches, we explicitly consider a spatial correlation that may exist in the confidence map. Specifically, we focus on refining confidence feature with the assumption that the confidence feature and resultant confidence map are smoothly-varying in spatial domain and are highly correlated to each other. Experimental result shows that the proposed method outperforms existing confidence measure based approaches in various benchmark dataset.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 추계학술대회
• /
• pp.248-249
• /
• 2022

본 논문에서는 RGB-D 카메라를 이용하여 획득한 다중 사용자의 정보를 기반으로 대상을 구분 및 추적하는 기법을 제안한다. RGB-D 카메라를 통해 획득한 3차원 정보와 색상 정보를 획득하여 각 사용자에 대한 정보를 저장한다. 전체 영상에서 획득한 각 사용자의 위치와 외형에 대한 정보를 통해 현재 프레임과 이전 프레임에서의 사용자간 유사도를 계산하여 전체 영상에서의 사용자 구분 및 위치 추적 알고리즘을 제안한다.

• 전자통신동향분석
• /
• 제31권4호
• /
• pp.36-43
• /
• 2016

실 환경에 존재하는 모든 것을 3차원 모델로 쉽게 복원할 수 있을 것이라는 생각과 원격지에 있는 환경과 사람을 같은 공간에 있는 듯 상호작용할 수 있게 된 것은 그리 오래되지 않았다. 이는 일정 해상도를 보장해주는 RGB-D 센서의 개발과 이러한 센서들을 사용한 3차원 복원 관련 연구들이 활발히 수행되면서 가능하게 되었다. 본고에서는 널리 쓰이고 있는 RGB-D 카메라를 사용하여 실시간으로 때로는 온라인상에서 3차원으로 복원하고 가시화하는 기술에 대하여 살펴보고자 한다. 하나 또는 여러 개의 RGB_D 카메라를 사용하거나 모바일 장치에 장착된 RGB-D 센서를 사용하여 넓은 공간, 움직이는 사람, 온라인 상태의 환경 등을 실시간으로 복원하기 위한 기술들을 세부적으로 설명한다. 또한, 최근에 발표된 기술들이 다루고 있는 이슈들을 설명하고 향후 3차원 복원기술의 연구개발 방향에 대해서 논의한다.

• 한국컴퓨터정보학회논문지
• /
• 제22권12호
• /
• pp.17-25
• /
• 2017

In this paper, we have implemented a low-cost mobile robot supporting the person tracking by detection using RGB-D cameras and ROS(Robot Operating System) framework. The mobile robot was developed based on the Kobuki mobile base equipped with 2's Kinect devices and a high performance controller. One kinect device was used to detect and track the single person among people in the constrained working area by combining point cloud data filtering & clustering, HOG classifier and Kalman Filter-based estimation successively, and the other to perform the SLAM-based navigation supported in ROS framework. In performance evaluation, the person tracking by detection was proved to be robustly executed in real-time, and the navigation function showed the accuracy with the mean distance error being lower than 50mm. The mobile robot implemented has a significance in using the open-source based, general-purpose and low-cost approach.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 춘계학술대회
• /
• pp.78-79
• /
• 2022

본 논문에서는 RGB-D 카메라를 이용하여 획득한 다수 사용자의 정규화된 스켈레톤의 신체 비율 분석을 통해 각 사용자의 구분 및 위치를 추적하는 기법을 제안한다. 이를 위해 3D 포인트 클라우드로부터 각 사용자의 3D 스켈레톤을 추출한 뒤 신체 비율 정보를 저장한다. 이후 저장된 신체 비율 정보를 전체 프레임에서 출력된 신체 비율 데이터와 유사도를 비교하여 전체 영상에서의 사용자 구분 및 위치추적 알고리즘을 제안한다.

• 방송공학회논문지
• /
• 제25권4호
• /
• pp.528-536
• /
• 2020

휴머노이드 로봇 기술이 발전함에 따라서 로봇을 공연에 활용하는 사례가 늘어나고 있다. 이에 따라서 로봇의 동작을 사람처럼 자연스럽게 표현하여 공연에서의 활용범위를 보다 높이기 위한 연구들이 진행되고 있다. 이 중 모션캡쳐 기술을 이용하는 방식이 많이 사용되고 있는데, 일반적으로 모션 캡처를 하기 위해서 신체에 각 부위에 부착된 IMU 센서 혹은 마커들과 정밀한 고성능 카메라가 요구되는 등 준비하는 데에서 환경적인 불편함이 존재한다. 또한, 공연기술에 사용되는 로봇의 경우에는 실시간으로 돌발상황이나 관객의 반응에 따라서 실시간으로 대응해야 하는 문제가 존재한다. 본 논문에서는 위에서 언급한 문제들을 보완하고자 다수의 RGB-D 카메라를 이용한 실시간 모션캡쳐 시스템을 구축하고, 모션 캡쳐된 데이터를 이용하여 사람 동작과 유사한 자연스러운 로봇 동작을 생성하는 방법을 제안한다.