• 방송공학회논문지
• /
• 제24권5호
• /
• pp.765-774
• /
• 2019

본 논문에서는 다중 RGB-D 카메라의 포인트 클라우드 정합 알고리즘을 제안한다. 일반적으로 컴퓨터 비전 분야에서는 카메라의 위치를 정밀하게 추정하는 문제에 많은 관심을 두고 있다. 기존의 3D 모델 생성 방식들은 많은 카메라 대수나 고가의 3D Camera를 필요로 한다. 또한 2차원 이미지를 통해 카메라 외부 파라미터를 얻는 기존의 방식은 큰 오차를 가지고 있다. 본 논문에서는 저가의 RGB-D 카메라 8대를 사용하여 전방위 3차원 모델을 생성하기 위해 깊이 이미지와 함수 최적화 방식을 이용하여 유효한 범위 내의 오차를 갖는 좌표 변환 파라미터를 구하는 방식을 제안한다.

• 방송공학회논문지
• /
• 제25권3호
• /
• pp.439-448
• /
• 2020

본 논문에서는 다시점 RGB-D 카메라의 포인트 클라우드 정합을 위한 수정된 최적화 알고리즘을 제안한다. 일반적으로 컴퓨터 비전 분야에서는 카메라의 위치를 정밀하게 추정하는 것은 매우 중요하다. 기존의 연구에서 제안된 3D 모델 생성 방식들은 많은 카메라 대수나 고가의 3차원 Camera를 필요로 한다. 또한 2차원 이미지를 통해 카메라 외부 파라미터를 얻는 방식들은 큰 오차를 가지고 있다. 본 논문에서는 저가의 RGB-D 카메라를 8개 사용하여 전방위 자유시점을 제공할 수 있는 3차원 포인트 클라우드 및 매쉬 모델을 생성하기 위한 정합 기법을 제안하고자 한다. RGB영상과 함께 깊이지도 기반의 함수 최적화 방식을 이용하고, 초기 파라미터를 구하지 않으면서 고품질의 3차원 모델을 생성할 수 있는 좌표 변환 파라미터를 구하는 방식을 제안한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2022년도 추계학술대회
• /
• pp.248-249
• /
• 2022

본 논문에서는 RGB-D 카메라를 이용하여 획득한 다중 사용자의 정보를 기반으로 대상을 구분 및 추적하는 기법을 제안한다. RGB-D 카메라를 통해 획득한 3차원 정보와 색상 정보를 획득하여 각 사용자에 대한 정보를 저장한다. 전체 영상에서 획득한 각 사용자의 위치와 외형에 대한 정보를 통해 현재 프레임과 이전 프레임에서의 사용자간 유사도를 계산하여 전체 영상에서의 사용자 구분 및 위치 추적 알고리즘을 제안한다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제24권3호
• /
• pp.61-71
• /
• 2018

RGB-D 카메라 촬영 영상에 대한 카메라 포즈 추정을 통하여 복원한 3차원 전역 공간의 점 집합으로부터 삼각형 메쉬를 생성할 때, 일반적으로 메쉬의 크기가 커질수록 3차원 모델의 품질 또한 향상된다. 하지만 어떤 한계를 넘어서 삼각형 메쉬의 해상도를 높일 경우, 메모리 요구량의 과도한 증가나 실시간 렌더링 성능저하 문제뿐만 아니라 RGB-D 센서의 정밀도 한계로 인한 접 집합 데이터의 노이즈에 민감해지는 문제가 발생한다. 본 논문에서는 실시간 응용에 적합한 3차원 모델 생성을 위하여 비교적 적은 크기의 삼각형 메쉬에 대하여 3차원 점 집합의 촬영 색상으로부터 고화질의 텍스쳐를 생성하는 기법을 제안한다. 특히 카메라 포즈 추정을 통하여 생성한 3차원 점 집합 공간과 2차원 텍스쳐 공간 간의 매핑 관계를 활용한 간단한 방법을 통하여 RGB-D 카메라 촬영 영상으로부터 복원한 3차원 모델에 대하여 효과적으로 텍스쳐를 생성할 수 있음을 보인다.

• 전기전자학회논문지
• /
• 제23권1호
• /
• pp.44-52
• /
• 2019

본 논문은 라이다 센싱 정보와 RGB-D 카메라 영상 정보를 융합하여 이용하는 교육용 실내 자율주행 로봇 시스템을 구현한다. 이 시스템은 라이다 센싱 정보를 획득하기 위해 기존의 소 채널 라이다 센싱 방식을 이용한다. 또한 소 채널 라이다 센싱 방식의 약점을 보완하기 위해, RGB-D 카메라 깊이 영상과 딥러닝 기반 객체인식 알고리즘을 이용하는 3차원 구조물 인식 방법을 제안하고 이 시스템에 적용한다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2019년도 춘계학술대회
• /
• pp.445-446
• /
• 2019

최근, 현실 세계에 가상 정보를 융합하여 현실에서는 할 수 없는 경험을 제공하는 혼합현실 (MR) 기술에 관심이 쏟아지고 있다. 혼합현실은 현실과 상호 작용이 우수하며 몰입감을 극대화 시킨다는 장점이 있다. 본 논문에서는 실사 기반 전방위 3D 모델 획득 기술에 대한 필요성을 언급하며 다시점 깊이 및 RGB 카메라 시스템을 이용하여 혼합현실 콘텐츠 제작을 위한 포인트 클라우드를 획득하는 방법을 제시한다.

• 한국정보통신학회논문지
• /
• 제25권5호
• /
• pp.637-644
• /
• 2021

일반적으로, 컴퓨터 비전, 로보틱스, 증강현실 분야에서 3차원 공간 및 3차원 객체 검출 및 인식기술의 중요성이 대두되고 있다. 특히, 마이크로소프트사의 키넥트(Microsoft Kinect) 방식을 사용하는 영상 센서를 통하여 RGB 영상과 깊이 영상을 실시간 획득하는 것이 가능해짐으로 인하여 객체 검출, 추적 및 인식 연구에 많은 변화를 가져오고 있다. 본 논문에서는 다시점 카메라 시스템 상에서의 깊이 기반(RGB-Depth) 카메라를 통해 획득된 영상을 처리하여 3D 복원 영상의 품질을 향상하는 방법을 제안한다. 본 논문에서는 컬러 영상으로부터 획득한 마스크 적용을 통해 객체 바깥쪽 잡음을 제거하는 방법과 객체 안쪽의 픽셀 간 깊이 정보 차이를 구하는 필터링 연산을 결합하여 적용하는 방법을 제시하였다. 각 실험 결과를 통해 제시한 방법이 효과적으로 잡음을 제거하여 3D 복원 영상의 품질을 향상할 수 있음을 확인하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제3권8호
• /
• pp.309-314
• /
• 2014

물체의 360도 방향에서 다수의 RGB-D(RGB-Depth) 카메라를 이용하여 깊이영상을 획득하고 3차원 모델을 생성하기 위해서는 RGB-D 카메라 간의 3차원 변환관계를 구하여야 한다. 본 논문에서는 구형 물체를 이용하여 4대의 RGB-D 카메라 사이의 변환관계를 간편하게 구할 수 있는 시점보정(view calibration) 방법을 제안한다. 기존의 시점보정 방법들은 평면 형태의 체크보드나 코드화된 패턴을 가진 3차원 물체를 주로 사용함으로써 패턴의 특징이나 코드를 추출하고 정합하는 작업에 상당한 시간이 걸린다. 본 논문에서는 구형 물체의 깊이영상과 사진영상을 동시에 사용하여 간편하게 시점을 보정할 수 있는 방법을 제안한다. 우선 하나의 구를 모델링 공간에서 연속적으로 움직이는 동안 모든 RGB-D 카메라에서 구의 깊이영상과 사진영상을 동시에 획득한다. 다음으로 각 RGB-D 카메라의 좌표계에서 획득한 구의 3차원 중심좌표를 월드좌표계에서 일치되도록 각 카메라의 외부변수를 보정한다.

• 방송공학회논문지
• /
• 제25권5호
• /
• pp.808-811
• /
• 2020

본 논문은 랜덤 무향 칼만 필터를 이용하여 키넥트 카메라 센서의 오차를 최소화하는 방법을 제안한다. RGB 값과 깊이(Depth) 정보를 제공하는 RGB+D 카메라는 센서의 오차로 인해 뻐대 검출 과정에서 성능 저하의 원인을 제공한다. 기존에는 다양한 필터링 기법을 이용하여 오차를 제거하였으나 비선형 잡음을 효과적으로 제거하는데 한계가 있었다. 이에 본 논문에서는 비선형 잡음 특성을 예측하고 업데이트하기 위해 랜덤 무향 칼만 필터를 적용하였으며 이를 바탕으로 뻐대 검출 성능을 높이고자 하였다. 실험 결과 제안한 방법은 기존의 방법에 비해 정량적 오차를 줄였으며 뼈대의 3D 검출 시 우수한 결과를 확인할 수 있었다.

• 로봇학회논문지
• /
• 제13권1호
• /
• pp.31-37
• /
• 2018

Recently, the safety in vehicle also has become a hot topic as self-driving car is developed. In passive safety systems such as airbags and seat belts, the system is being changed into an active system that actively grasps the status and behavior of the passengers including the driver to mitigate the risk. Furthermore, it is expected that it will be possible to provide customized services such as seat deformation, air conditioning operation and D.W.D (Distraction While Driving) warning suitable for the passenger by using occupant information. In this paper, we propose robust vehicle occupant detection algorithm based on RGB-Depth-Thermal camera for obtaining the passengers information. The RGB-Depth-Thermal camera sensor system was configured to be robust against various environment. Also, one of the deep learning algorithms, OpenPose, was used for occupant detection. This algorithm is advantageous not only for RGB image but also for thermal image even using existing learned model. The algorithm will be supplemented to acquire high level information such as passenger attitude detection and face recognition mentioned in the introduction and provide customized active convenience service.