• 로봇학회논문지
• /
• 제11권4호
• /
• pp.300-309
• /
• 2016

This paper proposes a method for motion estimation of consecutive cameras using 3-D straight lines. The motion estimation algorithm uses two non-parallel 3-D line correspondences to quickly establish an initial guess for the relative pose of adjacent frames, which requires less correspondences than that of current approaches requiring three correspondences when using 3-D points or 3-D planes. The estimated motion is further refined by a nonlinear optimization technique with inlier correspondences for higher accuracy. Since there is no dominant line representation in 3-D space, we simulate two line representations, which can be thought as mainly adopted methods in the field, and verify one as the best choice from the simulation results. We also propose a simple but effective 3-D line fitting algorithm considering the fact that the variance arises in the projective directions thus can be reduced to 2-D fitting problem. We provide experimental results of the proposed motion estimation system comparing with state-of-the-art algorithms using an open benchmark dataset.

• 대한전자공학회논문지SP
• /
• 제47권6호
• /
• pp.39-47
• /
• 2010

영상 기반의 모션 캡처에 대한 연구는 인체의 특징 영역 검출, 정확한 자세 추정 및 실시간 성능 등의 문제를 풀기 위해 많은 연구가 진행되고 있다. 특히, 인체의 많은 관절 정보를 복원하기 위해 다양한 방법이 제안되고 있다. 본 논문에서는 수치적인 역운동학 방법의 단점을 개선한 실시간 모션 캡처 방법을 제안한다. 기존의 수치적인 역운동학 방법은 많은 반복 연산이 필요하며, 국부최소치 문제가 발생할 수 있다. 본 논문에서는 이러한 문제를 해결하기 위해 기존의 수치적인 역운동학 해법과 UKF를 결합하여 중간관절을 복원하는 방법을 제안한다. 수치적인 역운동학의 해와 UKF를 결합함으로써, 중간 관절 추정 시 최적값에 보다 안정적이고 빠른 수렴이 가능하다. 모션 캡처를 위해 먼저, 배경 차분과 피부색 검출 방법을 이용하여 인체의 특징 영역을 추출한다. 다수의 카메라로부터 추출된 2차원 인체 영역 정보로부터 3차원 정보를 복원하고, UKF와 결합된 수치적인 역운동학 해법을 통해 동작자의 중간 관절 정보를 추정한다. 수치적인 역운동학의 해는 UKF의 상태 추정 시 안정적인 방향을 제시하고, UKF는 다수의 샘플을 기반으로 최적 상태를 찾음으로써, 전역해에 보다 빠르게 수렴한다.

• 한국산업융합학회 논문집
• /
• 제22권5호
• /
• pp.575-582
• /
• 2019

Advanced driving assist system can support safety of driver and passengers which may require vehicle dynamics states as well as road geometry. It is essential to have in real-time estimation of related variables and parameters. Among the road geometry parameters, road slope angle which can not be measured is essential parameter in pose estimation, adaptive cruise control and others on sag road. In this paper, Kalman filter based method for the estimation of the vehicle dynamics and road slope angle using a nonlinear vehicle model is proposed. It uses a combination of Kalman filter as Cascade Extended Kalman Filter. CEKF uses measured vehicle states such as yaw rate, longitudinal/lateral acceleration and velocity. Unknown vehicle parameters such as center of gravity and inertia are obtained by 2 D.O.F lateral model and experimentally. Simulation and Experimental tests conducted with commercialized vehicle dynamics model and real-car.

• 디지털콘텐츠학회 논문지
• /
• 제13권2호
• /
• pp.255-262
• /
• 2012

사람 움직임 추적 알고리즘은 인간과 컴퓨터 상호작용, 화상회의, 감시 시스템, 게임 및 엔터테인먼트 분야에서 반드시 필요한 기술로 인식되고 있다. 과거 다양한 사람 움직임 추적 알고리즘들이 응용 프로그램의 특성에 따라 구현되고, 실시간성을 고려한 보다 효율적인 영상 처리, 컴퓨터 비전, 인터페이스 기술들을 적용하여 구현되고 있다. 본 논문에서는 타원체 형태의 신체 모델과 깊이값 정보를 갖는 3차원 점들과의 매칭을 통해 실시간으로 적용 가능한 움직임 추적 기술을 소개한다. 움직임 추적을 위한 기반 모델은 사람의 모습과 유사한 형태의 타원체 조합의 18개의 관절을 갖는 형태로 구성되어 지며, 영상으로부터 들어온 사람의 모습을 분석하여 일련의 신체 부위를 나누고, 그 정보를 바탕으로 역기구학 기반의 초기 자세를 추출한다. 초기 자세는 3차원 점 매칭 기법을 활용하여 보다 정확한 자세로 수정된다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.667-670
• /
• 2020

최근에는 증강현실, 로봇공학 등의 분야에서 객체의 위치 검출 이외에도, 객체의 자세에 대한 추정이 요구되고 있다. 객체의 자세 정보가 포함된 데이터셋은 위치 정보만 포함된 데이터셋에 비하여 상대적으로 매우 적기 때문에 인공 신경망 구조를 활용하기 어려운 측면이 있으나, 최근에 들어서는 기계학습 기반의 자세 추정 알고리즘들이 여럿 등장하고 있다. 본 논문에서는 이 가운데 Dense 6d Pose Object detector (DPOD) [11]의 구조를 기반으로 하여 가구의 조립 설명서에 그려진 가구 부품들의 자세를 추정하고자 한다. DPOD [11]는 입력으로 RGB 영상을 받으며, 해당 영상에서 자세를 추정하고자 하는 객체의 영역에 해당하는 픽셀들을 추정하고, 객체의 영역에 해당되는 각 픽셀에서 해당 객체의 3D 모델의 UV map 값을 추정한다. 이렇게 픽셀 개수만큼의 2D - 3D 대응이 생성된 이후에는, RANSAC과 PnP 알고리즘을 통해 RGB 영상에서의 객체와 객체의 3D 모델 간의 변환 관계 행렬이 구해지게 된다. 본 논문에서는 사전에 정해진 24개의 자세 후보들을 기반으로 가구 부품의 3D 모델을 2D에 투영한 RGB 영상들로 인공 신경망을 학습하였으며, 평가 시에는 실제 조립 설명서에서의 가구 부품의 자세를 추정하였다. 실험 결과 IKEA의 Stefan 의자 조립 설명서에 대하여 100%의 ADD score를 얻었으며, 추정 자세가 자세 후보군 중 정답 자세에 가장 근접한 경우를 정답으로 평가했을 때 100%의 정답률을 얻었다. 제안하는 신경망을 사용하였을 때, 가구 조립 설명서에서 가구 부품의 위치를 찾는 객체 검출기(object detection network)와, 각 개체의 종류를 구분하는 객체 리트리벌 네트워크(retrieval network)를 함께 사용하여 최종적으로 가구 부품의 자세를 추정할 수 있다.

• 로봇학회논문지
• /
• 제11권2호
• /
• pp.51-59
• /
• 2016

In this paper we present (1) analysis of imaging sonar measurement for two-view relative pose estimation of an autonomous vehicle and (2) bundle adjustment and 3D reconstruction method using imaging sonar. Sonar has been a popular sensor for underwater application due to its robustness to water turbidity and visibility in water medium. While vision based motion estimation has been applied to many ground vehicles for motion estimation and 3D reconstruction, imaging sonar addresses challenges in relative sensor frame motion. We focus on the fact that the sonar measurement inherently poses ambiguity in its measurement. This paper illustrates the source of the ambiguity in sonar measurements and summarizes assumptions for sonar based robot navigation. For validation, we synthetically generated underwater seafloor with varying complexity to analyze the error in the motion estimation.

• 방송공학회논문지
• /
• 제25권7호
• /
• pp.1095-1106
• /
• 2020

In this paper, we propose an algorithm that extracts a high-precision 3D skeleton using a model generated using a distributed RGB-D camera. When information about a 3D model is extracted through a distributed RGB-D camera, if the information of the 3D model is used, a skeleton with higher precision can be obtained. In this paper, in order to improve the precision of the 2D skeleton, we find the conditions to obtain the 2D skeleton well using the PCA. Through this, high-quality 2D skeletons are obtained, and high-precision 3D skeletons are extracted by combining the information of the 2D skeletons. Even though this process goes through, the generated skeleton may have errors, so we propose an algorithm that removes these errors by using the information of the 3D model. We were able to extract very high accuracy skeletons using the proposed method.

• 한국산학기술학회논문지
• /
• 제21권7호
• /
• pp.285-291
• /
• 2020

제조 산업에서 인력은 로봇으로 대체되지만 전문 기술은 데이터 변환이 어려워 산업용 로봇에 적용이 불가능하다. 이는 비전 기반의 모션 인식 방법으로 데이터 확보가 가능하나 이미지 데이터에 따라 판단 값이 달라질 수 있다. 따라서 본 연구는 비전 방법을 사용해 사람의 자세를 추정 시 영향을 미치는 인자를 고려해 정확성 향상 방법을 찾고자 한다. 비전 방법 중 OpenPose의 3가지 모델 MPII, COCO 및 COCO + foot을 사용했으며, CNN(Convolutional Neural Networks)을 사용한 OpenPose 구조에서 얼굴 가림 및 이미지 전처리에 미치는 영향을 확인하고자 액세서리의 유무, 이미지 크기 및 필터링을 매개 변수로 설정했다. 각 매개 변수 별 이미지 데이터를 3 가지 모델에 적용해 실제 값과 예측 값 사이 거리 오차와 PCK (Percentage of correct Keypoint)로 영향도를 판단했다. 그 결과 COCO + foot 모델은 3 가지 매개 변수에 대한 민감도가 가장 낮았다. 또한 이미지 크기는 50% (원본 3024 × 4032에서 1512 × 2016로 축소) 이상 비율이 가장 적절하며, MPII 모델만 emboss 필터링을 적용할 때 거리 오차 평균이 최대 60pixel 감소되어 향상된 결과를 얻었다.

• 방송공학회논문지
• /
• 제1권2호
• /
• pp.176-187
• /
• 1996

본고는 로보트 팔의 선단에 부착된 카메라에 의하여 촬영된 일련의 스테레오 영상을 이용하여 운동물체의 3차원 자세 (위치와 방향)를 정확히 추정하는 방법을 다룬다. 본고는 이미 발표된 바 있는 연구결과를 확장한 것으로서[1], 2차원 영상의 측정잡음 뿐만아니라[1], 또한 로보트 팔의 죠인트 각도의 랜덤잡음이 함께 존재할 경우 world 좌표계 (또는 로보트 기지좌표계)를 기준으로 한 운동물체의 3차원 자세의 추정에 중점을 둔다. 이를 위하여, 다음 사항에 근거하여 선형 Kalman 필터를 유도한다. (1) 2차원 영상의 측정잡음이 3차원 공간으로 전파되는 것을 분석함으로써, 이에 기인한 물체좌표계의 방향오차를 카메라 좌표계를 기준으로 하여 모델링한다; (2) 죠인트 각도 오차에 의한 로보트 선단좌표계의 방향오차를 (1)의 결과와 결합하여 extended Jacobian matrix를 유도한다; 그리고 (3) 본질적으로 비선형인 물체의 회전운동을 quaternion을 도입함으로써 선형화 한다. 운동 파라메터는 추정된 quaternion으로부터 반복 최소자승 방법을 이용하여 계산된다. 모의실험 결과, 추정오차가 상당히 감소되고, 실제의 운동 파라메터가 참 값으로 정확히 수렴함을 알 수 있다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 추계학술발표대회
• /
• pp.686-689
• /
• 2018

3D 손 포즈 추정(Hand Pose Estimation, HPE)은 스마트 인간 컴퓨터 인터페이스를 위해서 중요한 기술이다. 이 연구에서는 딥러닝 방법을 기반으로 하여 단일 RGB-Depth 카메라로 촬영한 양손의 3D 손 자세를 실시간으로 인식하는 손 포즈 추정 시스템을 제시한다. 손 포즈 추정 시스템은 4단계로 구성된다. 첫째, Skin Detection 및 Depth cutting 알고리즘을 사용하여 양손을 RGB와 깊이 영상에서 감지하고 추출한다. 둘째, Convolutional Neural Network(CNN) Classifier는 오른손과 왼손을 구별하는데 사용된다. CNN Classifier 는 3개의 convolution layer와 2개의 Fully-Connected Layer로 구성되어 있으며, 추출된 깊이 영상을 입력으로 사용한다. 셋째, 학습된 CNN regressor는 추출된 왼쪽 및 오른쪽 손의 깊이 영상에서 손 관절을 추정하기 위해 다수의 Convolutional Layers, Pooling Layers, Fully Connected Layers로 구성된다. CNN classifier와 regressor는 22,000개 깊이 영상 데이터셋으로 학습된다. 마지막으로, 각 손의 3D 손 자세는 추정된 손 관절 정보로부터 재구성된다. 테스트 결과, CNN classifier는 오른쪽 손과 왼쪽 손을 96.9%의 정확도로 구별할 수 있으며, CNN regressor는 형균 8.48mm의 오차 범위로 3D 손 관절 정보를 추정할 수 있다. 본 연구에서 제안하는 손 포즈 추정 시스템은 가상 현실(virtual reality, VR), 증강 현실(Augmented Reality, AR) 및 융합 현실 (Mixed Reality, MR) 응용 프로그램을 포함한 다양한 응용 분야에서 사용할 수 있다.