• 제목/요약/키워드: camera pose estimation

검색결과 122건 처리시간 0.033초

Laser pose calibration of ViSP for precise 6-DOF structural displacement monitoring

  • Shin, Jae-Uk;Jeon, Haemin;Choi, Suyoung;Kim, Youngjae;Myung, Hyun
    • Smart Structures and Systems
    • /
    • 제18권4호
    • /
    • pp.801-818
    • /
    • 2016
  • To estimate structural displacement, a visually servoed paired structured light system (ViSP) was proposed in previous studies. The ViSP is composed of two sides facing each other, each with one or two laser pointers, a 2-DOF manipulator, a camera, and a screen. By calculating the positions of the laser beams projected onto the screens and rotation angles of the manipulators, relative 6-DOF displacement between two sides can be estimated. Although the performance of the system has been verified through various simulations and experimental tests, it has a limitation that the accuracy of the displacement measurement depends on the alignment of the laser pointers. In deriving the kinematic equation of the ViSP, the laser pointers were assumed to be installed perfectly normal to the same side screen. In reality, however, this is very difficult to achieve due to installation errors. In other words, the pose of laser pointers should be calibrated carefully before measuring the displacement. To calibrate the initial pose of the laser pointers, a specially designed jig device is made and employed. Experimental tests have been performed to validate the performance of the proposed calibration method and the results show that the estimated displacement with the initial pose calibration increases the accuracy of the 6-DOF displacement estimation.

다중영상을 이용한 딥러닝 기반 온디바이스 증강현실 시스템 (Deep Learning Based On-Device Augmented Reality System using Multiple Images)

  • 정태현;박인규
    • 방송공학회논문지
    • /
    • 제27권3호
    • /
    • pp.341-350
    • /
    • 2022
  • 본 논문은 온디바이스 환경에서 다중 시점 영상을 입력 받아 객체를 증강하고, 현실 공간에 의한 가려짐을 구현하는 딥러닝 기반의 증강현실 시스템을 제안한다. 이는 세부적으로 카메라 자세 추정, 깊이 추정, 객체 증강 구현의 세 기술적 단계로 나눠지며 각 기법은 온디바이스 환경에서의 최적화를 위해 다양한 모바일 프레임워크를 사용한다. 카메라 자세 추정 단계에서는 많은 계산량을 필요로 하는 특징 추출 알고리즘을 GPU 병렬처리 프레임워크인 OpenCL을 통해 가속하여 사용하며, 깊이 영상 추론 단계에서는 모바일 심층신경망 프레임워크 TensorFlow Lite를 사용하여 가속화된 단안, 다중 영상 기반의 깊이 영상 추론을 수행한다. 마지막으로 모바일 그래픽스 프레임워크 OpenGL ES를 활용해 객체 증강 및 가려짐을 구현한다. 제시하는 증강현실 시스템은 안드로이드 환경에서 GUI를 갖춘 애플리케이션으로 구현되며 모바일과 PC 환경에서의 동작 정확도 및 처리 시간을 평가한다.

실외 주행 로봇의 위치 추정을 위한 3 차원 물체 인식 (3D Object Recognition for Localization of Outdoor Robotic Vehicles)

  • 백승민;김재웅;이장원;;이석한
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2008년도 학술대회 1부
    • /
    • pp.200-204
    • /
    • 2008
  • 본 논문에서는 지능형 무인 운송 시스템의 위치 인식 문제를 풀기 위한 방법으로, 실외 환경에서 보이는 건물 혹은 건물 입구의 상대적 위치와 자세 추정이 가능한 파티클 필터 기반 3 차원 물체 인식 방법을 제안한다. 제안하는 파티클 필터에 기반한 인식 시스템은 다양한 인식 증거들을 연속 영상에서 융합 및 모델 매칭을 함으로써 강인한 3 차원 물체 인식 및 자세 추정이 가능하다. 제안하는 방법은, 적합한 인식 증거들을 수집/선택하고, 다양한 인식 증거들로 부터 나타나는 인식 대상의 자세를 3 차원 공간상의 확률적인 파티클로 표현하며, 파티클 필터링을 통하여 연속 영상 상의 다양한 인식 증거들을 융합하는 것을 특징으로 한다. 스테레오 카메라를 이용한 실험을 통하여, 제안하는 방법이 실외 건물의 기하학적 특정을 인식 증거로 활용한 효율적인 3 차원 인식 및 자세 추정을 수행하는 것은 보여준다.

  • PDF

수치적인 역운동학 기반 UKF를 이용한 효율적인 중간 관절 추정 (Efficient Intermediate Joint Estimation using the UKF based on the Numerical Inverse Kinematics)

  • 서융호;이준성;이칠우
    • 대한전자공학회논문지SP
    • /
    • 제47권6호
    • /
    • pp.39-47
    • /
    • 2010
  • 영상 기반의 모션 캡처에 대한 연구는 인체의 특징 영역 검출, 정확한 자세 추정 및 실시간 성능 등의 문제를 풀기 위해 많은 연구가 진행되고 있다. 특히, 인체의 많은 관절 정보를 복원하기 위해 다양한 방법이 제안되고 있다. 본 논문에서는 수치적인 역운동학 방법의 단점을 개선한 실시간 모션 캡처 방법을 제안한다. 기존의 수치적인 역운동학 방법은 많은 반복 연산이 필요하며, 국부최소치 문제가 발생할 수 있다. 본 논문에서는 이러한 문제를 해결하기 위해 기존의 수치적인 역운동학 해법과 UKF를 결합하여 중간관절을 복원하는 방법을 제안한다. 수치적인 역운동학의 해와 UKF를 결합함으로써, 중간 관절 추정 시 최적값에 보다 안정적이고 빠른 수렴이 가능하다. 모션 캡처를 위해 먼저, 배경 차분과 피부색 검출 방법을 이용하여 인체의 특징 영역을 추출한다. 다수의 카메라로부터 추출된 2차원 인체 영역 정보로부터 3차원 정보를 복원하고, UKF와 결합된 수치적인 역운동학 해법을 통해 동작자의 중간 관절 정보를 추정한다. 수치적인 역운동학의 해는 UKF의 상태 추정 시 안정적인 방향을 제시하고, UKF는 다수의 샘플을 기반으로 최적 상태를 찾음으로써, 전역해에 보다 빠르게 수렴한다.

모션 기반의 검색을 사용한 동적인 사람 자세 추적 (Dynamic Human Pose Tracking using Motion-based Search)

  • 정도준;윤정오
    • 한국산학기술학회논문지
    • /
    • 제11권7호
    • /
    • pp.2579-2585
    • /
    • 2010
  • 본 논문은 단안 카메라로부터 입력된 영상에서 모션 기반의 검색을 사용한 동적인 사람 자세 추적 방법을 제안한다. 제안된 방법은 3차원 공간에서 하나의 사람 자세 후보를 생성하고, 생성된 자세 후보를 2차원 이미지 공간으로 투영하여, 투영된 사람 자세 후보와 입력 이미지와의 특징 값 유사성을 비교한다. 이 과정을 정해진 조건을 만족 할 때까지 반복하여 이미지와의 유사성과, 신체 부분간 연결성이 가장 좋은 3차원 자세를 추정한다. 제안된 방법에서는 입력 이미지에 적합한 3차원 자세를 검색할 때, 2차원 영상에서 추정된 신체 각 부분들의 모션 정보를 사용해 검색 공간을 정하고 정해진 검색 공간에서 탐색하여 사람의 자세를 추정한다. 2차원 이미지 모션은 비교적 높은 제약이 있어서 검색 공간을 의미있게 줄일 수 있다. 이 방법은 모션 추정이 검색 공간을 효율적으로 할당 해주고, 자세 추적이 여러 가지 다양한 모션에 적응할 수 있다는 장점을 가진다

다중 평면의 3차원 모서리를 이용한 레이저 거리센서 및 카메라의 정밀 보정 (An Accurate Extrinsic Calibration of Laser Range Finder and Vision Camera Using 3D Edges of Multiple Planes)

  • 최성인;박순용
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제4권4호
    • /
    • pp.177-186
    • /
    • 2015
  • 레이저 거리센서와 비전 카메라의 정보를 융합하기 위해서는 두 센서 사이의 상대적인 위치관계를 설명하는 외부 파라미터를 정확하게 보정하는 것이 필수적이다. 본 논문에서는 레이저 거리센서와 카메라 좌표계 간의 외부 파라미터를 기존에 알려진 방법보다 쉬우면서도 정확하게 획득할 수 있는 새로운 보정 방법을 제안하고자 한다. 본 논문에서 제안한 방법의 접근법은 레이저 거리센서로 획득한 3차원 구조물의 모서리 정보를 영상으로 투영하였을 때 반드시 하나의 직선상에 존재해야 한다는 것을 제약조건으로 한다. 이러한 제약조건을 만족하는 3차원 기하모델을 제시하고 이 모델의 에너지 함수를 최소화하기 위한 수치적 해법을 소개한다. 또한 높은 정밀도의 보정을 위하여 레이저 거리정보 및 카메라 영상의 획득 과정에 대해서도 상세히 설명한다. 실험을 통해 제안된 방법의 성능이 기존의 방법에 비하여 보다 높은 정밀도를 보임을 확인할 수 있었다.

스킵 연결 형태 기반의 손 관절 2D 및 3D 검출 기법 (2D and 3D Hand Pose Estimation Based on Skip Connection Form)

  • 구종회;김미경;차의영
    • 한국정보통신학회논문지
    • /
    • 제24권12호
    • /
    • pp.1574-1580
    • /
    • 2020
  • 기존의 신체 인식 방법은 특수한 기기를 사용하거나 이미지로부터 영상처리를 통해 검출하는 방법들이 있다. 특수 기기를 사용할 경우 기기를 사용할 수 있는 환경이 제약되고 기기의 비용이 많이 든다는 단점이 있다. 카메라와 영상처리를 사용할 경우 환경의 제약과 비용이 낮아지는 장점이 있지만, 성능이 떨어진다. 이런 단점을 해결하기 위해 카메라와 합성 곱 심층 신경망을 사용한 신체 인식 방법들이 연구되었다. 합성 곱 심층 신경망의 성능을 올리기 위해 다양한 기법들이 제안되었다. 본 논문에서는 합성 곱 심층 신경망의 성능을 올리기 위한 기법 중 스킵 연결을 다양한 형태로 사용하여 스킵 연결이 손 검출 망에 끼치는 영향을 실험하였다. 실험을 통해 기본 스킵 연결 이외 추가적인 스킵 연결의 존재가 성능에 나은 영향을 끼치고 하향 스킵 연결만 추가된 망이 가장 나은 성능을 보임을 확인하였다.

필수 행렬을 이용한 카메라 이동 위치 추정 기술 연구 (A Study on Estimating Skill of Smartphone Camera Position using Essential Matrix)

  • 오종택;김호겸
    • 한국인터넷방송통신학회논문지
    • /
    • 제22권6호
    • /
    • pp.143-148
    • /
    • 2022
  • 이동하는 스마트폰이나 로봇의 단안 카메라를 이용하여 연속적으로 촬영된 이미지들을 분석하여 카메라의 위치를 추정하는 것은 메타버스나 이동 로봇, 사용자 위치 서비스에서 매우 중요하다. 지금까지는 PnP 관련 기술들을 적용하여 위치를 계산하였는데, 본 논문에서는 연속된 영상들에 적용된 에피폴라 기하학에서의 필수 행렬을 이용하여 카메라의 이동 방향을 구하고 기하학적인 수식 계산을 통해 카메라의 연속적인 이동 위치를 추정하는 방법을 새롭게 제안하였고, 시뮬레이션을 통해 그 정확성을 검증하였다. 이 방식은 기존의 방식과는 전혀 다른 방법으로 두 개 이상의 영상에서 하나 이상의 일치되는 특징점만 있어도 적용할 수 있는 특징이 있다.

파티클 집단 최적화를 이용한 가려짐에 강인한 마커 기반 증강현실 (Occlusion-Robust Marker-Based Augmented Reality Using Particle Swarm Optimization)

  • 박한훈;최준영;문광석
    • 한국HCI학회논문지
    • /
    • 제11권1호
    • /
    • pp.39-45
    • /
    • 2016
  • 증강현실을 구현하기 위해서는 카메라 포즈를 효율적, 효과적으로 계산할 수 있어야 하는데, 마커(marker)를 사용하는 방법(예, ARToolkit)이 널리 활용되고 있다. 그러나 마커를 사용하는 방법은 가려짐에 취약하다는 단점이 있다. 이러한 단점을 극복하기 위해 본 논문에서는 파티클 집단 최적화를 사용하여 현재 프레임에서의 카메라 포즈를 반복적으로 추정하는 하향식 방법을 제안한다. 실험을 통해 제안된 방법을 사용함으로써 심하게 가려진 마커에 대해서도 효과적으로 증강현실 구현이 가능함을 확인하였다.

실외 자율 로봇 주행을 위한 센서 퓨전 시스템 구현 (Implementation of a sensor fusion system for autonomous guided robot navigation in outdoor environments)

  • 이승환;이헌철;이범희
    • 센서학회지
    • /
    • 제19권3호
    • /
    • pp.246-257
    • /
    • 2010
  • Autonomous guided robot navigation which consists of following unknown paths and avoiding unknown obstacles has been a fundamental technique for unmanned robots in outdoor environments. The unknown path following requires techniques such as path recognition, path planning, and robot pose estimation. In this paper, we propose a novel sensor fusion system for autonomous guided robot navigation in outdoor environments. The proposed system consists of three monocular cameras and an array of nine infrared range sensors. The two cameras equipped on the robot's right and left sides are used to recognize unknown paths and estimate relative robot pose on these paths through bayesian sensor fusion method, and the other camera equipped at the front of the robot is used to recognize abrupt curves and unknown obstacles. The infrared range sensor array is used to improve the robustness of obstacle avoidance. The forward camera and the infrared range sensor array are fused through rule-based method for obstacle avoidance. Experiments in outdoor environments show the mobile robot with the proposed sensor fusion system performed successfully real-time autonomous guided navigation.