• 제목/요약/키워드: Monocular

검색결과 237건 처리시간 0.023초

FPGA based HW/SW co-design for vision based real-time position measurement of an UAV

  • Kim, Young Sik;Kim, Jeong Ho;Han, Dong In;Lee, Mi Hyun;Park, Ji Hoon;Lee, Dae Woo
    • International Journal of Aeronautical and Space Sciences
    • /
    • 제17권2호
    • /
    • pp.232-239
    • /
    • 2016
  • Recently, in order to increase the efficiency and mission success rate of UAVs (Unmanned Aerial Vehicles), the necessity for formation flights is increased. In general, GPS (Global Positioning System) is used to obtain the relative position of leader with respect to follower in formation flight. However, it can't be utilized in environment where GPS jamming may occur or communication is impossible. Therefore, in this study, monocular vision is used for measuring relative position. General PC-based vision processing systems has larger size than embedded systems and is hard to install on small vehicles. Thus FPGA-based processing board is used to make our system small and compact. The processing system is divided into two blocks, PL(Programmable Logic) and PS(Processing system). PL is consisted of many parallel logic arrays and it can handle large amount of data fast, and it is designed in hardware-wise. PS is consisted of conventional processing unit like ARM processor in hardware-wise and sequential processing algorithm is installed on it. Consequentially HW/SW co-designed FPGA system is used for processing input images and measuring a relative 3D position of the leader, and this system showed RMSE accuracy of 0.42 cm ~ 0.51 cm.

실내 환경에서의 로봇 자율주행을 위한 천장영상으로부터의 이종 특징점을 이용한 단일비전 기반 자기 위치 추정 시스템 (Monocular Vision Based Localization System using Hybrid Features from Ceiling Images for Robot Navigation in an Indoor Environment)

  • 강정원;방석원;크리스토퍼 쥐 애키슨;홍영진;서진호;이정우;정명진
    • 로봇학회논문지
    • /
    • 제6권3호
    • /
    • pp.197-209
    • /
    • 2011
  • This paper presents a localization system using ceiling images in a large indoor environment. For a system with low cost and complexity, we propose a single camera based system that utilizes ceiling images acquired from a camera installed to point upwards. For reliable operation, we propose a method using hybrid features which include natural landmarks in a natural scene and artificial landmarks observable in an infrared ray domain. Compared with previous works utilizing only infrared based features, our method reduces the required number of artificial features as we exploit both natural and artificial features. In addition, compared with previous works using only natural scene, our method has an advantage in the convergence speed and robustness as an observation of an artificial feature provides a crucial clue for robot pose estimation. In an experiment with challenging situations in a real environment, our method was performed impressively in terms of the robustness and accuracy. To our knowledge, our method is the first ceiling vision based localization method using features from both visible and infrared rays domains. Our system can be easily utilized with a variety of service robot applications in a large indoor environment.

다중 영상을 이용한 생체모방형 물체 접근 감지 센서 (Biomimetic approach object detection sensors using multiple imaging)

  • 최명훈;김민;정재훈;박원현;이동헌;변기식;김관형
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 춘계학술대회
    • /
    • pp.91-93
    • /
    • 2016
  • 2차원 영상으로부터 3차원 정보를 추출하는 과정은 매우 중요한 단계로서 하나의 카메라를 이용하는 단안시법과 두 개의 카메라를 이용하는 양안 시법이 있는 후자를 일반적으로"스테레오 비전"이라고 한다. 요즘 많이 CCTV나 여러 매체에서 사용되고 있는 자동 물체추적 시스템에서 인간의 두 눈을 모방한 스테레오 카메라를 이용하여 현장의 상황이나 작업 전개를 보다 명확하게 알 수 있어 회피/제어 기동 및 여러 작업의 효율을 극대화할 수 있다. 기존의 2D 영상에서의 물체 추적시스템은 거리를 인식할 수 없어 전이를 인식할 수 없었으나 스테레오 영상의 시차를 이용하고 객체를 표시하여 관측자가 보다 효과적으로 제어할 수 있을 것이다.

  • PDF

증강현실 환경에서의 강건한 카메라 추적을 위한 실시간 입자 필터링 기법 (A Real-time Particle Filtering Framework for Robust Camera Tracking in An AR Environment)

  • 이석한
    • 디지털콘텐츠학회 논문지
    • /
    • 제11권4호
    • /
    • pp.597-606
    • /
    • 2010
  • 본 논문에서는 증강현실 환경에서 보다 강건한 카메라 정보 추정을 위한 입자필터 기반의 카메라 추적 기법에 대해서 설명한다. 실시간 카메라 추적을 위해서는 일반적으로 칼만 필터, 또는 확장 칼만 필터 등이 많이 이용되지만, 카메라의 급격한 흔들림 및 장면의 가려짐 등과 같은 불안정한 조건에서는 정상적인 카메라 추적이 매우 힘들다는 단점이 있다. 본 논문에서 제안하는 입자필터링 기법은 시스템 상태에 대한 측정 표본입자의 가중치를 별도의 가중치 계산과정을 이용하지 않고 가우스 분포를 기반으로 계산하였으며, 카메라 입자를 수렴시키기 위한 별도의 처리과정을 거치지 않고 시스템의 실제 불확실도에 근사화되도록 재표본화된 표본입자 집합을 이용하여 카메라 상태의 추정을 수행하였다. 또한 제안된 방법은 보다 많은 수의 표본 입자를 이용하는 환경에서도 실시간 처리가 가능한 장점이 있다. 실험을 통하여 다양한 환경 하에서 제안된 방법의 효율성과 정확성을 확인하였다.

시각유발전위 검사상 후-시신경교차부위병변을 보인 환자들의 뇌 영상 결과와의 연관성 (Visual Evoked Potentials in Retrochiasmal Lesion; Correlation with Neuroimaging Study)

  • 김성훈;조용진;김호진;이광우
    • Annals of Clinical Neurophysiology
    • /
    • 제2권1호
    • /
    • pp.13-20
    • /
    • 2000
  • Background and Objective : Visual evoked potentials(VEPs) is considered to be a reliable diagnostic procedure for examining patients with anterior visual pathways. Some abnormalities in the recordings on monocular stimulation have been said to indicate retrochiasmal lesion, but less consistent results have been reported. This study is to evaluate the positive predictability of VEP for the detection of retrochiasmal lesion. Methods : We reviewed VEPs that could be interpreted as indicative of a retrochiasmal lesions, based on amplitude or latency asymmetry recorded on the left(O1) and right(O2) occipital regions. Bilateral absent VEPs on both recording(O1 and O2) without evidence of prechiasmal lesion were included. During 5 years, we identified 31 patients who met the above criteria and who had undergone magnetic resonance imaging(MRI) of brain(one patient underwent computerized tomography). Twenty three patients underwent pattern reversal VEPs and others underwent flash goggle VEPs. Results : Brain imagings were abnormal in 29 and were normal in 2. Of the 29 abnormal scans, lesions in posterior visual pathway were detected in 21 scans(predictive value=68%). The predictive value was not significantly different between flash goggle VEP(75%) and pattern reversal VEP(68%). The predictive value was higher in patient with visual field defect(100%) than those without visual field defect(25%). The pathologic nature of lesion also showed close relations to the predictive value. VEPs is usually paradoxically lateralized(78%), but not in all patients. Conclusion : VEPs abnormalities suggesting retrochiasmal lesion were usually corresponded with brain MRI findings. Diagnostic reliability could be increased when considering the visual field defect and nature of lesion. Therefore, the authors suggest that VEPs studies could be useful in evaluating the patients with the retrochismal lesion.

  • PDF

모션 기반의 검색을 사용한 동적인 사람 자세 추적 (Dynamic Human Pose Tracking using Motion-based Search)

  • 정도준;윤정오
    • 한국산학기술학회논문지
    • /
    • 제11권7호
    • /
    • pp.2579-2585
    • /
    • 2010
  • 본 논문은 단안 카메라로부터 입력된 영상에서 모션 기반의 검색을 사용한 동적인 사람 자세 추적 방법을 제안한다. 제안된 방법은 3차원 공간에서 하나의 사람 자세 후보를 생성하고, 생성된 자세 후보를 2차원 이미지 공간으로 투영하여, 투영된 사람 자세 후보와 입력 이미지와의 특징 값 유사성을 비교한다. 이 과정을 정해진 조건을 만족 할 때까지 반복하여 이미지와의 유사성과, 신체 부분간 연결성이 가장 좋은 3차원 자세를 추정한다. 제안된 방법에서는 입력 이미지에 적합한 3차원 자세를 검색할 때, 2차원 영상에서 추정된 신체 각 부분들의 모션 정보를 사용해 검색 공간을 정하고 정해진 검색 공간에서 탐색하여 사람의 자세를 추정한다. 2차원 이미지 모션은 비교적 높은 제약이 있어서 검색 공간을 의미있게 줄일 수 있다. 이 방법은 모션 추정이 검색 공간을 효율적으로 할당 해주고, 자세 추적이 여러 가지 다양한 모션에 적응할 수 있다는 장점을 가진다

소실점 영역을 이용한 개선된 Depth-map 생성 기법 (Improved depth map generation method using Vanishing Point area)

  • 반경진;김종찬;김경옥;김응곤
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2010년도 추계학술대회
    • /
    • pp.357-359
    • /
    • 2010
  • 단안영상에서 영상의 깊이를 판단하기 위해서 사용하는 소실점은 건물, 도로와 같은 건축물이 포함된 실외영상이나 복도, 방 내부 등의 실내구조에 대한 영상에서 소실점은 매우 강력한 깊이단서이다. 소실점을 이용한 깊이지도는 2차원 영상에서 3차원 공간구조를 복원하기위해 사용된다. 하지만 소실점이 영상 내에 존재하는 경우 소실점의 위치에 따라서도 서로 다른 상대적 깊이표현 방법이 필요하다. 본 논문에서는 영상에 존재하는 소실점의 위치를 고려하여 보다 개선된 depth-map 생성하였다. 제안된 방법은 소실점이 위치하는 영역을 7구역으로 정의하고 영역에 따라서 서로 다른 깊이 방향을 제안하였다.

  • PDF

단일 영상 기반 3차원 복원을 위한 약교사 인공지능 기술 동향 (Recent Trends of Weakly-supervised Deep Learning for Monocular 3D Reconstruction)

  • 김승룡
    • 방송공학회논문지
    • /
    • 제26권1호
    • /
    • pp.70-78
    • /
    • 2021
  • 2차원 단일 영상에서 3차원 깊이 정보를 복원하는 기술은 다양한 한계 및 산업계에서 활용도가 매우 높은 기술임이 분명하다. 하지만 2차원 영상은 임의의 3차원 정보의 투사의 결과라는 점에서 내재적 깊이 모호성(Depth ambiguity)을 가지고 있고 이를 해결하는 문제는 매우 도전적이다. 이러한 한계점은 최근 인공지능 기술의 발달에 힘입어 2차원 영상과 3차원 깊이 정보간의 대응 관계를 학습하는 알고리즘의 발달로 극복되어 지고 있다. 이러한 3차원 깊이 정보 획득을 위한 인공지능 기술을 학습하기 위해서는 대응 관계를 나타내는 대규모의 학습데이터의 필요성이 절대적인데, 이러한 데이터는 취득 및 가공 과정에서 상당한 노동력을 필요로 하기에 제한적으로 구축이 가능하다. 따라서 최근의 기술 발전 동향은 대규모의 2차원 영상과 메타 데이터를 활용하여 3차원 깊이 정보를 예측하려는 약교사(Weakly-supervised) 인공지능 기술의 발전이 주를 이루고 있다. 본 고에서는 이러한 기술 발전 동향을 장면(Scene) 3차원 복원 기술과 객체(Object) 3차원 복원 기술로 나누어 요약하고 현재의 기술들의 한계점과 향후 나아갈 방향에 대해서 토의한다.

다중영상을 이용한 딥러닝 기반 온디바이스 증강현실 시스템 (Deep Learning Based On-Device Augmented Reality System using Multiple Images)

  • 정태현;박인규
    • 방송공학회논문지
    • /
    • 제27권3호
    • /
    • pp.341-350
    • /
    • 2022
  • 본 논문은 온디바이스 환경에서 다중 시점 영상을 입력 받아 객체를 증강하고, 현실 공간에 의한 가려짐을 구현하는 딥러닝 기반의 증강현실 시스템을 제안한다. 이는 세부적으로 카메라 자세 추정, 깊이 추정, 객체 증강 구현의 세 기술적 단계로 나눠지며 각 기법은 온디바이스 환경에서의 최적화를 위해 다양한 모바일 프레임워크를 사용한다. 카메라 자세 추정 단계에서는 많은 계산량을 필요로 하는 특징 추출 알고리즘을 GPU 병렬처리 프레임워크인 OpenCL을 통해 가속하여 사용하며, 깊이 영상 추론 단계에서는 모바일 심층신경망 프레임워크 TensorFlow Lite를 사용하여 가속화된 단안, 다중 영상 기반의 깊이 영상 추론을 수행한다. 마지막으로 모바일 그래픽스 프레임워크 OpenGL ES를 활용해 객체 증강 및 가려짐을 구현한다. 제시하는 증강현실 시스템은 안드로이드 환경에서 GUI를 갖춘 애플리케이션으로 구현되며 모바일과 PC 환경에서의 동작 정확도 및 처리 시간을 평가한다.

Deep Learning-based Depth Map Estimation: A Review

  • Abdullah, Jan;Safran, Khan;Suyoung, Seo
    • 대한원격탐사학회지
    • /
    • 제39권1호
    • /
    • pp.1-21
    • /
    • 2023
  • In this technically advanced era, we are surrounded by smartphones, computers, and cameras, which help us to store visual information in 2D image planes. However, such images lack 3D spatial information about the scene, which is very useful for scientists, surveyors, engineers, and even robots. To tackle such problems, depth maps are generated for respective image planes. Depth maps or depth images are single image metric which carries the information in three-dimensional axes, i.e., xyz coordinates, where z is the object's distance from camera axes. For many applications, including augmented reality, object tracking, segmentation, scene reconstruction, distance measurement, autonomous navigation, and autonomous driving, depth estimation is a fundamental task. Much of the work has been done to calculate depth maps. We reviewed the status of depth map estimation using different techniques from several papers, study areas, and models applied over the last 20 years. We surveyed different depth-mapping techniques based on traditional ways and newly developed deep-learning methods. The primary purpose of this study is to present a detailed review of the state-of-the-art traditional depth mapping techniques and recent deep learning methodologies. This study encompasses the critical points of each method from different perspectives, like datasets, procedures performed, types of algorithms, loss functions, and well-known evaluation metrics. Similarly, this paper also discusses the subdomains in each method, like supervised, unsupervised, and semi-supervised methods. We also elaborate on the challenges of different methods. At the conclusion of this study, we discussed new ideas for future research and studies in depth map research.