• 제목/요약/키워드: Vision/LiDAR

검색결과 30건 처리시간 0.021초

Integrated Navigation Design Using a Gimbaled Vision/LiDAR System with an Approximate Ground Description Model

  • Yun, Sukchang;Lee, Young Jae;Kim, Chang Joo;Sung, Sangkyung
    • International Journal of Aeronautical and Space Sciences
    • /
    • 제14권4호
    • /
    • pp.369-378
    • /
    • 2013
  • This paper presents a vision/LiDAR integrated navigation system that provides accurate relative navigation performance on a general ground surface, in GNSS-denied environments. The considered ground surface during flight is approximated as a piecewise continuous model, with flat and slope surface profiles. In its implementation, the presented system consists of a strapdown IMU, and an aided sensor block, consisting of a vision sensor and a LiDAR on a stabilized gimbal platform. Thus, two-dimensional optical flow vectors from the vision sensor, and range information from LiDAR to ground are used to overcome the performance limit of the tactical grade inertial navigation solution without GNSS signal. In filter realization, the INS error model is employed, with measurement vectors containing two-dimensional velocity errors, and one differenced altitude in the navigation frame. In computing the altitude difference, the ground slope angle is estimated in a novel way, through two bisectional LiDAR signals, with a practical assumption representing a general ground profile. Finally, the overall integrated system is implemented, based on the extended Kalman filter framework, and the performance is demonstrated through a simulation study, with an aircraft flight trajectory scenario.

카메라-라이다 센서 융합을 통한 VRU 분류 및 추적 알고리즘 개발 (Vision and Lidar Sensor Fusion for VRU Classification and Tracking in the Urban Environment)

  • 김유진;이호준;이경수
    • 자동차안전학회지
    • /
    • 제13권4호
    • /
    • pp.7-13
    • /
    • 2021
  • This paper presents an vulnerable road user (VRU) classification and tracking algorithm using vision and LiDAR sensor fusion method for urban autonomous driving. The classification and tracking for vulnerable road users such as pedestrian, bicycle, and motorcycle are essential for autonomous driving in complex urban environments. In this paper, a real-time object image detection algorithm called Yolo and object tracking algorithm from LiDAR point cloud are fused in the high level. The proposed algorithm consists of four parts. First, the object bounding boxes on the pixel coordinate, which is obtained from YOLO, are transformed into the local coordinate of subject vehicle using the homography matrix. Second, a LiDAR point cloud is clustered based on Euclidean distance and the clusters are associated using GNN. In addition, the states of clusters including position, heading angle, velocity and acceleration information are estimated using geometric model free approach (GMFA) in real-time. Finally, the each LiDAR track is matched with a vision track using angle information of transformed vision track and assigned a classification id. The proposed fusion algorithm is evaluated via real vehicle test in the urban environment.

FPGA 고속병렬처리 구조의 FMCW LiDAR 신호처리 알고리즘 개발 (Development of Parallel Signal Processing Algorithm for FMCW LiDAR based on FPGA)

  • 이종헌;최지은;라종필
    • 한국전자통신학회논문지
    • /
    • 제19권2호
    • /
    • pp.335-343
    • /
    • 2024
  • 본 논문은 FMCW LiDAR의 실시간 표적 신호처리 기법에 관해 기술하고 있다. FMCW LiDAR는 높은 검출민감도를 가져 낮은 출력만으로 장거리 측정이 가능하면서도 눈, 비, 안개 등 열악한 환경에서 강건한 검출성능을 가져 자율주행자동차용 차세대 LiDAR로 주목받고 있다. 본 논문은 주파수 영역의 신호처리를 위해 필요한 고속 데이터 획득, 전송 및 병렬 신호처리를 위한 하드웨어 구조에 대해 기술하였다. 획득된 시계열 신호로부터 주파수 특성을 분석하기 위하여, 푸리에 변환 연산을 FPGA로 구현하였다. 변환된 주파수영역 데이터로부터 강건한 표적검출 성능을 확보하기 위한 C-FAR 알고리즘에 대해 기술하였다. 표적의 스펙트럼 신호로부터 주파수 측정값의 해상도를 향상하고, 측정된 주파수 값을 표적의 거리 및 속도 정보로 변환하는 과정에 대해 상세히 기술하였다. 스캐너 2D 위치 및 표적의 거리 정보를 활용하여 3차원 영상으로 변환하고 이를 전시하였다. 제안된 FPGA 구조의 병렬 신호처리 알고리즘 적용을 통하여 FMCW LiDAR의 실시간 표적 신호처리 및 고해상도 영상획득 성능을 확인하였다.

Aerial Object Detection and Tracking based on Fusion of Vision and Lidar Sensors using Kalman Filter for UAV

  • Park, Cheonman;Lee, Seongbong;Kim, Hyeji;Lee, Dongjin
    • International journal of advanced smart convergence
    • /
    • 제9권3호
    • /
    • pp.232-238
    • /
    • 2020
  • In this paper, we study on aerial objects detection and position estimation algorithm for the safety of UAV that flight in BVLOS. We use the vision sensor and LiDAR to detect objects. We use YOLOv2 architecture based on CNN to detect objects on a 2D image. Additionally we use a clustering method to detect objects on point cloud data acquired from LiDAR. When a single sensor used, detection rate can be degraded in a specific situation depending on the characteristics of sensor. If the result of the detection algorithm using a single sensor is absent or false, we need to complement the detection accuracy. In order to complement the accuracy of detection algorithm based on a single sensor, we use the Kalman filter. And we fused the results of a single sensor to improve detection accuracy. We estimate the 3D position of the object using the pixel position of the object and distance measured to LiDAR. We verified the performance of proposed fusion algorithm by performing the simulation using the Gazebo simulator.

고분해능 FMCW LiDAR 센서 구성을 위한 광대역 주파수변조 레이저 개발 (Development of Wideband Frequency Modulated Laser for High Resolution FMCW LiDAR Sensor)

  • 라종필;최지은
    • 한국전자통신학회논문지
    • /
    • 제18권6호
    • /
    • pp.1023-1030
    • /
    • 2023
  • 본 논문은 눈, 비, 안개 등 열악한 운용환경에도 강건한 표적검출 특성을 가지는 FMCW LiDAR에 대해서 기술하고 있다. 특히 FMCW LiDAR의 거리 해상도, 가간섭거리 및 최대측정거리 성능에 직접적으로 영향을 미치는 주파수변조레이저의 성능개선에 대해 기술하고 있다. 불평형 Mach-Zehnder 레이저간섭계를 활용하여, 레이저의 발진주파수의 변화율을 실시간 측정하고, 주파수변조 오차를 보정하는 광학식 위상동기루프 기술을 이용한 주파수변조 방법에 대해 기술하였다. 가간섭거리가 긴 레이저 광원을 발진하기 위해 확장공진기형 레이저다이오드를 적용하였으며, 레이저에서 발진되는 주파수 측정을 위해 광집적회로 구조의 레이저간섭계를 적용하였다. 개발된 FMCW LiDAR의 대역폭과 거리해상도는 각각 10.045GHz와 0.84mm로 측정되었다.

Anomaly Event Detection Algorithm of Single-person Households Fusing Vision, Activity, and LiDAR Sensors

  • Lee, Do-Hyeon;Ahn, Jun-Ho
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권6호
    • /
    • pp.23-31
    • /
    • 2022
  • 최근 코로나 19가 유행하고 더불어 고령화 시대와 1인 가구 증가로 인해 가구 구성원이 집에서 다양한 활동을 하며 머무는 시간이 매우 증가하였다. 본 연구에서는 노인을 포함한 1인 가구의 구성원들의 이상 징후를 탐지하기 위한 알고리즘을 제안한다. 홈 CCTV를 통한 영상 센서 알고리즘, 스마트폰에 내장된 가속도 센서를 이용한 활동 센서 알고리즘 및 2D LiDAR 센서 기반의 LiDAR 센서 알고리즘을 이용한 사람의 움직임 및 낙상 탐지 결과를 기반으로 이상 징후를 탐지하는 알고리즘들을 제안한다. 하지만, 각 단일 센서 기반 알고리즘은 센서가 가진 한계점으로 인해 특정 상황에서 이상징후를 탐지하기 어려운 단점을 가지고 있다. 그에 따라 단일 센서 기반 알고리즘만을 사용한 것보다 다양한 상황에서 이상 징후를 탐지하기 위해 각 알고리즘을 결합하는 융합 방식을 제안한다. 우리는 각 센서로 수집한 데이터를 통해 알고리즘들의 성능을 평가하고, 특정 시나리오들을 통하여 알고리즘 하나만 사용하여 정확한 이상 징후를 탐지할 수 없는 상황에서도 융합 방식을 통해 서로 보완하여 정확한 이상 징후를 효율적으로 탐지할 수 있음을 보여준다.

2차원 라이다 기반 3차원 포트홀 검출 시스템 (2D LiDAR based 3D Pothole Detection System)

  • 김정주;강병호;최수일
    • 디지털콘텐츠학회 논문지
    • /
    • 제18권5호
    • /
    • pp.989-994
    • /
    • 2017
  • 본 논문은 2D 라이다를 이용해서 포트홀을 검출하는 시스템과 알고리즘을 제안한다. 기존의 포트홀을 검출하는 방법에는 진동, 3D 복원, 영상, 명암을 기반으로 한 방법이 있다. 제안하는 포트홀 검출 시스템은 저가형 LiDAR 두 개를 이용하여 포트홀 검출성능을 개선한다. 포트홀 검출 알고리즘은 LiDAR를 통해 얻은 데이터의 노이즈를 제거하기 위한 전처리과정, 시각화를 위한 클러스터링과 선분추출, 포트홀 검출을 위한 기울기 함수를 구하는 단계로 나뉜다. 기울기 함수를 통해 추출된 데이터의 특징점을 찾아내어 포트홀 여부를 검사하고 포트홀의 깊이와 폭을 측정한다. 2개의 라이다를 활용한 포트홀 검출 시스템을 개발하고, 라이다 장치를 이동하면서 포트홀을 검출함으로써 2D LiDAR를 이용한 3차원 포트홀 검출 시스템의 성능을 보인다.

천장지향 2D-LiDAR 회전 모듈을 이용한 실내 주행 로봇의 천장 기반 위치 추정 (Ceiling-Based Localization of Indoor Robots Using Ceiling-Looking 2D-LiDAR Rotation Module)

  • 안재원;고윤호
    • 한국멀티미디어학회논문지
    • /
    • 제22권7호
    • /
    • pp.780-789
    • /
    • 2019
  • In this paper, we propose a new indoor localization method for indoor mobile robots using LiDAR. The indoor mobile robots operating in limited areas usually require high-precision localization to provide high level services. The performance of the widely used localization methods based on radio waves or computer vision are highly dependent on their usage environment. Therefore, the reproducibility of the localization is insufficient to provide high level services. To overcome this problem, we propose a new localization method based on the comparison between ceiling shape information obtained from LiDAR measurement and the blueprint. Specifically, the method includes a reliable segmentation method to classify point clouds into connected planes, an effective comparison method to estimate position by matching 3D point clouds and 2D blueprint information. Since the ceiling shape information is rarely changed, the proposed localization method is robust to its usage environment. Simulation results prove that the position error of the proposed localization method is less than 10 cm.

라이다를 이용한 고층 건물의 변위 계측 기법에 관한 연구 (A Study on the Displacement Measuring Method of High-rise Buildingas using LiDAR)

  • 이홍민;박효선
    • 한국전산구조공학회:학술대회논문집
    • /
    • 한국전산구조공학회 2006년도 정기 학술대회 논문집
    • /
    • pp.151-158
    • /
    • 2006
  • Structural health monitoring is concerned with the safety and serviceability of the users of structures, especially for the case of building structures and infrastructures. When considering the safety of a structure, the maximum stress in a member due to live load, earthquake, wind, or other unexpected loadings must be checked not to exceed the stress specified in a code. It will not fail at yield, excessively large displacements will deteriorate the serviceability of a structure. To guarantee the safety and serviceability of structures, the maximum displacement in a structures must be monitored because actual displacement is a direct assessment index on its stiffness. However, no practical method has been reported to monitor the displacement, especially for the case of displacement of high-rise buildings because of not to easy accessive. In this paper, it is studied displacement measuring method of high-rise buildings using LiDAR The method is evaluated by analyzing accuracy of measured displacements for existing building.

  • PDF

자율주행 차량의 돌발사고 방지를 위한 V2I 기반의 사고 방지체계 연구 (A Research on V2I-based Accident Prevention System for the Prevention of Unexpected Accident of Autonomous Vehicle)

  • 한상용;김명준;강동완;백선우;신희석;김정하
    • 한국ITS학회 논문지
    • /
    • 제20권3호
    • /
    • pp.86-99
    • /
    • 2021
  • 본 연구는 V2I통신을 이용하여 교차로 등의 사각지대로 인해 발생할 수 있는 충돌 사고를 예방하기 위한 충돌 방지체계를 제안한다. 교차로의 인프라에 위치한 Vision센서와 LiDAR센서가 물체를 인식하고 사고 위험이 있는 차량에게 경고함으로써 사고를 미연에 방지한다. 딥러닝 기반의 YOLOv4를 이용하여 교차로에 진입하는 물체를 인식하고 LiDAR 센서와의 Calibration을 통해 대상 물체와의 맨하탄 거리값을 이용하여 충돌 예상시간과 제동거리에 대한 가중치를 계산하고 안전거리를 확보한다. 차량-인프라간 통신은 ROS통신을 이용하였으며 충돌 경고 외에도 진입 물체의 Class, 거리, 진행속도 등의 다양한 정보를 차량에 전달함으로써 사고를 미연에 방지하고자 하였다.