• 방송공학회논문지
• /
• 제24권4호
• /
• pp.580-591
• /
• 2019

본 논문의 목적은 자율주행을 위하여 카메라와 라이다를 이용하여 객체를 검출하고 각 센서에서 검출된 객체를 late fusion 방식으로 융합을 하여 성능을 향상하는 것을 목적으로 한다. 카메라를 이용한 객체 검출은 one-stage 검출인 YOLOv3을, 검출된 객체의 거리 추정은 perspective matrix를, 라이다의 객체 검출은 K-means 군집화 기반 객체 검출을 각각 이용하였다. 카메라와 라이다 calibration은 PnP-RANSAC을 이용하여 회전, 변환 행렬을 구하였다. 센서 융합은 라이다에서 검출된 객체를 이미지 평면에 옮겨 Intersection over union(IoU)을 계산하고, 카메라에서 검출된 객체를 월드 좌표에 옮겨 거리, 각도를 계산하여 IoU, 거리 그리고 각도 세 가지 속성을 로지스틱 회귀를 이용하여 융합을 하였다. 융합을 통하여 각 센서에서 검출되지 않은 객체를 보완해주어 성능이 약 5% 증가하였다.

• Journal of Electrical Engineering and Technology
• /
• 제13권6호
• /
• pp.2530-2544
• /
• 2018

In this paper, we propose an enhanced LiDAR-camera calibration method that extracts the marker plane from 3D point cloud information. In previous work, we estimated the straight line of each board to obtain the vertex. However, the errors in the point information in relation to the z axis were not considered. These errors are caused by the effects of user selection on the board border. Because of the nature of LiDAR, the point information is separated in the horizontal direction, causing the approximated model of the straight line to be erroneous. In the proposed work, we obtain each vertex by estimating a rectangle from a plane rather than obtaining a point from each straight line in order to obtain a vertex more precisely than the previous study. The advantage of using planes is that it is easier to select the area, and the most point information on the board is available. We demonstrated through experiments that the proposed method could be used to obtain more accurate results compared to the performance of the previous method.

• 정보보호학회논문지
• /
• 제33권6호
• /
• pp.1099-1110
• /
• 2023

자율주행 및 robot navigation의 인식 시스템은 성능 향상을 위해 다중 센서를 융합(Multi-Sensor Fusion)을 한 후, 객체 인식 및 추적, 차선 감지 등의 비전 작업을 한다. 현재 카메라와 라이다 센서의 융합을 기반으로 한 딥러닝 모델에 대한 연구가 활발히 이루어지고 있다. 그러나 딥러닝 모델은 입력 데이터의 변조를 통한 적대적 공격에 취약하다. 기존의 다중 센서 기반 자율주행 인식 시스템에 대한 공격은 객체 인식 모델의 신뢰 점수를 낮춰 장애물 오검출을 유도하는 데에 초점이 맞춰져 있다. 그러나 타겟 모델에만 공격이 가능하다는 한계가 있다. 센서 융합단계에 대한 공격의 경우 융합 이후의 비전 작업에 대한 오류를 연쇄적으로 유발할 수 있으며, 이러한 위험성에 대한 고려가 필요하다. 또한 시각적으로 판단하기 어려운 라이다의 포인트 클라우드 데이터에 대한 공격을 진행하여 공격 여부를 판단하기 어렵도록 한다. 본 연구에서는 이미지 스케일링 기반 카메라-라이다 융합 모델(camera-LiDAR calibration model)인 LCCNet 의 정확도를 저하시키는 공격 방법을 제안한다. 제안 방법은 입력 라이다의 포인트에 스케일링 공격을 하고자 한다. 스케일링 알고리즘과 크기별 공격 성능 실험을 진행한 결과 평균 77% 이상의 융합 오류를 유발하였다.

• 대한원격탐사학회지
• /
• 제35권5_2호
• /
• pp.841-850
• /
• 2019

본 논문은 상업용 소형 드론의 드론 맵핑 기하 정확도 평가와 지상 LiDAR와 드론 점군 자료의 융합을 통하여 재난 긴급 맵핑 적용성에 관한 연구이다. 기존의 드론 맵핑 절차와 카메라 검정과 광속조정법으로 카메라 모델을 최적화한 드론 맵핑 간의 위치 오차를 비교 분석한 결과, 평면 위치오차는 2~3 m에서 약 0.11~0.28 m 수준으로, 수직 위치오차는 2.85 m에서 0.45 m 수준으로 위치결정 정확도가 향상되었다. 아울러, 드론 맵핑과정에서 누락되기 쉬운 점군 자료의 측면정보를 지상 LiDAR 점군자료와 융합을 통해 보완할 수 있도록 두 점군 자료간 정합을 위한 개선된 좌표계 변환 모델을 제시하여 연구 대상지내 이종 점군 자료를 최대 오차 0.07 m 이내로 정합하였다. 본 논문에서의 재난현장에서의 드론 기반의 긴급 맵핑과 재난 현장정보를 보다 정밀하게 구축하기 위한 점군 자료융합에 관한 연구 성과는 향후 국가 재난안전 관리 현업에 일조할 수 있을 것으로 기대된다.

• 대한조선학회논문집
• /
• 제61권3호
• /
• pp.143-151
• /
• 2024

In this study, we present a mapping framework for 3D spatial reconstruction of digital twin model using navigation and perception sensors mounted on an Autonomous Surface Vehicle (ASV). For improving the level of realism of digital twin models, 3D spatial information should be reconstructed as a digitalized spatial model and integrated with the components and system models of the ASV. In particular, for the 3D spatial reconstruction, color and 3D point cloud data which acquired from a camera and a LiDAR sensors corresponding to the navigation information at the specific time are required to map without minimizing the noise. To ensure clear and accurate reconstruction of the acquired data in the proposed mapping framework, a image preprocessing was designed to enhance the brightness of low-light images, and a preprocessing for 3D point cloud data was included to filter out unnecessary data. Subsequently, a point matching process between consecutive 3D point cloud data was conducted using the Generalized Iterative Closest Point (G-ICP) approach, and the color information was mapped with the matched 3D point cloud data. The feasibility of the proposed mapping framework was validated through a field data set acquired from field experiments in a inland water environment, and its results were described.