• 제어로봇시스템학회논문지
• /
• 제15권4호
• /
• pp.390-395
• /
• 2009

In this paper, we design an on-road vehicle detection system based on the combination of a camera and a LIDAR system. In the proposed system, the candidate area is selected from the LIDAR data using a grouping algorithm. Then, the selected candidate area is scanned by an SVM to find an actual vehicle. The morphological edged images are used as features in a camera. The principal components of the edged images called eigencar are employed to train the SVM. We conducted experiments to show that the on-road vehicle detection system developed in this paper demonstrates about 80% accuracy and runs with 20 scans per second on LIDAR and 10 frames per second on camera.

• 한국산학기술학회논문지
• /
• 제21권6호
• /
• pp.28-34
• /
• 2020

본 논문에서는 라이다(LIDAR) 센서와 일반 카메라 (RGB 센서)가 획득한 영상들을 정합하고, 일반 카메라가 획득한 컬러 영상에 해당하는 깊이맵을 생성하는 방법을 제시한다. 본 연구에서는 Slamtec사의 RPLIDAR A3 와 일반 디지털 카메라를 활용하고, 두 종류의 센서가 획득 및 제공하는 정보의 특징 및 형태는 서로 다르다. 라이다 센서가 제공하는 정보는 라이다부터 객체 또는 주변 물체들까지의 거리이고, 디지털 카메라가 제공하는 정보는 2차원 영상의 Red, Green, Blue 값이다. 두 개의 서로 다른 종류의 센서를 활용하여 정보를 정합할 경우 객체 검출 및 추적에서 더 좋은 성능을 보일 수 있는 가능성이 있고, 자율주행 자동차, 로봇 등 시각정보처리 기술이 필요한 영역에서 활용도가 높은 것으로 기대한다. 두 종류의 센서가 제공하는 정보들을 정합하기 위해서는 각 센서가 획득한 정보를 가공하고, 정합에 적합하도록 처리하는 과정이 필요하다. 본 논문에서는 두 센서가 획득하는 정보들을 정합한 결과를 제공할 수 있는 전처리 방법을 실험 결과와 함께 제시한다.

• 정보보호학회논문지
• /
• 제33권6호
• /
• pp.1099-1110
• /
• 2023

자율주행 및 robot navigation의 인식 시스템은 성능 향상을 위해 다중 센서를 융합(Multi-Sensor Fusion)을 한 후, 객체 인식 및 추적, 차선 감지 등의 비전 작업을 한다. 현재 카메라와 라이다 센서의 융합을 기반으로 한 딥러닝 모델에 대한 연구가 활발히 이루어지고 있다. 그러나 딥러닝 모델은 입력 데이터의 변조를 통한 적대적 공격에 취약하다. 기존의 다중 센서 기반 자율주행 인식 시스템에 대한 공격은 객체 인식 모델의 신뢰 점수를 낮춰 장애물 오검출을 유도하는 데에 초점이 맞춰져 있다. 그러나 타겟 모델에만 공격이 가능하다는 한계가 있다. 센서 융합단계에 대한 공격의 경우 융합 이후의 비전 작업에 대한 오류를 연쇄적으로 유발할 수 있으며, 이러한 위험성에 대한 고려가 필요하다. 또한 시각적으로 판단하기 어려운 라이다의 포인트 클라우드 데이터에 대한 공격을 진행하여 공격 여부를 판단하기 어렵도록 한다. 본 연구에서는 이미지 스케일링 기반 카메라-라이다 융합 모델(camera-LiDAR calibration model)인 LCCNet 의 정확도를 저하시키는 공격 방법을 제안한다. 제안 방법은 입력 라이다의 포인트에 스케일링 공격을 하고자 한다. 스케일링 알고리즘과 크기별 공격 성능 실험을 진행한 결과 평균 77% 이상의 융합 오류를 유발하였다.

• International Journal of Computer Science & Network Security
• /
• 제23권11호
• /
• pp.67-72
• /
• 2023

In the past decade, Autonomous Vehicle Systems (AVS) have advanced at an exponential rate, particularly due to improvements in artificial intelligence, which have had a significant impact on social as well as road safety and the future of transportation systems. The fusion of light detection and ranging (LiDAR) and camera data in real-time is known to be a crucial process in many applications, such as in autonomous driving, industrial automation and robotics. Especially in the case of autonomous vehicles, the efficient fusion of data from these two types of sensors is important to enabling the depth of objects as well as the classification of objects at short and long distances. This paper presents classification of objects using CNN based vision and Light Detection and Ranging (LIDAR) fusion in autonomous vehicles in the environment. This method is based on convolutional neural network (CNN) and image up sampling theory. By creating a point cloud of LIDAR data up sampling and converting into pixel-level depth information, depth information is connected with Red Green Blue data and fed into a deep CNN. The proposed method can obtain informative feature representation for object classification in autonomous vehicle environment using the integrated vision and LIDAR data. This method is adopted to guarantee both object classification accuracy and minimal loss. Experimental results show the effectiveness and efficiency of presented approach for objects classification.

• 로봇학회논문지
• /
• 제14권3호
• /
• pp.170-178
• /
• 2019

This paper proposes a parking space detection method for autonomous parking by using the Around View Monitor (AVM) image and Light Detection and Ranging (LIDAR) sensor fusion. This method consists of removing obstacles except for the parking line, detecting the parking line, and template matching method to detect the parking space location information in the parking lot. In order to remove the obstacles, we correct and converge LIDAR information considering the distortion phenomenon in AVM image. Based on the assumption that the obstacles are removed, the line filter that reflects the thickness of the parking line and the improved radon transformation are applied to detect the parking line clearly. The parking space location information is detected by applying template matching with the modified parking space template and the detected parking lines are used to return location information of parking space. Finally, we propose a novel parking space detection system that returns relative distance and relative angle from the current vehicle to the parking space.

• 대한공간정보학회지
• /
• 제13권3호
• /
• pp.59-67
• /
• 2005

도시지역의 대부분을 차지하는 건물에 대한 3차원 공간정보는 지도제작뿐 아니라 무선 통신망 설계, 카 내비게이션, 가상도시 구축 등에 근간이 되는 주요 정보이다. 대표적인 수동센서(passive sensor)로부터 얻어진 수치항공사진은 높은 수평 위치정확도를 가지는 반면 중심투영과 폐색지역에 의한 원천적인 문제로 인하여 자동화 과정이 어렵다. 반면 능동센서인 LIDAR 시스템은 지표면에 대한 비정규 점군 형태의 3차원 정보를 빠르고 정확하게 제공한다. 하지만 데이터 취득 특성상 건물의 외곽선과 같은 정보의 획득에는 어려움이 있다. 본 연구에서는 수치항공사진과 LIDAR 데이터를 용합하여 건물의 외곽선을 자동으로 추출하는 방법을 제안하였다. 실험 결과 본 연구에서 제안한 방법은 복잡한 형태의 건물의 외곽선 추출에 우수한 결과를 보여주었으며, LIDAR 데이터와 수치항공사진을 이용해 건물을 자동으로 추출할 수 있는 가능성을 제시하였다.

• 전기전자학회논문지
• /
• 제24권1호
• /
• pp.232-237
• /
• 2020

본 논문에서는 자율주행 자동차에 물체를 인식하고 거리를 측정하는데 효율적인 센서 융합을 제안한다. 자율주행 자동차에 사용되는 대표적인 센서는 레이더, 라이다, 카메라이다. 이 중 라이다 센서는 차량 주변의 맵을 만드는 역할을 한다. 하지만 날씨 조건에 성능이 하락하고 센서의 가격이 매우 비싸다는 단점 있다. 본 논문에서는 이러한 단점을 보완하고자 비교적 저렴하고 눈, 비, 안개에 지장 없는 레이더 센서로 거리를 측정하며 차량 주변을 관찰한다. 물체 인식률이 뛰어난 카메라 센서를 융합하여 물체 인식 및 거리를 측정한다. 융합된 영상은 IP서버를 통해 실시간으로 스마트폰에 전송되어 현재 차량의 상황을 내부, 외부에서 판단하는 자율주행 보조 시스템에 사용될 수 있다.

• Korean Journal of Geomatics
• /
• 제4권2호
• /
• pp.39-45
• /
• 2004

Building reconstruction attempts to generate geometric and radiometric models of existing buildings usually from sensory data, which have been traditionally aerial or satellite images, more recently airborne LIDAR data, or the combination of these data. Extensive studies on building reconstruction from these data have developed some competitive algorithms with reasonable performance and some degree of automation. Nevertheless, the level of details and completeness of the reconstructed building models often cannot reach the high standards that is now or will be required by various applications in future. Hence, the use of terrestrial sensory data that can provide higher resolution and more complete coverage has been intensively emphasized. We developed a fusion framework for building reconstruction from terrestrial sensory data, that is, points from a laser scanner, images from digital camera, and absolute coordinates from a total station. The proposed approach was then applied to reconstructing a building model from real data sets acquired from a large complex existing building. Based on the experimental results, we assured that the proposed approach cam achieve high resolution and accuracy in building reconstruction. The proposed approach can effectively contribute in developing an operational system producing large urban models for 3D GIS with reasonable resources.

• 한국항행학회논문지
• /
• 제27권2호
• /
• pp.190-196
• /
• 2023

최근 들어, 라이다 기술의 발전에 따라 정확한 거리 측정이 가능해지면서 라이다 기반의 3차원 객체 탐지 네트워크에 대한 관심이 증가하고 있다. 기존의 네트워크는 복셀화 및 다운샘플링 과정에서 공간적인 정보 손실이 발생해 부정확한 위치 추정 결과를 발생시킨다. 본 연구에서는 고수준 특징과 높은 위치 정확도를 동시에 획득하기 위해 어텐션 기반 융합 방식과 카메라-라이다 융합 시스템을 제안한다. 먼저, 그리드 기반의 3차원 객체 탐지 네트워크인 Voxel-RCNN 구조에 어텐션 방식을 도입함으로써, 다중 스케일의 희소 3차원 합성곱 특징을 효과적으로 융합하여 3차원 객체 탐지의 성능을 높인다. 다음으로, 거짓 양성을 제거하기 위해 3차원 객체 탐지 네트워크의 탐지 결과와 이미지상의 2차원 객체 탐지 결과를 결합하는 카메라-라이다 융합 시스템을 제안한다. 제안 알고리즘의 성능평가를 위해 자율주행 분야의 KITTI 데이터 세트를 이용하여 기존 알고리즘과의 비교 실험을 수행한다. 결과적으로, 차량 클래스에 대해 BEV 상의 2차원 객체 탐지와 3차원 객체 탐지 부분에서 성능 향상을 보였으며 특히 Voxel-RCNN보다 차량 Moderate 클래스에 대하여 정확도가 약 0.47% 향상되었다.

• 자동차안전학회지
• /
• 제11권3호
• /
• pp.37-42
• /
• 2019

This paper presents an autonomous acceleration planning algorithm for pedestrian collision avoidance at urban. Various scenarios between pedestrians and a vehicle are designed to maneuver the planning algorithm. To simulate the scenarios, we analyze pedestrian's behavior and identify limitations of fusion sensors, lidar and vision camera. Acceleration is optimally determined by considering TTC (Time To Collision) and pedestrian's intention. Pedestrian's crossing intention is estimated for quick control decision to minimize full-braking situation, based on their velocity and position change. Feasibility of the proposed algorithm is verified by simulations using Carsim and Simulink, and comparisons with actual driving data.