• 제목/요약/키워드: multi-cameras

검색결과 255건 처리시간 0.029초

A CPU-GPU Hybrid System of Environment Perception and 3D Terrain Reconstruction for Unmanned Ground Vehicle

  • Song, Wei;Zou, Shuanghui;Tian, Yifei;Sun, Su;Fong, Simon;Cho, Kyungeun;Qiu, Lvyang
    • Journal of Information Processing Systems
    • /
    • 제14권6호
    • /
    • pp.1445-1456
    • /
    • 2018
  • Environment perception and three-dimensional (3D) reconstruction tasks are used to provide unmanned ground vehicle (UGV) with driving awareness interfaces. The speed of obstacle segmentation and surrounding terrain reconstruction crucially influences decision making in UGVs. To increase the processing speed of environment information analysis, we develop a CPU-GPU hybrid system of automatic environment perception and 3D terrain reconstruction based on the integration of multiple sensors. The system consists of three functional modules, namely, multi-sensor data collection and pre-processing, environment perception, and 3D reconstruction. To integrate individual datasets collected from different sensors, the pre-processing function registers the sensed LiDAR (light detection and ranging) point clouds, video sequences, and motion information into a global terrain model after filtering redundant and noise data according to the redundancy removal principle. In the environment perception module, the registered discrete points are clustered into ground surface and individual objects by using a ground segmentation method and a connected component labeling algorithm. The estimated ground surface and non-ground objects indicate the terrain to be traversed and obstacles in the environment, thus creating driving awareness. The 3D reconstruction module calibrates the projection matrix between the mounted LiDAR and cameras to map the local point clouds onto the captured video images. Texture meshes and color particle models are used to reconstruct the ground surface and objects of the 3D terrain model, respectively. To accelerate the proposed system, we apply the GPU parallel computation method to implement the applied computer graphics and image processing algorithms in parallel.

위상 보정을 통한 Fringe Pattern Profilometry 3D 측정의 정확성 개선 (Improvement of the Accuracy of Fringe Pattern Profilometry 3D Measurements through Phase Correction)

  • 김호중;조태훈
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 추계학술대회
    • /
    • pp.389-392
    • /
    • 2016
  • 기술이 발전하면서 카메라를 통해 3D 측정을 하는 방법은 계속 발전되어 왔다. 3D 측정을 하는데 있어서 신경 써야 할 요소로는 속도, 정확성, 쉬운 구현 등이 있다. 최근 들어서는 여러 주기의 Fringe pattern을 이용한 측정 방법이 나왔고 많이 쓰이고 있는 추세이다. 이 방법은 일반적으로 프로젝터를 통해 사인파를 뿌려서 얻은 영상으로 높이를 측정하는 방법이다. 이때 사인파를 소프트웨어적으로 생성하여 뿌리는데, 생성된 패턴은 완벽한 사인파일지라도 프로젝터로 뿌릴 때는 감마에 의해서 완벽한 사인파가 될 수가 없다. 이것은 높이 측정에 악영향을 주어, 보다 정확한 높이를 측정할 수 없게 한다. 따라서 본 논문에서는 감마 영향을 받지 않기 위해 사인파의 위상에 대한 보정 방법을 제안한다. 이 방법을 통하여 보다 정확한 높이 측정을 할 수 있을 것이다.

  • PDF

소형 ROV를 이용한 IDEF0 기반의 수중 미확인 물체 식별절차에 관한 연구 (Study on Identification Procedure for Unidentified Underwater Targets Using Small ROV Based on IDEF Method)

  • 백혁;전봉환;윤석민;노명규
    • 한국해양공학회지
    • /
    • 제33권3호
    • /
    • pp.289-299
    • /
    • 2019
  • Various sizes of ROVs are being utilized in offshore industrial, scientific, and military applications all around the world. Because of innovative developments in science and technology, image acquisition devices such as sonar devices and cameras have been reduced in size and their performance has been improved. Thus, we can expect better accuracy and higher resolution even in the case of exploration using a small ROV. The purpose of this paper is to prepare a standard procedure for the identification of unidentified hazardous materials found during the National Oceanographic Survey. In this paper, we propose an IDEF (Integrated DEFinition) method modeling technique to identify unidentified targets using a small ROV. In accordance with the proposed procedure, an ROV survey was carried out on target No.16 with a four-ton-class fishing boat as a support vessel on September 18th of 2018 in the sea near Daebu Island. Unidentified targets, which were not known by the multi-beam data obtained from the ship, could be identified as concrete pipes by analyzing the HD camera and high-resolution sonar images acquired by the ROV. The whole proposed procedure could be verified, and the survey with the small ROV required about 10 days to identify the target in one place.

EPAR V2.0: AUTOMATED MONITORING AND VISUALIZATION OF POTENTIAL AREAS FOR BUILDING RETROFIT USING THERMAL CAMERAS AND COMPUTATIONAL FLUID DYNAMICS (CFD) MODELS

  • Youngjib Ham;Mani Golparvar-Fard
    • 국제학술발표논문집
    • /
    • The 5th International Conference on Construction Engineering and Project Management
    • /
    • pp.279-286
    • /
    • 2013
  • This paper introduces a new method for identification of building energy performance problems. The presented method is based on automated analysis and visualization of deviations between actual and expected energy performance of the building using EPAR (Energy Performance Augmented Reality) models. For generating EPAR models, during building inspections, energy auditors collect a large number of digital and thermal imagery using a consumer-level single thermal camera that has a built-in digital lens. Based on a pipeline of image-based 3D reconstruction algorithms built on GPU and multi-core CPU architecture, 3D geometrical and thermal point cloud models of the building under inspection are automatically generated and integrated. Then, the resulting actual 3D spatio-thermal model and the expected energy performance model simulated using computational fluid dynamics (CFD) analysis are superimposed within an augmented reality environment. Based on the resulting EPAR models which jointly visualize the actual and expected energy performance of the building under inspection, two new algorithms are introduced for quick and reliable identification of potential performance problems: 1) 3D thermal mesh modeling using k-d trees and nearest neighbor searching to automate calculation of temperature deviations; and 2) automated visualization of performance deviations using a metaphor based on traffic light colors. The proposed EPAR v2.0 modeling method is validated on several interior locations of a residential building and an instructional facility. Our empirical observations show that the automated energy performance analysis using EPAR models enables performance deviations to be rapidly and accurately identified. The visualization of performance deviations in 3D enables auditors to easily identify potential building performance problems. Rather than manually analyzing thermal imagery, auditors can focus on other important tasks such as evaluating possible remedial alternatives.

  • PDF

LH-FAS v2: 머리 자세 추정 기반 경량 얼굴 위조 방지 기술 (LH-FAS v2: Head Pose Estimation-Based Lightweight Face Anti-Spoofing)

  • 허현범;양혜리;정성욱;이경재
    • 한국전자통신학회논문지
    • /
    • 제19권1호
    • /
    • pp.309-316
    • /
    • 2024
  • 얼굴 인식 기술은 다양한 분야에서 활용되고 있지만, 이는 사진 스푸핑과 같은 위조 공격에 취약하다는 문제를 가지고 있다. 이를 극복하기 위한 여러 연구가 진행되고 있지만, 대부분은 멀티모달 카메라와 같은 특별한 장비를 장착하거나 고성능 환경에서 동작하는 것을 전제로 하고 있다. 본 연구는 얼굴 인식 위조 공격 문제를 해결하기 위해, 특별한 장비 없이 일반적인 웹캠에서 동작할 수 있는 LH-FAS v2를 제안한다. 제안된 방법에서는, 머리 자세 추정에는 FSA-Net을, 얼굴 식별에는 ArcFace를 활용하여 사진 스푸핑 여부를 판별한다. 실험을 위해, 사진 스푸핑 공격 비디오로 구성된 VD4PS 데이터셋을 제시하였으며, 이를 통해 LH-FAS v2의 균형 잡힌 정확도와 속도를 확인하였다. 본 방법은 향후 사진 스푸핑 방어에 효과적일 것으로 기대한다.

3D 데이터 기반 영역의 stream data간 공간 mapping 기능 활용 객체 검출 라이브러리에 대한 연구 (Research on Object Detection Library Utilizing Spatial Mapping Function Between Stream Data In 3D Data-Based Area)

  • 석경휴;이소행
    • 한국전자통신학회논문지
    • /
    • 제19권3호
    • /
    • pp.551-562
    • /
    • 2024
  • 본 연구는 이동 객체 추출 및 추적 방법 및 장치에 관한 것으로, 특히 인접 영상 간의 차영상을 이용하여 객체를 추출하고, 추출된 객체의 위치정보를 지속적으로 전달함으로써 적어도 하나의 이동 객체의 정확한 위치정보를 토대로 이동 객체를 추적하는 이동 객체 추출 및 추적 방법 및 장치에 관한 것이다. 사람과 컴퓨터의 상호작용의 표현에서 시작된 사람추적은 로봇학습, 객체의 카운팅, 감시 시스템 등의 많은 응용분야에서 사용되고 있으며, 특히 보안 시스템분야에서 카메라를 이용하여 사람을 인식하고 추적하여 위법행위를 자동적으로 찾아낼 수 있는 감시 시스템 개발의 중요성이 나날이 커져 가고 있다.

차량용 LiDAR 센서 물리적 신호교란 공격 중심의 실험적 분석과 대응방안 제안 (Experimental Analysis of Physical Signal Jamming Attacks on Automotive LiDAR Sensors and Proposal of Countermeasures)

  • 황지웅;윤요섭;오인수;임강빈
    • 정보보호학회논문지
    • /
    • 제34권2호
    • /
    • pp.217-228
    • /
    • 2024
  • 자율주행 자동차의 안전한 운행을 위해 카메라, RADAR(RAdio Detection And Ranging), 초음파 센서 중 중추적인 역할을 하는 LiDAR(Light Detection And Ranging) 센서는 360도에서 사물을 인식하고 탐지할 수 있다. 하지만 이러한 LiDAR 센서는 레이저를 통해서 거리를 측정하기 때문에 공격자에 노출되기 쉬우며 다양한 보안위협에 직면해있다. 따라서 본 논문에서는 LiDAR 센서를 대상으로 한 여러 가지 보안 위협인 Relay, Spoofing, Replay 공격을 살펴보고 물리적 신호교란(Jamming) 공격의 가능성과 그 영향을 분석하며, 이러한 공격이 자율주행 시스템의 안정성에 미치는 위험을 분석한다. 실험을 통해, 물리적 신호교란 공격이 LiDAR 센서의 거리 측정 능력에 오류를 유발할 수 있음을 보여준다. 개발이 진행 중인 차량 간 통신(Vehicle-to-Vehicle, V2V), 다중 센서 융합과 LiDAR 비정상 데이터 탐지를 통해 이러한 위협에 대한 대응방안과 자율주행 차량의 보안 강화를 위한 기초적인 방향을 제시하고 향후 연구에서 제안된 대응방안의 실제 적용 가능성과 효과를 검증하는 것을 목표로 한다.

저고도 무인 항공기 기반의 근접 실시간 공중 모니터링 시스템 구축 (Development of a Close-range Real-time Aerial Monitoring System based on a Low Altitude Unmanned Air Vehicle)

  • 최경아;이지훈;이임평
    • Spatial Information Research
    • /
    • 제19권4호
    • /
    • pp.21-31
    • /
    • 2011
  • 최근 대규모 재난 재해의 발생빈도가 증가하고 있으며 이로 인한 인명 재산 피해를 최소화하고 신속한 복구를 위하여 긴급 상황에 빠르게 대처해야 한다. 긴급 상황에 보다 효율적으로 대처하기 위하여 발생 지역의 공간정보를 신속 정확하게 취득하는 것이 중요하다. 따라서 본 연구에서 신속하게 대상지역의 고해상도 공간정보를 취득할 수 있는 저고도 무인 항공기 기반의 근접 실시간 공중 모니터링 시스템을 개발하고 있다. 근접 실시간 공중 모니터링 시스템은 항공 플랫폼과 디지털카메라, 레이저스캐너, GPS/IMU와 같은 멀티센서, 센서의 지원모듈로 구성되는 항공부문과 지상 차량, 항공부분으로부터 실시간 센서 데이터를 수신하는 수신부와 고속으로 공간 정보를 생성하는 처리부로 구성되는 지상부문으로 이루어진다. 항공부문은 저고도 무인항공기를 플랫폼으로 하며 저가 경량의 센서들과 자체 개발된 지원시스템으로 이루어지는 구성의 독창성을 가지며 지상부문은 센서데이터를 실시간으로 수신 및 처리하여 대상지의 공간정보를 고속으로 제공한다는 차별성을 가진다. 현재 시스템의 하드웨어는 개발 완료된 상태이며 개별 소프트웨어 통합 및 시스템 검증을 수행하고 있다. 본 논문에서 개발 중의 시스템을 소개하고 현재까지의 연구 성과, 향후 기대되는 최종 성과를 제시하고자 한다.

S-FDS : 퍼지로직과 딥러닝 통합 기반의 스마트 화재감지 시스템 (S-FDS : a Smart Fire Detection System based on the Integration of Fuzzy Logic and Deep Learning)

  • 장준영;이강운;김영진;김원태
    • 전자공학회논문지
    • /
    • 제54권4호
    • /
    • pp.50-58
    • /
    • 2017
  • 최근 들어, 효과적인 화재감지를 위해 이종 화재센서 데이터들을 융합하는 방안들이 제안되었으나, 룰 기반의 방법의 경우 적응성과 정밀도가 낮고, 퍼지추론의 경우 영상에 대한 고려 미흡으로 검출 속도와 정밀도가 떨어지는 등의 문제점들이 있다. 더불어 영상기반 딥러닝 기술들도 제안되었으나, 실제 상황에서 카메라가 없거나 카메라 영역 밖의 화재 발생에 대한 신속한 탐지가 어렵다. 이에 본 논문에서는 CNN 기반의 딥러닝 알고리즘과 온도 습도 가스 연기를 포함하는 이종 화재센서 데이터기반의 퍼지추론엔진을 결합시킨 새로운 방식의 화재 감지 시스템을 제안한다. 이로써 영상 데이터를 활용한 신속한 화재 감지와 이종 센서 데이터들을 이용한 신뢰성 있는 화재 감지가 가능해짐을 보인다. 또한, 대규모 시스템에서 컴퓨팅 파워의 지나친 서버 집중을 방지하기 위해 화재 인식 알고리즘에 분산 컴퓨팅 구조를 채택하여 확장성을 높인다. 마지막으로, NIST 화재 동역학 시뮬레이터를 이용한 화재 시뮬레이션 데이터와 화재영상을 활용하여 화재가 점진적으로 번지는 환경과 급작스럽게 폭발이 발생하는 환경에서 실험을 수행함으로써 시스템의 성능을 검증한다.

MIRIS EOC 주경의 광기계 해석 (Opto-mechanical Analysis for Primary Mirror of Earth Observation Camera of the MIRIS)

  • 박귀종;문봉곤;박성준;박영식;이대희;이창희;나자경;정웅섭;표정현;이덕행;남욱원;이승우;양순철;한원용
    • 한국광학회지
    • /
    • 제22권6호
    • /
    • pp.262-268
    • /
    • 2011
  • 한국천문연구원이 개발한 다목적적외선영상시스템(Multi-purpose IR Imaging System, MIRIS)은 과학기술위성 3호(STSAT-3)의 주탑재체이다. 지구관측카메라(Earth Observation Camera, EOC)는 MIRIS를 구성하는 두 개의 적외선 카메라 중에 하나로, 지구의 $3{\sim}5{\mu}m$ 파장대의 적외선을 관측하기 위한 카메라이다. EOC의 광학계는 카세그레인 방식으로써 구경이 100 mm이고, 주경과 부경은 모두 비구면 반사경이다. EOC 주경의 플렉서는 링 타입으로써 발사환경에서 주경이 겪을 수 있는 충격과 진동을 견디도록 예압을 가하며 주경을 지지한다. 이는 마치 리테이너로 렌즈를 지지하는 것과 같은 메커니즘으로 주경을 지지하기 위한 시도이다. 광기계 해석을 통해 EOC 주경이 효과적으로 지지되고 있음을 확인했다.