• 제목/요약/키워드: 실시간 영상 데이터

검색결과 949건 처리시간 0.029초

신뢰전파 스테레오 기법의 고속 알고리즘 (A Fast Algorithm of the Belief Propagation Stereo Method)

  • 최영석;강현수
    • 대한전자공학회논문지SP
    • /
    • 제45권5호
    • /
    • pp.1-8
    • /
    • 2008
  • 최근 활발히 연구되고 있는 신뢰전파(Belief Propagation) 기법은 변위(disparity) 정보추출에 우수한 성능을 보인다. 신뢰전파 기법은 변위 추출에 필요한 목표함수를 Markov random field(URF)의 에너지 함수로 모델링 하는 방식으로서 에너지 함수를 최소화하는 변위 값을 찾음으로써 정합문제를 해결한다. MRF 모델은 스테레오와 영상복원과 같은 비전 문제에 강건하고 일괄된 구조를 제공한다. 그러나 MRF 모델링 기반의 신뢰전파 기법은 정확한 결과를 산출하지만 다른 스테레오 기법에 비하여 상대적으로 많은 계산 량이 요구되기 때문에 실시간 구현에 어려움이 있다. 본 논문에서는 이러한 문제를 해결하고자 신뢰전파 기법의 고속 구현 알고리즘을 제안한다. 에너지 함수는 data항과 smoothness항의 합으로 나타낸다. 데이터(data)항은 일반적으로 두 영상의 밝기 차이로 계산되고, 연속성(smoothness)항은 인접화소의 차이를 나타낸다. 연속성 정보는 메시지로부터 생성되는데, 메시지는 네 방향의 인접화소 위치에 대한 연속성과 일치성을 고려하여 계산된다. 네 방향의 메시지에 대한 처리 시간은 전체 프로그램 수행 시간의 80%이상을 차지한다. 제안된 방법에서는 네 개의 배열에서 생성되는 메시지를 하나의 배열에서 일괄적으로 생성하게 함으로써 메시지 계산에 대한 수행 시간을 단축하는 알고리즘을 제안한다. 최종 변위 추출과정에서 메시지는 통합된 하나의 배열에서만 호출되며, 이는 기존 알고리즘의 메시지 처리의 계산 량을 1/4 만큼 줄이는 효과가 있다. 기존의 신뢰전파 기법으로 생성한 깊이맵의 변위 오차율과 제안한 알고리즘으로 생성된 깊이맵의 변위 오차율을 비교함으로써 제안한 알고리즘의 변위추출의 정확도를 평가한다. 실험 결과, 변위 오차는 거의 증가하지 않는 반면, 전체 프로그램 수행 시간이 철저히 감소됨을 확인할 수 있다.

외부 환경에 강인한 딥러닝 기반 손 제스처 인식 (A Deep Learning-based Hand Gesture Recognition Robust to External Environments)

  • 오동한;이병희;김태영
    • 한국차세대컴퓨팅학회논문지
    • /
    • 제14권5호
    • /
    • pp.31-39
    • /
    • 2018
  • 최근 딥러닝을 기반으로 사용자의 손 제스처를 인식하여 가상현실 환경에서 사용자 친화적 인터페이스를 제공하기 위한 연구가 활발히 진행되고 있다. 그러나 대부분 연구들은 손 정보를 얻기 위하여 별도 센서를 사용하거나 효율적인 학습을 위하여 전처리 과정을 거친다. 또한 조명의 변화나 손 일부가 가려지는 등과 같은 외부환경의 변화를 고려하지 못하고 있다. 본 논문은 일반 웹캠에서 얻어진 RGB 영상에서 별도의 전처리 과정없이 외부 환경에 강인한 딥러닝 기반 손 제스처 인식 방법을 제안한다. 딥러닝 모델로 VGGNet과 GoogLeNet 구조를 개선하고, 각 구조의 성능을 비교한다. 조명이 어둡거나 손 일부가 가려지거나 시야에서 일부 벗어난 손 영상들이 포함된 데이터로 실험한 결과 본 연구에서 제시한 VGGNet과 GoogLeNet 구조는 각각 93.88%와 93.75%의 인식률을 보였고 메모리와 속도 측면에서 GoogLeNet이 VGGNet 보다 메모리를 약 3배 적게 사용하면서 처리속도는 10배 이상 우수함을 알 수 있었다. 본 연구의 결과는 실시간 처리가 가능하여 가상현실 환경에서 게임, 교육, 의료 등 다양한 분야에서 손 제스처 인터페이스로 활용될 수 있다.

초목을 포함한 도로 환경에서 주행 가능 영역 검출을 위한 필터링 기반 방법 및 하드웨어 구조 (Filtering-Based Method and Hardware Architecture for Drivable Area Detection in Road Environment Including Vegetation)

  • 김영현;하지석;최철호;문병인
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권1호
    • /
    • pp.51-58
    • /
    • 2022
  • 첨단 운전자 보조 시스템(advanced driver assistance system)의 주요 기능 중 하나인 주행 가능 영역 검출은 차량이 안전하게 주행할 수 있는 영역을 검출하는 것을 의미한다. 주행 가능 영역 검출은 운전자의 안전과 밀접한 연관이 있으며 실시간 동작과 높은 정확도 성능을 요구한다. 이러한 조건들을 충족하기 위해, 영상의 각 행에서 도로 시차 값을 계산하여 주행 가능 영역을 검출하는 V-시차 기반 방법이 폭넓게 사용된다. 그러나 V-시차 기반 방법은 시차 값이 정확하지 않거나 객체의 시차 값이 도로의 시차 값과 동일한 경우, 도로가 아닌 영역을 도로로 오검출할 수 있다. 또한, 고속도로 및 시골길과 같이, 초목을 포함한 도로 환경에서 초목의 시차는 도로의 시차 특성과 매우 유사하기 때문에 초목 영역이 주행 가능 영역으로 오검출될 수 있다. 이에 본 논문에서는 V-시차의 특성으로 인한 오검출 횟수를 감소시킴으로써 초목 영역을 포함한 도로 환경에서 높은 정확도를 갖는 주행 가능 영역 검출 방법 및 하드웨어 구조를 제안한다. 제안하는 방법의 성능을 평가하기 위해 KITTI road dataset의 289장 영상을 사용하였을 때, 제안하는 방법은 90.12%의 정확도와 97.96%의 재현율을 보인다. 또한, 제안하는 하드웨어 구조를 FPGA 플랫폼에 구현하였을 때, 제안하는 하드웨어 구조는 8925개의 slice registers와 7066개의 slice LUTs를 사용한다.

H.264 움직임추정에서 고속 2D PE 아키텍처의 메모리대역폭 개선을 위한 4-방향 검색윈도우 (4-way Search Window for Improving The Memory Bandwidth of High-performance 2D PE Architecture in H.264 Motion Estimation)

  • 고병수;공진홍
    • 대한전자공학회논문지SD
    • /
    • 제46권6호
    • /
    • pp.6-15
    • /
    • 2009
  • 본 논문에서는 H.264 움직임추정의 고속처리를 위하여 2D PE 아키텍처의 메모리 대역폭을 개선할 수 있는 새로운 4-방향 검색윈도우를 설계 및 구현하였다. 기존의 2D PE 아키텍처는 메모리 대역폭을 줄이기 위하여 스캔경로 내에서 인접한 검색윈도우간 중복되는 데이터를 재사용하였으나, 본 연구에서는 재사용을 증대시키기 위하여 인접한 스캔경로 간의 검색윈도우에 대해서도 재사용할 수 있는 방법을 제안한다. 이를 위해서 검색윈도우를 하나의 스캔경로 내에서 래스터 및 사행 스캐닝을 수행하는 기존 방식을 개선하여, 인접한 복수 스캔경로를 4방향(상, 하, 좌, 우)으로 스캐닝하면서 이동할 수 있는 검색윈도우를 설계하였다. 기존 검색윈도우가 제한적인 데이터 재사용으로 $7.7{\sim}11$회 정도의 중복적인 검색(redundancy access factor)을 요구하는데 비하여, 제안된 4-방향 검색윈도우는 3.1/1.4회 정도로 중복검색을 감소시킨 성능을 보인다. 이에 따라서 4-방향 검색윈도우는 기존의 1-방향 검색윈도우에 비하여 70%, 4-방향 검색윈도우에 비하여 60%/81%의 메모리 대역폭 개선 효과를 가져을 수 있게 된다. 제안된 4-방향 검색윈도우의 H.264 정수화소 움직임추정 아키텍처는 절대차분 연산을 위한 $16{\times}16$의 2D PE어레이와 인접 스캔경로 간 검색윈도우 데이터를 재사용하기 위한 $5{\times}16$의 RE어레이로 구성되어 있다. 2D PE어레이는 스캔방향에 따라 상/하 양방향으로 참조데이터를 입력받을 수 있으며, 인접한 복수 스캔경로들의 데이터 재사용을 위한 RE 어레이가 2D PE어레이와 함께 좌/우 양방향으로 로테이트가 가능하도록 구성되어 있다. 4방향 검색윈도우는 Magnachip 0.18um공정으로 구현되어 H.264 움직임추정 메모리대역폭을 개선하여 2D PE 아키텍처 사양 참조 프레임 1장, 검색영역 $48{\times}48$, 매크로 블록 $16{\times}16$의 HD영상($1280{\times}720$)을 149.25MHz에서 실시간처리하는 성능을 보였다.

편광 기반 주파수 스캐닝 간섭 시스템 및 병렬 프로그래밍 기반 측정 고속화 (A Polarization-based Frequency Scanning Interferometer and the Measurement Processing Acceleration based on Parallel Programing)

  • 이승현;김민영
    • 전자공학회논문지
    • /
    • 제50권8호
    • /
    • pp.253-263
    • /
    • 2013
  • 광학측정기법 중 주파수 스캐닝 간섭계는 기존 3차원 측정기법과 비교하여 광학 하드웨어 구조가 측정과정동안 고정되어 있어, 대물렌즈나 대상물체의 수직 스캐닝 없이 단지 광원의 주파수만 특정한 주파수 밴드내에서 스캐닝 하여 대상물체에 주사되므로, 우수한 광학 측정 성능을 보인다. 광원의 주파수를 변경하여 간섭계를 통해 간섭 영상을 획득한 후, 밝기 영상 데이터를 주파수 영역 데이터로 변환하고, 고속 푸리에 변환을 통한 주파수 분석을 이용하여 대상 물체의 높이 정보를 계측한다. 하지만, 대상물체의 광학적 특성에 기인한 광학노이즈와 주파수 스캐닝동안 획득되는 영상의 수에 따라 증가하는 영상처리시간은 여전히 주파수 스캐닝 간섭계의 문제이다. 이를 위해, 1) 편광기반 주파수 스캐닝 간섭계가 광학 노이즈에 대한 강인성을 확보하기 위해 제안되어진다. 시스템은 주파수 변조 레이저, 참조 거울 앞단의 ${\lambda}/4$ 판, 대상 물체 앞단의 ${\lambda}/4$ 판, 편광 광분배기, 이미지 센서 앞단의 편광기, 광섬유 광원 앞단의 편광기, 편광 광분배기와 광원의 편광기 사이에 위치하는 ${\lambda}/2$ 판으로 구성된다. 제안된 시스템을 이용하여, 편광을 기반으로한 간섭이미지의 대조대비를 조절할 수 있다. 2) 신호처리 고속화 방법이 간섭계 시스템을 위해 제안되며, 이는 그래픽 처리 유닛(GPU)과 같은 병렬처리 하드웨어와 계산 통합 기기 구조(CUDA)와 같은 프로그래밍 언어로 구현된다. 제안된 방법을 통해 신호처리 시간은 실시간 처리가 가능한 작업시간을 얻을 수 있었다. 최종적으로 다양한 실험을 통해 제안된 시스템을 정확도와 신호처리 시간의 관점으로 평가하였고, 실험결과를 통해 제안한 시스템이 광학측정기법의 실적용을 위해 효율적임을 보였다.

딥러닝과 Landsat 8 영상을 이용한 캘리포니아 산불 피해지 탐지 (Detection of Wildfire Burned Areas in California Using Deep Learning and Landsat 8 Images)

  • 서영민;윤유정;김서연;강종구;정예민;최소연;임윤교;이양원
    • 대한원격탐사학회지
    • /
    • 제39권6_1호
    • /
    • pp.1413-1425
    • /
    • 2023
  • 기후변화로 인한 대형 산불의 빈도가 증가함에 따라 극심한 인명 및 재산상의 피해를 초래하고 있다. 이로 인해 많은 식생이 소실되며, 그 강도와 발생 형태에 따라 생태계 변화에 영향을 끼친다. 생태계 변화는 다시 산불 발생을 유발하여 2차 피해를 야기한다. 따라서 산불 피해지에 대한 정확한 탐지 및 면적 산정의 중요성이 지속적으로 제기되고 있다. 효율적인 산불 피해지 모니터링을 위해 산불 발생 후 실시간 지형 및 기상정보는 물론 피해지역의 영상을 대규모로 취득할 수 있는 위성영상이 주로 활용되고 있다. 최근, 합성곱 신경망(convolution neural network, CNN) 기반 모델부터 고성능 트랜스포머(Transformer) 기반 모델에 이르기까지 딥러닝 알고리즘이 빠르게 발전하면서 산림원격탐사에서 이를 적용한 연구가 활발히 이루어지고 있다. 하지만 현재까지 적용된 딥러닝 모델은 제한적이며 현업에서의 합리적인 활용을 위한 정량적 성능평가에 대한 보고가 부족한 상황이다. 따라서 본 연구에서는 모델에 따른 성능향상과 데이터 설계에 따른 성능향상을 중점적으로 비교 분석하였다. 미국 캘리포니아 지역을 대상으로 CNN 기반 모델의 U-Net, High Resolution Network-Object Contextual Representation (HRNet-OCR)을 활용하여 산불 피해지 모델을 구축하였다. 또한, 기본 파장대역과 함께 식생활력도 및 지표의 수분함량 정도를 고려하고자 normalized difference vegetation index (NDVI), normalized burn ratio (NBR)와 같은 산불 관련 분광지수를 산출하여 입력 이미지로 사용하였다. U-Net의 mean intersection over union (mIoU)이 0.831, HRNet-OCR이 0.848을 기록하여 두 모델 모두 우수한 영상분할 성능을 보였다. 또한, 밴드 반사도뿐 아니라 분광지수를 추가한 결과 모든 조합에서 평가지표 값이 상승하여 분광지수를 활용한 입력 데이터 확장이 픽셀 세분화에 기여함을 확인하였다. 이와 같은 딥러닝 방법론을 발전시킨다면 우리나라의 산불 피해지에 대한 신속한 파악 및 복구 계획 수립의 기초자료로 활용될 수 있을 것으로 기대된다.

철도노선관리에서의 LIDAR 데이터 기반의 3차원 궤적 모델 생성 및 적용 (3D Track Models Generation and Applications Based on LiDAR Data for Railway Route Management)

  • 연상호;이영대
    • 한국철도학회:학술대회논문집
    • /
    • 한국철도학회 2007년도 추계학술대회 논문집
    • /
    • pp.1099-1104
    • /
    • 2007
  • 3차원 국토환경의 디지털기반의 가시화는 국토계획 및 통신설비계획, 철도건설, 건축, 입체적인 도시공간정보시스템 구현, 안전 및 방재 등에서 많은 필요와 그 중요성이 크게 부각되고 있다. 현재 국가지리정보 사업으로 완성된 2차원적인 지도정보와 시설정보를 3차원의 도시공간으로 재현하기 위하여 기존의 등고선을 이용한 DEM 방식은 많은 한계를 가지고 있으며, 특히, 철도와 같은 노선 폭이 좁고 길이가 길어서 궤적 관리가 어려운 작은 구조물의 경우에는 그 고도모델이 무시되기 쉬우므로, 레이져 측량기술을 이용한 공간대상물에 대한 높은 정확도 취득이 크게 필요한 실정이다. 최근에는 레이져 측량기술과 GPS를 결합한 고밀도 고정도의 높이 값을 얻을 수 있는 LiDAR Data의 획득으로 그러한 한계를 극복하고 있는 추세이다. 비교적 LiDAR 관련 연구가 활발한 해외 선진기술을 연구하고 우리 실정에 적합한 3차원 지형 및 철도시설의 분석이 가능하도록 데이터의 생성기법 및 알고리즘을 개발하여 3차원 공간에서의 최적의 노선관리가 가능하도록 하였다. 이를 위하여 LiDAR Data를 중심으로 하는 높이 값을 DEM으로 변환하고, 디지털 영상의 매칭 및 정확도 평가 등을 통한 벡터와 래스터의 실시간 통합 및 전환으로 장거리 노선에서의 3차원 철도 모델의 생성을 통한 추적관리가 가능하도록 하였다.

  • PDF

AI Fire Detection & Notification System

  • Na, You-min;Hyun, Dong-hwan;Park, Do-hyun;Hwang, Se-hyun;Lee, Soo-hong
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권12호
    • /
    • pp.63-71
    • /
    • 2020
  • 본 논문에서는 최근 가장 신뢰도 높은 인공지능 탐지 알고리즘인 YOLOv3와 EfficientDet을 이용한 화재 탐지 기술과 문자, 웹, 앱, 이메일 등 4종류의 알림을 동시에 전송하는 알림서비스 그리고 화재 탐지와 알림서비스를 연동하는 AWS 시스템을 제안한다. 우리의 정확도 높은 화재 탐지 알고리즘은 두 종류인데, 로컬에서 작동하는 YOLOv3 기반의 화재탐지 모델은 2000개 이상의 화재 데이터를 이용해 데이터 증강을 통해 학습하였고, 클라우드에서 작동하는 EfficientDet은 사전학습모델(Pretrained Model)에서 추가로 학습(Transfer Learning)을 진행하였다. 4종류의 알림서비스는 AWS 서비스와 FCM 서비스를 이용해 구축하였는데, 웹, 앱, 메일의 경우 알림 전송 직후 알림이 수신되며, 기지국을 거치는 문자시스템의 경우 지연시간이 1초 이내로 충분히 빨랐다. 화재 영상의 화재 탐지 실험을 통해 우리의 화재 탐지 기술의 정확성을 입증하였으며, 화재 탐지 시간과 알림서비스 시간을 측정해 화재 발생 후 알림 전송까지의 시간도 확인해보았다. 본 논문의 AI 화재 탐지 및 알림서비스 시스템은 과거의 화재탐지 시스템들보다 더 정확하고 빨라서 화재사고 시 골든타임 확보에 큰 도움을 줄 것이라고 기대된다.

무인카메라 기반 산악지역 식물계절 및 적설 탐지 기술 개발 (Development of Plant Phenology and Snow Cover Detection Technique in Mountains using Internet Protocol Camera System)

  • 장근창;김재철;천정화;장석일;안치현;김봉철
    • 한국농림기상학회지
    • /
    • 제24권4호
    • /
    • pp.318-329
    • /
    • 2022
  • 본 연구를 통해 설계된 테스트베드 지역의 식물계절 관측과 적설 탐지는 반복 이미지 학습 및 정량적 RGB 분석을 통해 정확도 높은 산림 식물계절 및 적설 관측 기반을 마련하였다. 무인카메라 기반 식물계절 및 적설 탐지 기술 개발은 복잡한 산악지형이라는 특수한 환경에서 다양한 고도의 환경 데이터를 실시간 수집하는 체계를 구축함으로써 산림환경 연구를 위한 기초 데이터를 수집하는 계기가 되었다. 첨단기술을 활용한 주요 산악지역의 식물계절 변화 탐지 연구는 산림청에서 제공하는 개화 및 개엽 예측 정보의 검증과 산림휴양쾌적지수 고도화 등에 활용 가능하며, 향후 농림위성의 NDVI 등 영상 이미지의 검⋅보정용 자료로써 활용 가치가 매우 높다. 무인카메라 활용 기술은 산림 식물계절 및 적설 탐지뿐만 아니라 산림재해 감시 및 산림관리 등 다양한 산림분야에서도 활용될 수 있을 것으로 기대된다.

깊이 이미지를 이용한 타이어 표면 결함 검출 방법에 관한 연구 (A Study on Tire Surface Defect Detection Method Using Depth Image)

  • 김현석;고동범;이원곡;배유석
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권5호
    • /
    • pp.211-220
    • /
    • 2022
  • 최근 4차 산업혁명으로 촉발된 스마트공장에 관한 연구가 활발히 진행되고 있다. 이에 따라 제조업에서는 강건한 성능의 딥러닝 기술을 바탕으로 생산성 향상과 품질 향상을 위해 다양한 연구를 진행 중이다. 본 논문은 타이어 제조공정의 육안검사 단계에서 타이어 표면 결함을 검출하는 방법에 관한 연구로서 3D 카메라를 통해 취득한 깊이 이미지를 이용한 타이어 표면 결함 검출 방법을 소개한다. 본 연구에서 다루는 타이어 표면 깊이 이미지는 타이어 표면의 얕은 깊이로 인해 발생되는 낮은 깊이 대비와 데이터 취득 환경으로 인해 기준 깊이 값의 차이가 발생하는 문제가 있다. 그리고 제조업의 특성상 검출 성능과 함께 실시간으로 처리될 수 있는 성능을 지닌 알고리즘이 요구된다. 따라서, 본 논문에서는 타이어 표면 결함 검출 알고리즘이 복잡한 알고리즘 파이프라인으로 구성되지 않도록 상대적으로 단순한 방법들을 통해 깊이 이미지를 정규화하는 방법을 연구하였으며 검출 성능과 속도를 모두 만족할 수 있는 딥러닝 방법인 YOLO V3를 이용하여 일반적인 정규화 방법과 본 논문에서 제안하는 정규화 방법의 비교 실험을 진행하였다. 실험의 결과로 본 논문에서 제안한 정규화 방법으로 mAP 0.5 기준 약 7% 성능이 향상된 것을 확인하였으며 본 논문에서 제시한 방법이 효과적임을 보였다.