• 제목/요약/키워드: 신경망 경량화

검색결과 39건 처리시간 0.024초

딥 러닝 기반의 이기종 무선 신호 구분을 위한 데이터 수집 효율화 기법 (An Efficient Data Collection Method for Deep Learning-based Wireless Signal Identification in Unlicensed Spectrum)

  • 최재혁
    • 전기전자학회논문지
    • /
    • 제26권1호
    • /
    • pp.62-66
    • /
    • 2022
  • 최근 데이터 기반의 딥러닝 기술을 적용하여 비면허 대역의 다양한 통신 신호를 분류하는 연구가 활발히 수행되고 있다. 하지만, 복잡한 신경망 모델 사용을 기반으로 이뤄진 이러한 접근법은 높은 연산 능력을 필요로 하게 되어, 자원 제약적인 무선 인터페이스 및 사물인터넷(Internet of Things) 장비에서는 사용이 제약된다. 본 연구에서는 비면허 대역의 무선 이기종 기술을 인지하기 위한 데이터 기반의 접근 방법을 살펴보고, 신호의 특징 추출 및 데이터화의 효율화 문제를 다룬다. 구체적으로, 비면허 대역의 다른 종류의 무선 통신 기술을 구분하기 위해 수신 신호 강도 측정을 기반으로 한 시계열 데이터를 이용해 합성곱 신경망(Convolutional Neural Network, CNN) 모델을 학습시켜 신호를 분류하는 방법을 살펴본다. 이 과정에서 동일한 구조의 신경망 모델의 경량화를 위한 효율적 신호의 시계열 데이터 정보 수집시 주파수 대역의 특징을 함께 특징화하는 방법을 제안하고, 그 효과를 평가한다. Bluetooth 호환의 Ubertooth 장비를 이용한 실측 기반의 실험 결과는 제안된 샘플링 기법이 동일한 신경망에 대해서 10% 수준의 샘플링 데이터 이용만으로도 동일한 정확도를 유지함을 보여준다.

도로 노면 파손 영상의 다중 분류 심층 신경망 평가를 통한 Backbone Network 선정 기법 (A Selection Method of Backbone Network through Multi-Classification Deep Neural Network Evaluation of Road Surface Damage Images)

  • 심승보;송영은
    • 한국ITS학회 논문지
    • /
    • 제18권3호
    • /
    • pp.106-118
    • /
    • 2019
  • 최근 들어 인공 지능을 이용한 영상 객체 인식에 대한 연구 및 개발이 활발하게 진행되고 있다. 그 연장선상에서 도로 유지 및 관리 분야에도 관련 연구의 활용도가 크게 향상될 것으로 기대된다. 그 중에서도 특히 도로 노면 파손 객체 인식 (Object Detection) 을 위한 인공 지능모델이 지속적으로 개발되고 있다. 이러한 객체 인식 알고리즘을 개발하려면 우선적으로 특징지도를 생성하는 Backbone Network가 반드시 필요한데, 본 논문에서는 이를 선정하는 방법을 제안하고자 한다. 이를 위해 6,000여 장의 도로 노면 파손 영상 데이터를 확보하고, 근래에 많이 사용되는 4종류의 심층 신경망을 활용하여 성능을 비교한다. 3가지의 성능 평가 방법을 적용하여 심층 신경망의 특징을 분석하고 최적의 심층 신경망을 결정한다. 또한 하이퍼 파라미터의 최적 조율을 통해 성능을 향상시키고, 최종적으로 도로 노면 파손 영상 분류를 위하여 85.9%의 정확도로 수행이 가능한 경량화된 Backbone Network용 심층 신경망을 제안한다.

레이어 프루닝을 이용한 생성적 적대 신경망 모델 경량화 및 성능 분석 연구 (Optimization And Performance Analysis Via GAN Model Layer Pruning)

  • 김동휘;박상효;배병준;조숙희
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2021년도 추계학술대회
    • /
    • pp.80-81
    • /
    • 2021
  • 딥 러닝 모델 사용에 있어서, 일반적인 사용자가 이용할 수 있는 하드웨어 리소스는 제한적이기 때문에 기존 모델을 경량화 할 수 있는 프루닝 방법을 통해 제한적인 리소스를 효과적으로 활용할 수 있도록 한다. 그 방법으로, 여러 딥 러닝 모델들 중 비교적 파라미터 수가 많은 것으로 알려진 GAN 아키텍처에 네트워크 프루닝을 적용함으로써 비교적 무거운 모델을 적은 파라미터를 통해 학습할 수 있는 방법을 제시한다. 또한, 본 논문을 통해 기존의 SRGAN 논문에서 가장 효과적인 결과로 제시했던 16 개의 residual block 의 개수를 실제로 줄여 봄으로써 기존 논문에서 제시했던 결과와의 차이에 대해 서술한다.

  • PDF

관성 측정 센서를 활용한 이진 신경망 기반 걸음걸이 패턴 분석 시스템 설계 및 구현 (Design and Implementation of BNN-based Gait Pattern Analysis System Using IMU Sensor)

  • 나진호;지기산;정윤호
    • 한국항행학회논문지
    • /
    • 제26권5호
    • /
    • pp.365-372
    • /
    • 2022
  • 관성 측정 센서는 사람 행동 인식 시스템에 주로 사용되는 센서들에 비해 크기가 작고 가벼우며 낮은 비용으로 시스템의 경량화를 달성할 수 있다. 따라서, 본 논문에서는 관성 측정 센서를 이용한 이진 신경망 기반 걸음걸이 패턴 분석 시스템을 제안하고, 연산 가속을 위한 FPGA 기반 가속기 설계 및 구현 결과를 제시한다. 관성 측정 센서를 통해 걸음걸이에 대한 6가지 신호를 측정하고, 단시간 푸리에 변환을 이용하여 스펙트로그램을 추출한다. 높은 정확도를 가지는 경량화 시스템을 갖추기 위해 걸음걸이 패턴 분류에 BNN (binarized neural network) 기반 구조를 사용하였고, 검증 결과 97.5%의 높은 정확도와 메모리 사용량이 합성곱 신경망에 비해 96.7% 감소한 것을 확인하였다. 이진 신경망의 연산 가속을 위해 FPGA를 이용한 하드웨어 가속기 구조로 설계하였다. 제안된 걸음걸이 패턴 분석 시스템은 24,158개의 logic, 14,669개의 register, 13.687 KB의 block memory를 사용하여 구현되어 62.35 MHz의 최대 동작 주파수에서 1.5ms 내에 연산이 완료되어 실시간 동작이 가능함을 확인하였다.

위성 영상을 위한 경량화된 CNN 기반의 보간 기술 연구 (A Study on Lightweight CNN-based Interpolation Method for Satellite Images)

  • 김현호;서두천;정재헌;김용우
    • 대한원격탐사학회지
    • /
    • 제38권2호
    • /
    • pp.167-177
    • /
    • 2022
  • 위성 영상 촬영 후 지상국에 전송된 영상을 이용하여 최종 위성 영상을 획득하기 위해 많은 영상 전/후 처리 과정이 수반된다. 전/후처리 과정 중 레벨 1R 영상에서 레벨 1G 영상으로 변환 시 기하 보정은 필수적으로 요구된다. 기하 보정 알고리즘에서는 보간 기법을 필연적으로 사용하게 되며, 보간 기법의 정확도에 따라서 레벨 1G 영상의 품질이 결정된다. 또한, 레벨 프로세서에서 수행되는 보간 알고리즘의 고속화 역시 매우 중요하다. 본 논문에서는 레벨 1R에서 레벨 1G로 변환 시 기하 보정에 필요한 경량화된 심층 컨볼루션 신경망 기반 보간 기법에 대해 제안하였다. 제안한 기법은 위성 영상의 해상도를 2배 향상하며, 빠른 처리 속도를 위해 경량화된 심층 컨볼루션 신경망으로 딥러닝 네트워크를 구성하였다. 또한, panchromatic (PAN) 밴드 정보를 활용하여 multispectral (MS) 밴드의 영상 품질 개선이 가능한 피처 맵 융합 방법을 제안하였다. 제안된 보간 기술을 통해 획득한 영상은 기존의 딥러닝 기반 보간 기법에 비해 정량적인 peak signal-to-noise ratio (PSNR) 지표에서 PAN 영상은 약 0.4 dB, MS 영상은 약 4.9 dB 개선된 결과를 보여주었으며, PAN 영상 크기 기준 36,500×36,500 입력 영상의 해상도를 2배 향상된 영상 획득 시 기존 딥러닝 기반 보간 기법 대비 처리 속도가 약 1.6배 향상됨을 확인하였다.

심층신경망의 더블 프루닝 기법의 적용 및 성능 분석에 관한 연구 (Application and Performance Analysis of Double Pruning Method for Deep Neural Networks)

  • 이선우;양호준;오승연;이문형;권장우
    • 융합정보논문지
    • /
    • 제10권8호
    • /
    • pp.23-34
    • /
    • 2020
  • 최근 인공지능 딥러닝 분야는 컴퓨팅 자원의 높은 연산량과 가격문제로 인해 상용화에 어려움이 존재했다. 본 논문은 더블 프루닝 기법을 적용하여 심층신경망 모델들과 다수의 데이터셋에서의 성능을 평가하고자 한다. 더블 프루닝은 기본의 네트워크 간소화(Network-Slimming)과 파라미터 프루닝(Parameter-Pruning)을 결합한다. 이는 기존의 학습에 중요하지 않는 매개변수를 절감하여 학습 정확도를 저해하지 않고 속도를 향상시킬 수 있다는 장점이 있다. 다양한 데이터셋 학습 이후에 프루닝 비율을 증가시켜, 모델의 사이즈를 감소시켰다. NetScore 성능 분석 결과 MobileNet-V3가 가장 성능이 높게 나타났다. 프루닝 이후의 성능은 Cifar 10 데이터셋에서 깊이 우선 합성곱 신경망으로 구성된 MobileNet-V3이 가장 성능이 높았고, 전통적인 합성곱 신경망으로 이루어진 VGGNet, ResNet또한 높은 폭으로 성능이 증가함을 확인하였다.

고속 VVC 부호화를 위한 신경망 기반 움직임 벡터 해상도 결정 알고리즘 (Motion Vector Resolution Decision Algorithm based on Neural Network for Fast VVC Encoding)

  • 백한결;박상효
    • 방송공학회논문지
    • /
    • 제26권5호
    • /
    • pp.652-655
    • /
    • 2021
  • Versatile Video Coding(VVC)의 압축 효율을 끌어올리기 위하여 다양한 화면 간 예측(inter prediction)기법 중 적응적 움직임 벡터 해상도(Adaptive motion vector resolution, 이하 AMVR)기술이 채택되어 왔다. 다만, AMVR을 적용하여 최적의 해상도를 결정하기 위해서는 매 부호화 유닛마다 다양한 테스트를 진행해야 하며, 이는 율-왜곡 비용의 계산 복잡도 증가를 야기한다. 따라서 VVC의 부호화 복잡도의 감소를 위해 효과적으로 최적의 AMVR 모드를 찾아야 한다. 본 논문에서는 보다 다양한 데이터셋 기반 하에 경량화된 신경망 기반의 AMVR 결정 알고리즘을 제안한다.

주의 모듈 기반 Mask R-CNN 경량화 모델을 이용한 도로 환경 내 객체 검출 방법 (Object Detection on the Road Environment Using Attention Module-based Lightweight Mask R-CNN)

  • 송민수;김원준;장래영;이용;박민우;이상환;최명석
    • 방송공학회논문지
    • /
    • 제25권6호
    • /
    • pp.944-953
    • /
    • 2020
  • 객체 검출 알고리즘은 자율주행 시스템 구현을 위한 핵심 요소이다. 최근 심층 합성곱 신경망 (Deep Convolutional Neural Network) 기반의 영상 인식 기술이 발전함에 따라 심층 학습을 이용한 객체 검출 관련 연구들이 활발히 진행되고 있다. 본 논문에서는 객체 검출에 가장 널리 사용되고 있는 Mask R-CNN의 경량화 모델을 제안하여 도로 내 다양한 객체들의 위치와 형태를 효율적으로 예측하는 방법을 제안한다. 또한, 주의 모듈(Attention Module)을 Mask R-CNN 내 각각 다른 역할을 수행하는 신경망 계층에 적용함으로써 특징 지도를 적응적으로 재교정(Re-calibration)하여 검출 성능을 향상시킨다. 실제 주행 영상에 대한 다양한 실험 결과를 통해 제안하는 방법이 기존 방법 대비 크게 감소된 신경망 매개변수만을 이용하여 고성능 검출 성능을 유지함을 보인다.

정보 증류 및 재귀적인 방식을 이용한 심층 학습법 기반 경량화된 초해상도 네트워크 (Lightweight Super-Resolution Network Based on Deep Learning using Information Distillation and Recursive Methods)

  • 우희조;심지우;김응태
    • 방송공학회논문지
    • /
    • 제27권3호
    • /
    • pp.378-390
    • /
    • 2022
  • 최근 심층 합성 곱 신경망 학습의 발전에 따라 단일 영상 초해상도에 적용되는 심층 학습 기법들을 좋은 성과를 보여주고 있으며 깊은 네트워크의 강한 표현 능력으로 저해상도 영상과 고해상도 영상 사이의 복잡한 비선형 매핑이 가능해졌다. 하지만 과도한 합성곱 신경망의 사용으로 인해 증가하는 파라미터와 연산량으로 실시간 또는 저전력 장치에 적용하는데 제한이 있다. 본 논문은 정보 증류 방식을 이용하여 계층적인 특징을 조금씩 추출해내는 블록을 재귀적인 방식으로 사용하며 고주파수 잔여 정제 블록을 통해 더 정확한 고주파수 성분을 만들어 성능을 향상시키는 경량화된 네트워크인 Recursive Distillation Super Resolution Network (RDSRN) 를 제안한다. 제안하는 네트워크는 RDN과 비교했을 때 비슷한 화질의 영상을 복원하며 약 32배 적은 파라미터와 약 10배 적은 연산량을 가지고 약 3.5배 더 빠르게 영상을 복원하며 기존 경량화 네트워크 CARN과 비교했을 때 약 2.2배 적은 파라미터와 약 1.8배 빠른 처리시간으로 평균 0.16dB 더 좋은 성능을 만들어 냄을 확인 하였다.

고속 해상 객체 분류를 위한 양자화 적용 기반 CNN 딥러닝 모델 성능 비교 분석 (Comparative Analysis of CNN Deep Learning Model Performance Based on Quantification Application for High-Speed Marine Object Classification)

  • 이성주;이효찬;송현학;전호석;임태호
    • 인터넷정보학회논문지
    • /
    • 제22권2호
    • /
    • pp.59-68
    • /
    • 2021
  • 최근 급속도로 성장하고 있는 인공지능 기술이 자율운항선박과 같은 해상 환경에서도 적용되기 시작하면서 디지털 영상에 특화된 CNN 기반의 모델을 적용하는 관련 연구가 활발히 진행되고 있다. 이러한 해상 서비스의 경우 인적 과실을 줄이기 위해 충돌 위험이 있는 부유물을 감지하거나 선박 내부의 화재 등 여러 가지 기술이 접목되기에 실시간 처리가 매우 중요하다. 그러나 기능이 추가될수록 프로세서의 제품 가격이 증가하는 문제가 존재해 소형 선박의 선주들에게는 비용적인 측면에서 부담이 된다. 또한 대형 선박의 경우 자율운항선박의 시스템을 감안할 때, 연산 속도의 성능 향상을 위해 복잡도가 높은 딥러닝 모델의 성능을 개선하는 방법이 필요하다. 따라서 본 논문에서는 딥러닝 모델에 경량화 기법을 적용해 정확도를 유지하면서 고속으로 처리할 수 있는 방법에 대해 제안한다. 먼저 해상 부유물 검출에 적합한 영상 전처리를 진행하여 효율적으로 CNN 기반 신경망 모델 입력에 영상 데이터가 전달될 수 있도록 하였다. 또한, 신경망 모델의 알고리즘 경량화 기법 중 하나인 학습 후 파라미터 양자화 기법을 적용하여 모델의 메모리 용량을 줄이면서 추론 부분의 처리 속도를 증가시켰다. 양자화 기법이 적용된 모델을 저전력 임베디드 보드에 적용시켜 정확도와 처리 속도를 사용하는 임베디드 성능을 고려하여 설계하는 방법을 제안한다. 제안하는 방법 중 정확도 손실이 제일 최소화되는 모델을 활용해 저전력 임베디드 보드에 비교하여 기존보다 최대 4~5배 처리 속도를 개선할 수 있었다.