• 한국인터넷방송통신학회논문지
• /
• 제22권3호
• /
• pp.9-14
• /
• 2022

각종 기기들이 연결되는 사물인터넷(internet of things) 시스템에서 중요한 부품의 고장은 경제적, 인명의 손실을 야기할 수 있다. 시스템 내에서 발생하는 고장으로 인한 손실을 줄이기 위해 고장 검진 기술이 IoT에서 중요한 기술로써 여겨지고 있다. 본 논문에서는 그래프 신경망 기반 방법을 사용하여 시스템 내의 설비에서 취득된 진동 데이터의 특징을 추출하여 고장 여부를 판단하고 유형을 분류하는 방법을 제안한다. 딥러닝 모델의 학습을 위해, CWRU(case western reserve university)에서 취득된 고장 데이터 셋을 입력 데이터로 사용한다. 제안하는 모델의 분류 정확도 성능을 확인하기 위해 기존 제안된 합성곱 신경망(convolutional neural networks) 기반 분류 모델과 제안된 모델을 비교한다. 시뮬레이션 결과, 제안된 모델은 불균등하게 나누어진 데이터에서 기존 모델보다 분류 정확도를 약 5% 향상 시킬 수 있는 것을 확인하였다. 이후 연구로, 제안하는 모델을 경량화해서 분류 속도를 개선할 예정이다.

• 전기전자학회논문지
• /
• 제28권2호
• /
• pp.168-173
• /
• 2024

화자인식은 개개인마다 다른 음성 주파수를 분석하여 미리 저장된 음성과 비교해 본인 여부를 판단하는 하나의 기술을 의미한다. 딥러닝 기반의 화자인식은 여러 분야에 적용되고 있으며, 펫 로봇도 그 중 하나이다. 하지만 펫 로봇의 하드웨어 성능은 딥러닝 기술의 많은 메모리 공간과 연산에 있어 매우 제한적인 상황이다. 이는 펫 로봇이 사용자와 실시간 상호작용에 있어 해결해야 할 중요한 문제점이다. 딥러닝 모델의 경량화는 위와 같은 문제를 해결하기 위한 하나의 중요한 방법으로 자리하였으며, 최근 많은 연구가 진행되고 있다. 이 논문에서는 특정한 명령어 형태인 펫 로봇용 음성 데이터 세트를 구축하고 잔차(Residual)를 활용한 모델들의 결과를 비교해 펫 로봇용 화자인식의 경량화 연구의 결과를 서술하며, 결론에서는 제안한 방법에 대한 결과와 향후 연구방안에 대해 서술한다.

• Composites Research
• /
• 제36권1호
• /
• pp.59-67
• /
• 2023

항공우주산업에서 경량화를 위해 사용되는 CFRP 복합재료로 구성된 차체의 충격에 따른 파손은 탑승자의 안전과 직결된다. 따라서 충돌 상황에서 육안으로 확인하기 힘든 재료의 손상거동을 파악하는 것이 중요하며, 이를 구현할 수 있는 유한요소모델을 통한 연구가 필요하다. 본 연구에서는 일방향 적층 복합재료의 충돌 해석에 대해 파손 거동 예측에 적합한 유한요소모델을 구축하였다. 인공신경망 모델을 통해 LS-DYNA에서 제공하는 MAT_54 Enhanced Composite Damage 재료 모델의 교정 파라미터를 역추정하여 획득하였다. 획득한 파라미터에 대한 인공신경망 모델의 결과를 실험결과와 비교하여 신뢰성을 검증하였다. 그 결과, 교정 파라미터의 최적화를 통해 실험에 대한 정확도를 향상시킨 유한요소모델을 구축할 수 있음을 확인하였다.

• 전자통신동향분석
• /
• 제38권5호
• /
• pp.12-22
• /
• 2023

The development of neural networks is evolving towards the adoption of transformer structures with attention modules. Hence, active research focused on extending the concept of lightweight neural network algorithms and hardware acceleration is being conducted for the transition from conventional convolutional neural networks to transformer-based networks. We present a survey of state-of-the-art research on lightweight neural network algorithms and hardware architectures to reduce memory usage and accelerate both inference and training. To describe the corresponding trends, we review recent studies on token pruning, quantization, and architecture tuning for the vision transformer. In addition, we present a hardware architecture that incorporates lightweight algorithms into artificial intelligence processors to accelerate processing.

• 로봇학회논문지
• /
• 제17권2호
• /
• pp.133-141
• /
• 2022

This paper introduces model compression algorithms which make a deep neural network smaller and faster for embedded systems. The model compression algorithms can be largely categorized into pruning, quantization and knowledge distillation. In this study, gradual pruning, quantization aware training, and knowledge distillation which learns the activation boundary in the hidden layer of the teacher neural network are integrated. As a large deep neural network is compressed and accelerated by these algorithms, embedded computing boards can run the deep neural network much faster with less memory usage while preserving the reasonable accuracy. To evaluate the performance of the compressed neural networks, we evaluate the size, latency and accuracy of the deep neural network, DenseNet201, for image classification with CIFAR-10 dataset on the NVIDIA Jetson Xavier.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.113-116
• /
• 2021

일반적으로 딥러닝 기반의 객체 검출(Object Detection)기법은 합성곱 신경망(Convolutional Neural Network, CNN)을 통해 입력된 영상의 특징(Feature)을 추출하여 이를 통해 객체 검출을 수행한다. 최근 자연어 처리 분야에서 획기적인 성능을 보인 트랜스포머(Transformer)가 영상 분류, 객체 검출과 같은 컴퓨터 비전 작업을 수행하는데 있어 경쟁력이 있음이 드러나고 있다. 본 논문에서는 YOLOv4-CSP의 CSP 블록을 개선한 one-stage 방식의 객체 검출 네트워크를 제안한다. 개선된 CSP 블록은 트랜스포머(Transformer)의 멀티 헤드 어텐션(Multi-Head Attention)과 CSP 형태의 공간 피라미드 풀링(Spatial Pyramid Pooling, SPP) 연산을 기반으로 네트워크의 Backbone과 Neck에서의 feature 학습을 돕는다. 본 실험은 MSCOCO test-dev2017 데이터 셋으로 평가하였으며 제안하는 네트워크는 YOLOv4-CSP의 경량화 모델인 YOLOv4s-mish에 대하여 평균 정밀도(Average Precision, AP)기준 2.7% 향상된 검출 정확도를 보인다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
• /
• pp.67-68
• /
• 2021

기존 객체탐지는 경계 상자 회귀방식을 적용하였지만, 문자는 왜곡과 변형이 심한 특성을 가진 객체로 U-net 구조의 이미지 분할 방식을 사용하는 경우가 많다. 따라서 최근 문자 탐지는 통계적 모델에 비해 높은 정확도를 보이는 심층 신경망 기반의 모델 연구가 많이 진행되고 있다. 본 연구에서는 이미지 분할을 통한 양방향 특징 결합 기법을 사용한 문자 탐지 모델을 제안한다. 이미지 분할 방식은 메모리의 효율이 떨어지기 때문에 이를 극복하고자 특징 추출 단계에서 경량화된 네트워크를 적용하였다. 또한, 객체 탐지에서 큰 성과를 보인 양방향 특징 결합 모듈을 U-net 구조에 추가하여 추출된 특징이 효과적으로 결합 되는 결과를 얻었다. 제안하는 모델의 문자 탐지 성능은 합성 문자 데이터셋을 이용한 실험을 통해 기존의 U-net 구조의 이미지 분할 방식보다 향상되었음을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2024년도 춘계학술발표대회
• /
• pp.719-720
• /
• 2024

센서 기반의 자동화재탐지설비의 역할을 지원할 목적으로, 합성곱 신경망 기반의 AI 화재 감시장비등이 연구되어왔다. ai 기반 화재 감지에 사용되는 알고리즘은 전이학습을 주로 이용하고 있고, 이는 화재 감지에 기여도가 낮은 프로세스가 내장되어 있을 가능성이 존재하여, 딥러닝 모델의 복잡성을 가중시키는 원인이 될 수 있다. 본 연구에서는 이러한 모델의 복잡성을 개선하고자 다양한 딥러닝 및 해석 기술들을 분석하였고, 분석 결과를 토대로 화재 감지에 최적화된 아키텍처인 "IF2bNet" 을 제안한다. 구현한 아키텍처의 성능을 비교한 결과 동일한 성능을 내면서, 파라미터를 약 0.1 배로 경량화 하여, 복잡성을 완화하였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2024년도 제69차 동계학술대회논문집 32권1호
• /
• pp.51-54
• /
• 2024

본 논문에서는 온 디바이스 국방 AI를 위한 효율적인 학습 방법을 제안한다. 제안하는 방법은 모델 전체를 재학습하는 대신 필요한 부분만 세밀하게 조정하여 계산 비용과 시간을 대폭 줄이는 PEFT 기법의 LoRa를 적용하였다. LoRa는 기존의 신경망 가중치를 직접 수정하지 않고 추가적인 낮은 랭크의 매트릭스를 학습하는 방식으로 기존 모델의 구조를 크게 변경하지 않으면서도, 효율적으로 새로운 작업에 적응할 수 있다. 또한 학습 파라미터 및 연산 입출력에 데이터에 대하여 32비트의 부동소수점(FP32) 대신 부동소수점(FP16, FP8) 또는 정수형(INT8)을 활용하는 경량화 기법인 양자화도 적용하였다. 적용 결과 학습시 요구되는 GPU의 사용량이 32GB에서 5.7GB로 82.19% 감소함을 확인하였다. 동일한 조건에서 동일한 데이터로 모델의 성능을 평가한 결과 동일 학습 횟수에선 LoRa와 양자화가 적용된 모델의 오류가 기본 모델보다 53.34% 증가함을 확인하였다. 모델 성능의 감소를 줄이기 위해서는 학습 횟수를 더 증가시킨 결과 오류 증가율이 29.29%로 동일 학습 횟수보다 더 줄어듬을 확인하였다.

• 방송공학회논문지
• /
• 제26권2호
• /
• pp.167-174
• /
• 2021

초고해상도 변환 문제에서 최근 딥러닝을 사용하면서 큰 성능 개선을 얻고 있다. 빠른 초고해상도 합성곱 신경망 (FSRCNN)은 딥러닝 기반 초고해상도 알고리즘으로 잘 알려져 있으며, 여러 개의 합성곱 층로 추출한 저 해상도의 입력 특징을 활용하여 역합성곱 층에서 초고해상도의 영상을 출력하는 알고리즘이다. 본 논문에서는 병렬 연산 효율성을 고려한 FPGA 기반 합성곱 신경망 가속기를 제안한다. 특히 역합성곱 층을 합성곱 층으로 변환하는 방법을 통해서 에너지 효율적인 가속기를 설계했다. 또한 제안한 방법은 FPGA 리소스를 고려하여 FSRCNN의 구조를 변형한 Optimal-FSRCNN을 제안한다. 사용하는 곱셈기의 개수를 FSRCNN 대비 3.47배 압축하였고, 초고해상도 변환 성능을 평가하는 지표인 PSNR은 FSRCNN과 비슷한 성능을 내고 있다. 이를 통해서 FPGA에 최적화된 네트워크를 구현하여 FHD 입력 영상을 UHD 영상으로 출력하는 실시간 영상처리 기술을 개발했다.