• 대한임베디드공학회논문지
• /
• 제18권3호
• /
• pp.89-100
• /
• 2023

Recently, on-device artificial intelligence (AI) solutions using mobile devices and embedded edge devices have emerged in various fields, such as computer vision, to address network traffic burdens, low-energy operations, and security problems. Although vision transformer deep learning models have outperformed conventional convolutional neural network (CNN) models in computer vision, they require more computations and parameters than CNN models. Thus, they are not directly applicable to embedded edge devices with limited hardware resources. Many researchers have proposed various model compression methods or lightweight architectures for vision transformers; however, there are only a few studies evaluating the effects of model compression techniques of vision transformers on performance. Regarding this problem, this paper presents a performance evaluation of vision transformers on embedded platforms. We investigated the behaviors of three vision transformers: DeiT, LeViT, and MobileViT. Each model performance was evaluated by accuracy and inference time on edge devices using the ImageNet dataset. We assessed the effects of the quantization method applied to the models on latency enhancement and accuracy degradation by profiling the proportion of response time occupied by major operations. In addition, we evaluated the performance of each model on GPU and EdgeTPU-based edge devices. In our experimental results, LeViT showed the best performance in CPU-based edge devices, and DeiT-small showed the highest performance improvement in GPU-based edge devices. In addition, only MobileViT models showed performance improvement on EdgeTPU. Summarizing the analysis results through profiling, the degree of performance improvement of each vision transformer model was highly dependent on the proportion of parts that could be optimized in the target edge device. In summary, to apply vision transformers to on-device AI solutions, either proper operation composition and optimizations specific to target edge devices must be considered.

• 한국인터넷방송통신학회논문지
• /
• 제21권1호
• /
• pp.93-98
• /
• 2021

딥 러닝의 발전으로 다양한 AI 기반의 응용이 많아지고, 그 모델의 규모도 매우 커지고 있다. 그러나 임베디드 기기와 같이 자원이 제한적인 환경에서는 모델의 적용이 어렵거나 전력 부족 등의 문제가 존재한다. 이를 해결하기 위해서 클라우드 기술 또는 오프로딩 기술을 활용하거나, 모델의 매개변수 개수를 줄이거나 계산을 최적화하는 등의 경량화 방법이 제안되었다. 본 논문에서는 다양한 프레임워크들의 상호 교환 포맷으로 사용되고 있는 ONNX(개방형 신경망 교환 포맷) 포맷에 딥러닝 경량화 방법 중 학습된 모델의 양자화를 적용한다. 경량화 전 모델과의 신경망 구조와 추론성능을 비교하고, 양자화를 위한 다양한 모듈 방식를 분석한다. 실험을 통해 ONNX의 양자화 결과, 정확도는 차이가 거의 없으며 기존 모델보다 매개변수 크기가 압축되었으며 추론 시간 또한 전보다 최적화되었음을 알 수 있었다.

• 방송공학회논문지
• /
• 제26권2호
• /
• pp.155-166
• /
• 2021

현재 대부분의 객체 탐지 알고리즘은 RGB 영상을 기반으로 연구되고 있다. 하지만 RGB 카메라는 물체에서 반사되는 빛을 받아들여 영상을 생성하기 때문에, 물체에서 나오는 빛이 적거나 산란이 되는 야간 또는 안개가 끼는 환경에서는 물체의 정보가 잘 표현되는 영상 취득이 어려워 객체 탐지의 정확도가 떨어진다. 그에 반해 IR(열 적외선, Infra-Red) 영상은 열 센서로 이미지를 생성하기 때문에 RGB 영상에 비해 정확한 물체의 정보를 표현할 수 있다. 따라서 본 논문에서는 이러한 이미지 특성 차이에 따른 객체 탐지 성능을 비교하고자 하며, RGB와 IR 영상의 압축률에 따른 객체 탐지를 수행하고, 결과를 비교 분석 하고자 한다. 실험에 사용된 영상은 첨단운전자 보조 시스템(ADAS) 연구용 데이터 세트인 Free FLIR Thermal 데이터 세트 중 야간에 촬영된 RGB 영상과 IR 영상을 사용하였으며, 기존 RGB 영상 기반으로 사전 학습된 신경망과 FLIR Thermal 데이터 세트 내 RGB 영상과 IR 영상을 일부 골라 재학습한 신경망을 이용하여 객체 탐지를 수행하였다. 실험 결과 RGB 기반으로 사전 학습된 신경망과 재학습한 신경망 모두 IR 영상 기반 객체 탐지 성능이 RGB 영상 기반 성능보다 월등한 것을 확인할 수 있었다.