• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.695-697
• /
• 2023

최근 몇 년 간 딥러닝 기반 모델의 규모와 복잡성이 증가하면서 강력하고, 높은 정확도가 확보되지만 많은 양의 계산 자원과 메모리가 필요하기 때문에 모바일 장치나 임베디드 시스템과 같은 리소스가 제한된 환경에서의 배포에 제약사항이 생긴다. 복잡한 딥러닝 모델의 배포 및 운영 시 요구되는 고성능 컴퓨터 자원의 문제점을 해결하고자 사전 학습된 대규모 모델로부터 가벼운 모델을 학습시키는 지식증류 기법이 제안되었다. 하지만 현대 딥러닝 기반 모델은 높은 정확도 대비 훈련 데이터에 과적합 되는 과잉 확신(overconfidence) 문제에 대한 대책이 필요하다. 본 논문은 효율적인 경량화를 위한 미리 학습된 모델의 과잉 확신을 방지하고자 초점 손실(focal loss)을 이용한 모델 보정 기법을 언급하며, 다양한 손실 함수 변형에 따라서 지식증류의 성능이 어떻게 변화하는지에 대해 탐구하고자 한다.

• 응용통계연구
• /
• 제34권6호
• /
• pp.979-993
• /
• 2021

음향 장면 분류는 오디오 파일이 녹음된 환경이 어디인지 분류하는 문제이다. 이는 음향 장면 분류와 관련한 대회인 DCASE 대회에서 꾸준하게 연구되었던 분야이다. 실제 응용 분야에 음향 장면 분류 문제를 적용할 때, 모델의 복잡도를 고려하여야 한다. 특히 경량 기기에 적용하기 위해서는 경량 딥러닝 모델이 필요하다. 우리는 경량 기술이 적용된 여러 모델을 비교하였다. 먼저 log mel-spectrogram, deltas, delta-deltas 피쳐를 사용한 합성곱 신경망(CNN) 기반의 기본 모델을 제안하였다. 그리고 원래의 합성곱 층을 depthwise separable convolution block, linear bottleneck inverted residual block과 같은 효율적인 합성곱 블록으로 대체하고, 각 모델에 대하여 Quantization를 적용하여 경량 모델을 제안하였다. 경량화 기술을 고려한 모델은 기본 모델에 대비하여 성능이 비슷하거나 조금 낮은 성능을 보였지만, 모델 사이즈는 503KB에서 42.76KB로 작아진 것을 확인하였다.

• 전기전자학회논문지
• /
• 제26권4호
• /
• pp.639-646
• /
• 2022

딥러닝의 발전으로 딥러닝 모델들이 이미지 인식, 음성 인식 등 여러 분야에서 활발하게 사용 중이다. 하지만 이 딥러닝을 효과적으로 사용하기 위해서는 대형 데이터 세트가 필요하지만 이를 구축하기에는 많은 시간과 노력 그리고 비용이 필요하다. 본 논문에서는 웹 크롤링이라는 이미지 수집 방법을 통해서 이미지를 수집하고 데이터 전처리 과정을 거쳐 이미지 분류 모델에 사용할 수 있게 데이터 세트를 구축한다. 더 나아가 전이학습을 이미지 분류 모델에 접목해 카테고리값을 넣어 자동으로 이미지를 분류할 수 있는 경량화된 모델과 적은 훈련 시간 및 높은 정확도를 얻을 수 있는 이미지 분류 모델을 제안한다.

• 한국인터넷방송통신학회논문지
• /
• 제21권1호
• /
• pp.93-98
• /
• 2021

딥 러닝의 발전으로 다양한 AI 기반의 응용이 많아지고, 그 모델의 규모도 매우 커지고 있다. 그러나 임베디드 기기와 같이 자원이 제한적인 환경에서는 모델의 적용이 어렵거나 전력 부족 등의 문제가 존재한다. 이를 해결하기 위해서 클라우드 기술 또는 오프로딩 기술을 활용하거나, 모델의 매개변수 개수를 줄이거나 계산을 최적화하는 등의 경량화 방법이 제안되었다. 본 논문에서는 다양한 프레임워크들의 상호 교환 포맷으로 사용되고 있는 ONNX(개방형 신경망 교환 포맷) 포맷에 딥러닝 경량화 방법 중 학습된 모델의 양자화를 적용한다. 경량화 전 모델과의 신경망 구조와 추론성능을 비교하고, 양자화를 위한 다양한 모듈 방식를 분석한다. 실험을 통해 ONNX의 양자화 결과, 정확도는 차이가 거의 없으며 기존 모델보다 매개변수 크기가 압축되었으며 추론 시간 또한 전보다 최적화되었음을 알 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.80-81
• /
• 2021

딥 러닝 모델 사용에 있어서, 일반적인 사용자가 이용할 수 있는 하드웨어 리소스는 제한적이기 때문에 기존 모델을 경량화 할 수 있는 프루닝 방법을 통해 제한적인 리소스를 효과적으로 활용할 수 있도록 한다. 그 방법으로, 여러 딥 러닝 모델들 중 비교적 파라미터 수가 많은 것으로 알려진 GAN 아키텍처에 네트워크 프루닝을 적용함으로써 비교적 무거운 모델을 적은 파라미터를 통해 학습할 수 있는 방법을 제시한다. 또한, 본 논문을 통해 기존의 SRGAN 논문에서 가장 효과적인 결과로 제시했던 16 개의 residual block 의 개수를 실제로 줄여 봄으로써 기존 논문에서 제시했던 결과와의 차이에 대해 서술한다.

• 융합정보논문지
• /
• 제11권9호
• /
• pp.28-34
• /
• 2021

딥러닝을 이용한 객체 검출의 경우 정확도와 실시간성을 모두 요구한다. 그러나, 한정된 자원 환경에서는 수 많은 양의 데이터를 처리하는 딥러닝 모델을 사용하기 어렵다. 이러한 문제 해결을 위해 본 논문에서는 소형임베디드 장치를 위한 객체 검출을 모델을 제안하였다. 일반적인 검출 모델과 달리 사전 학습된 특징 추출기를 제거한 구조를 사용하여 모델 크기를 최소화하였다. 모델의 구조는 경량화된 컨볼루션 블록을 반복해서 쌓는 구조로 설계하였다. 또한, 검출 오버헤드를 줄이기 위해 영역 제안 횟수를 크게 줄였다. 제안하는 모델은 공개 데이터 셋인 PASCAL VOC를 사용하여 학습 및 평가하였다. 모델의 정량적 평가를 위해 검출 분야에서 사용하는 average precision으로 검출 성능을 측정하였다. 그리고 실제 임베디드 장치와 유사한 라즈베리 파이에서 검출 속도를 측정하였다. 실험을 통해 기존 검출 방법 대비 향상된 정확도와 빠른 추론 속도를 달성하였다.

• 한국산업정보학회논문지
• /
• 제28권4호
• /
• pp.1-9
• /
• 2023

본 논문은 딥러닝을 통해 실시간으로 임베디드 기기에서 점자 블록을 인식하는 방법을 제안한다. 먼저 고성능 컴퓨터에서 점자 블록 인식을 위한 딥러닝 모델을 학습시키고, 임베디드 기기에 적용하기 위하여 학습 모델을 경량화 도구에 적용한다. 점자 블록의 보행 정보를 인식하기 위해 영상에서 점자블록과의 거리를 이용하여 경로를 판별하는 알고리즘을 사용한다. 임베디드 기기를 통해 촬영한 영상에서 YOLOv8 모델을 통해 점자 블록, 볼라드, 횡단보도를 검출한 후 점자블록 경로 판별 알고리즘을 거쳐 보행정보를 인식한다. 실시간으로 점자 블록을 검출하기 위해 모델 경량화 도구를 YOLOv8에 적용한다. YOLOv8 모델 가중치의 정밀도를 기존 32비트에서 8비트로 낮추고, TensorRT 최적화 엔진을 적용하여 모델의 최적화를 진행한다. 제안된 방법을 통해 경량화 된 모델을 기존 모델과 비교한 결과, 경로 인식 정확도는 99.05%로 기존 모델과 거의 차이가 없지만, 인식 속도는 기존 모델 대비 59% 단축되어 1초에 약 15개의 프레임을 처리할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.152-153
• /
• 2021

고성능 딥러닝 모델은 학습과 추론 과정에서 고비용의 전산 자원과 많은 연산량을 필요로 하여 이에 따른 개발 환경과 많은 학습 시간을 필요로 하여 개발 지연과 한계가 발생한다. 따라서 HW 또는 SW 개선을 통해 파라미터 수, 학습 시간, 추론시간, 요구 메모리를 줄이는 연구가 지속 되어 왔다. 본 논문은 EfficientNet에서 사용된 Linear Bottleneck을 변경하여 정확도는 소폭 감소 하지만 기존 모델의 파라미터를 55%로 줄이는 경량화 모델을 제안한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.244-245
• /
• 2022

최근에는 우수한 성능의 딥러닝 기술을 활용한 장비와 프로그램이 개발되고 있으나 기술의 특성상 모든 환경에서 우수한 성능을 보여주지 못하고 고 사양의 서버와 같은 환경에서의 성능만을 보장하고 있다. 따라서 이에 대한 개선으로 엣지 디바이스 독립적으로 혹은 클라우드 의존과 인터넷 연결을 최소화 할 수 있는 엣지 컴퓨팅 기술이 제안되고 있으며 경량 내장형 시스템에 적합한 인공지능 기술의 개발이 필요하다. 본 논문에서는 객체검출 모델을 적은 연산과 효율적인 구조로 설계하고 생성된 모델을 임베디드 보드에서 원활하게 실행할 수 있도록 중립 모델로 변환하고 경량화 하는 방법에 대해 소개한다. Qualcomm snapdragon 프로세서가 갖춰진 임베디드 보드를 목표로 하였고 편의를 위해 SNPE(snapdragon neural processing engine) SDK를 이용하여 실험을 진행하였다. 실험 결과 변환된 중립모델이 기존 모델과 비교하여 압축된 모델 크기 대비 미미한 성능 저하가 발생함을 확인할 수 있었다.

• 한국차세대컴퓨팅학회논문지
• /
• 제15권5호
• /
• pp.53-63
• /
• 2019

모바일 환경에서 딥러닝을 통한 손 제스처 인터페이스를 제공하려면 높은 인식률을 제공하면서 실행속도의 저하를 막기 위한 네트워크 경량화의 연구가 필수적이다. 본 논문은 딥러닝 모델의 경량화를 통해 모바일 기기에서 손가락을 이용하여 공중에 쓴 문자를 실시간으로 인식하는 방법을 제안한다. MobileNet을 특징 추출기로 활용하는 객체 탐지 모델인 SSD (Single Shot Detector)를 기반으로 집게손가락을 탐지하고 손끝 경로를 이어 결과문자 영상을 생성한다. 이 영상은 서버로 전송되어 정규화 과정을 수행한 다음 학습된 OCR 모델을 이용하여 문자를 인식한다. 본 방법을 검증하기 위하여 12명의 사용자가 GALAXY S10+ 기기를 사용하여 1,000개의 단어를 실험한 결과 평균 88.6%의 정확도로 손가락을 인식하고 124 ms 이내로 인식된 텍스트가 출력되어 실시간으로 활용 가능함을 알 수 있었다. 본 연구결과는 모바일 환경에서 손가락을 이용한 간단한 문자 전송, 메모 및 공중 서명 등에 활용될 수 있다.