• 인터넷정보학회논문지
• /
• 제22권2호
• /
• pp.59-68
• /
• 2021

최근 급속도로 성장하고 있는 인공지능 기술이 자율운항선박과 같은 해상 환경에서도 적용되기 시작하면서 디지털 영상에 특화된 CNN 기반의 모델을 적용하는 관련 연구가 활발히 진행되고 있다. 이러한 해상 서비스의 경우 인적 과실을 줄이기 위해 충돌 위험이 있는 부유물을 감지하거나 선박 내부의 화재 등 여러 가지 기술이 접목되기에 실시간 처리가 매우 중요하다. 그러나 기능이 추가될수록 프로세서의 제품 가격이 증가하는 문제가 존재해 소형 선박의 선주들에게는 비용적인 측면에서 부담이 된다. 또한 대형 선박의 경우 자율운항선박의 시스템을 감안할 때, 연산 속도의 성능 향상을 위해 복잡도가 높은 딥러닝 모델의 성능을 개선하는 방법이 필요하다. 따라서 본 논문에서는 딥러닝 모델에 경량화 기법을 적용해 정확도를 유지하면서 고속으로 처리할 수 있는 방법에 대해 제안한다. 먼저 해상 부유물 검출에 적합한 영상 전처리를 진행하여 효율적으로 CNN 기반 신경망 모델 입력에 영상 데이터가 전달될 수 있도록 하였다. 또한, 신경망 모델의 알고리즘 경량화 기법 중 하나인 학습 후 파라미터 양자화 기법을 적용하여 모델의 메모리 용량을 줄이면서 추론 부분의 처리 속도를 증가시켰다. 양자화 기법이 적용된 모델을 저전력 임베디드 보드에 적용시켜 정확도와 처리 속도를 사용하는 임베디드 성능을 고려하여 설계하는 방법을 제안한다. 제안하는 방법 중 정확도 손실이 제일 최소화되는 모델을 활용해 저전력 임베디드 보드에 비교하여 기존보다 최대 4~5배 처리 속도를 개선할 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.918-919
• /
• 2023

딥러닝 기술이 발전함에 따라 모델의 복잡성 역시 증가하고 있다. 본 연구에서는 모델 경량화를 위해 Knowledge Distillation 기법을 Crowd Counting Model에 적용했다. M-SFANet을 Teacher 모델로, 파라미터수가 적은 MCNN 모델을 Student 모델로 채택해 Knowledge Distillation을 적용한 결과, 기존의 MCNN 모델보다 성능을 향상했다. 이는 정확도와 메모리 효율성 측면에서 많은 개선을 이루어 컴퓨팅 리소스가 부족한 기기에서도 본 모델을 실행할 수 있어 많은 활용이 가능할 것이다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.345-347
• /
• 2021

단일 이미지 초해상도는 딥러닝의 발전과 함께 놀라운 성능 향상이 이루어 졌다. 이러한 딥러닝 모델은 매우 많은 파라미터를 갖고 있어 많은 연산량과 메모리를 필요로 한다. 하지만 사용할 수 있는 리소스는 한정되어 있기 때문에 네트워크를 경량화 시키려는 연구도 지속되어 왔다. 본 논문에서는 Stochastic Weight Averaging (SWA) 알고리즘을 이용하여 상대적으로 적은 양의 메모리와 연산을 추가해 이미지 초해상도 모델의 성능을 높이고 안정적인 학습을 달성하였다. SWA 알고리즘을 적용한 모델은 그렇지 않은 모델에 비해 테스트셋에서 최대 0.13dB 의 성능 향상을 보였다.

• 융합신호처리학회논문지
• /
• 제24권1호
• /
• pp.21-26
• /
• 2023

지식 증류는 깊은 모델의 지식을 가벼운 모델로 전달하는 모델 경량화 기술이다. 대부분의 지식 증류 방법들은 분류 모델을 위해 개발되었으며, 초해상화를 위한 지식 증류 연구는 거의 없었다. 본 논문에서는 다양한 지식 증류 방법들을 초해상화 모델에 적용하고 성능을 비교한다. 구체적으로, 초해상화 모델에 각 지식 증류 방법을 적용하기 위해 손실 함수를 수정하고, 각 지식 증류 방법을 사용하여 교사 모델을 약 27배 경량화한 학생 모델을 학습하여 2배 초해상화하는 실험을 진행하였다. 실험을 통해, 일부 지식 증류 방법은 초해상화 모델에 적용할 경우 유효하지 않음을 알 수 있었으며, 관계 기반 지식 증류 방법과 전통적인 지식 증류 방법을 결합했을 때 성능이 가장 높은 것을 확인하였다.

• 한국컴퓨터정보학회논문지
• /
• 제26권10호
• /
• pp.37-43
• /
• 2021

말소리의 음향 특징을 이용하여 화자에 대한 중요한 사회, 언어학적 정보를 얻을 수 있는데 그 중 한 가지 핵심 특징은 방언이다. 화자의 방언 사용은 컴퓨터와의 상호작용을 방해하는 주요 요소이다. 방언은 발화의 음소, 음절, 단어, 문장 및 구와 같이 다양한 수준에서 구분할 수 있지만 이를 하나하나 식별하여 방언을 구분하기는 어렵다. 이에 본 논문에서는 음성 데이터의 특성 중 MFCC만 사용하는 경량화된 한국어 방언 분류 모델을 제안한다. 한국인 대화 음성 데이터를 통해 MFCC 특징을 활용하는 최적의 방법을 연구하고, 8가지 머신 러닝 및 딥러닝 분류 모델에서 경기/서울, 강원, 충청, 전라, 경상 5개의 한국어 방언 분류 성능을 비교한다. MFCC를 정규화하는 방법으로 대부분의 분류 모델에서 성능을 향상시켰으며, MFCC를 정규화하기 전 분류 모델의 최고 성능과 비교하여 정확도는 1.07%, F1-score는 2.04% 향상된 성능을 기록하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.129-132
• /
• 2020

최근 모바일 기기에서 딥러닝 모델을 사용하기 위한 경량화 연구가 진행되고 있다. 그중 모델의 가중치 표현 bit를 줄이는 양자화와 사용하기 위한 다양한 압축 알고리즘이 개발되었다. 하지만 대부분의 양자화 및 압축 알고리즘들은 한 번 이상의 Fine-tuning을 거쳐야 하는데 이 과정은 모바일 환경에서 수행하기에는 연산복잡도가 너무 높다. 따라서 본 논문은 양자화된 가중치를 High Efficiency Video Coding(HEVC)을 통해 압축하는 방법을 제안하고 정확도와 압축률을 실험한다. 실험결과는 양자화만 실시한 경우 대비 크기는 25%의 감소했지만, 정확도는 0.7% 감소했다. 따라서 이런 결과는 모바일 기기에 가중치를 전송하는 과정에 적용될 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.271-274
• /
• 2021

Fisheye 카메라로 촬영된 영상은 일반 영상보다 넓은 시야각을 갖는 장점으로 여러 분야에서 활용되고 있다. 그러나 fisheye 카메라로 촬영된 영상은 어안렌즈의 곡률로 인하여 영상의 중앙 부분은 팽창되고 외곽 부분은 축소되는 방사 왜곡이 발생하기 때문에 영상을 활용함에 있어서 어려움이 있다. 이러한 방사 왜곡을 보정하기 위하여 기존 영상처리 분야에서는 렌즈의 곡률을 수학적으로 계산하여 보정하기도 하지만 이는 각각의 렌즈마다 왜곡 파라미터를 추정해야 하기 때문에, 개별적인 GT (Ground Truth) 영상이 필요하다는 제한 사항이 있다. 이에 본 논문에서는 렌즈의 종류마다 GT 영상을 필요로 하는 기존 기술의 제한 사항을 극복하기 위하여, fisheye 영상만을 입력으로 하여 왜곡계수를 계산하는 딥러닝 네트워크를 제안하고자 한다. 또한, 단일 왜곡계수를 왜곡모델로 활용함으로써 layer 수를 크게 줄일 수 있는 경량화 네트워크를 제안한다.

• 한국인터넷방송통신학회논문지
• /
• 제23권4호
• /
• pp.41-46
• /
• 2023

인체 소변은 혈액 내의 노폐물을 배출하는 과정으로 채취가 쉽고 다양한 물질들이 포함되어 있습니다. 요검사는 이를 통해 질병, 건강상태, 요로 감염 여부 등을 확인하는 용도로 사용됩니다. 요검사에는 물리적 성상 검사, 화학적 검사, 현미경 검사의 세 가지 방법이 있으며, 화학적 검사는 요검사지를 사용하여 쉽게 결과를 확인할 수 있다. 요검사지에는 다양한 항목들을 검사할 수 있으며, 이를 통해 다양한 질병들을 확인할 수 있다. 최근 스마트폰의 보급으로 스마트폰을 이용한 요검사지 판독 연구가 진행되고 있다. 스마트폰을 이용하여 요검사지의 색 변화를 감지하고 판독하는 방법이 있다. 이러한 방법은 RGB값과 색 차이 공식을 사용하여 판별한다. 그러나 다양한 환경 요인으로 인해 정확도가 떨어지는 문제가 있다. 본 논문은 이러한 문제를 해결하기 위해 딥러닝 모델을 적용한다. 특히, 경량화된 CNN(Convolutional Neural Networks) 모델을 사용하여 스마트폰 내에서 요검사지의 색 판별을 개선한다. CNN은 이미지 인식과 패턴 찾기에 유용한 모델로, 경량화된 버전도 사용 가능하다. 이를 통해 스마트폰에서 딥러닝 모델을 운영하고 정확한 요검사지 결과를 추출할 수 있다. 요검사지는 다양한 환경에서 촬영하여 딥러닝 모델 학습 이미지를 준비 하였으며 MobileNet V3을 사용하여 요검사 서비스 어플리케이션을 설계하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2022년도 추계학술발표대회
• /
• pp.435-437
• /
• 2022

보행 보조 로봇의 효과적인 보조를 위해서는 사용자의 보행 유형을 인식하는 것이 중요하다. 본 논문에서는 end-to-end 분류 네트워크 기반 보행 환경 인식 방법을 사용하여 사용자의 보행 유형을 강인하게 추정한다. 실외 보행 환경을 오르막길, 평지, 내리막길 3 가지로 분류하는 딥러닝 모델을 학습시켰으며, 엣지 디바이스에서 이를 사용하기 위해 네트워크 경량화를 진행하였다. 경량화 후 추론 속도는 약 47FPS 수준으로 실시간으로 보행 보조 로봇에 적용 가능한 것을 검증했으며, 정확도 측면에서도 97% 이상의 성능을 얻을 수 있었다.

• 스마트미디어저널
• /
• 제12권5호
• /
• pp.28-35
• /
• 2023

본 연구에서는 음성감정인식의 적용 가능성과 실용성 향상을 위해 적은 수의 파라미터를 가지는 새로운 경량화 모델 RoutingConvNet(Routing Convolutional Neural Network)을 제안한다. 제안모델은 학습 가능한 매개변수를 줄이기 위해 양방향 MFCC(Mel-Frequency Cepstral Coefficient)를 채널 단위로 연결해 장기간의 감정 의존성을 학습하고 상황 특징을 추출한다. 저수준 특징 추출을 위해 경량심층 CNN을 구성하고, 음성신호에서의 채널 및 공간 신호에 대한 정보 확보를 위해 셀프어텐션(Self-attention)을 사용한다. 또한, 정확도 향상을 위해 동적 라우팅을 적용해 특징의 변형에 강인한 모델을 구성하였다. 제안모델은 음성감정 데이터셋(EMO-DB, RAVDESS, IEMOCAP)의 전반적인 실험에서 매개변수 감소와 정확도 향상을 보여주며 약 156,000개의 매개변수로 각각 87.86%, 83.44%, 66.06%의 정확도를 달성하였다. 본 연구에서는 경량화 대비 성능 평가를 위한 매개변수의 수, 정확도간 trade-off를 계산하는 지표를 제안하였다.