• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.126-128
• /
• 2022

경량화 기법 중 하나인 Knowledge distillation 은 최근 object detection task 에 적용되고 있다. Knowledge distillation 은 3 가지 범주로 나뉘는데 그들 중에서 Self-Knowledge distillation 은 기존의 Knowledge distillation 에서의 pre-trained teacher 에 대한 의존성 문제를 완화시켜준다. Self-Knowledge distillation 또한 object detection task 에 적용되어 training cost 를 줄이고 고전적인 teacher-based methods 보다 좋은 성능을 성취했다.

• 융합신호처리학회논문지
• /
• 제23권3호
• /
• pp.160-165
• /
• 2022

상호증류는 교사 네트워크 도움 없이 다수의 네트워크 사이에 지식을 전달함으로써 협력적으로 학습하도록 유도하는 지식증류 방법이다. 본 논문은 상호증류가 초해상화 네트워크에도 적용 가능한지 확인하는 것을 목표로 한다. 이를 위해 상호증류를 SRGAN의 판별자에 적용하는 실험을 수행하고, 상호증류가 SRGAN의 성능 향상에 미치는 영향을 분석한다. 실험 결과, 상호증류를 통해 판별자의 지식을 공유한 SRGAN은 정량적, 정성적 화질이 개선된 초해상화 영상을 생성하였다.

• 한국멀티미디어학회논문지
• /
• 제24권7호
• /
• pp.868-879
• /
• 2021

PCB (Printed Circuit Board) inspection using a deep learning model requires a large amount of data and storage. When the amount of stored data increases, problems such as learning time and insufficient storage space occur. In this study, the existing object detection model is changed to a continual learning model to enable the recognition and classification of PCB components that are constantly increasing. By changing the structure of the object detection model to a knowledge distillation model, we propose a method that allows knowledge distillation of information on existing classified parts while simultaneously learning information on new components. In classification scenario, the transfer learning model result is 75.9%, and the continual learning model proposed in this study shows 90.7%.

• 한국컴퓨터정보학회논문지
• /
• 제27권10호
• /
• pp.29-41
• /
• 2022

최근 딥 러닝 기술의 발전으로 방대한 텍스트 데이터를 사전에 학습한 우수한 성능의 거대한 모델들이 다양하게 고안되었다. 하지만 이러한 모델을 실제 서비스나 제품에 적용하기 위해서는 빠른 추론 속도와 적은 연산량이 요구되고 있으며, 이에 모델 경량화 기술에 대한 관심이 높아지고 있다. 대표적인 모델 경량화 기술인 지식증류는 교사 모델이 이미 학습한 지식을 상대적으로 작은 크기의 학생 모델에 전이시키는 방법으로 다방면에 활용 가능하여 주목받고 있지만, 당장 주어진 문제의 해결에 필요한 지식만을 배우고 동일한 관점에서만 반복적인 학습이 이루어지기 때문에 기존에 접해본 문제와 유사성이 낮은 문제에 대해서는 해결이 어렵다는 한계를 갖는다. 이에 본 연구에서는 궁극적으로 해결하고자 하는 과업에 필요한 지식이 아닌, 보다 상위 개념의 지식을 학습한 교사 모델을 통해 지식을 증류하는 이질적 지식증류 방법을 제안한다. 또한, 사이킷런 라이브러리에 내장된 20 Newsgroups의 약 18,000개 문서에 대한 분류 실험을 통해, 제안 방법론에 따른 이질적 지식증류가 기존의 일반적인 지식증류에 비해 학습 효율성과 정확도의 모든 측면에서 우수한 성능을 보임을 확인하였다.

• 한국컴퓨터정보학회논문지
• /
• 제28권4호
• /
• pp.31-39
• /
• 2023

본 논문에서는 이종 모델의 특징맵 간 상관관계인 외부적 상관관계와 동종 모델 내부 특징맵 간 상관관계인 내부적 상관관계를 활용하여 교사 모델로부터 학생 모델로 지식을 전이하는 Internal/External Knowledge Distillation (IEKD)를 제안한다. 두 상관관계를 모두 활용하기 위하여 특징맵을 시퀀스 형태로 변환하고, 트랜스포머를 통해 내부적/외부적 상관관계를 고려하여 지식 증류에 적합한 새로운 특징맵을 추출한다. 추출된 특징맵을 증류함으로써 내부적 상관관계와 외부적 상관관계를 함께 학습할 수 있다. 또한 추출된 특징맵을 활용하여 feature matching을 수행함으로써 학생 모델의 정확도 향상을 도모한다. 제안한 지식 증류 방법의 효과를 증명하기 위해, CIFAR-100 데이터 셋에서 "ResNet-32×4/VGG-8" 교사/학생 모델 조합으로 최신 지식 증류 방법보다 향상된 76.23% Top-1 이미지 분류 정확도를 달성하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.918-919
• /
• 2023

딥러닝 기술이 발전함에 따라 모델의 복잡성 역시 증가하고 있다. 본 연구에서는 모델 경량화를 위해 Knowledge Distillation 기법을 Crowd Counting Model에 적용했다. M-SFANet을 Teacher 모델로, 파라미터수가 적은 MCNN 모델을 Student 모델로 채택해 Knowledge Distillation을 적용한 결과, 기존의 MCNN 모델보다 성능을 향상했다. 이는 정확도와 메모리 효율성 측면에서 많은 개선을 이루어 컴퓨팅 리소스가 부족한 기기에서도 본 모델을 실행할 수 있어 많은 활용이 가능할 것이다.

• 한국멀티미디어학회논문지
• /
• 제25권4호
• /
• pp.600-609
• /
• 2022

In supervised learning, labeling of all data is essential, and in particular, in the case of object detection, all objects belonging to the image and to be learned have to be labeled. Due to this problem, continual learning has recently attracted attention, which is a way to accumulate previous learned knowledge and minimize catastrophic forgetting. In this study, a continaul learning model is proposed that accumulates previously learned knowledge and enables learning about new objects. The proposed method is applied to CenterNet, which is a object detection model of anchor-free manner. In our study, the model is applied the knowledge distillation algorithm to be enabled continual learning. In particular, it is assumed that all output layers of the model have to be distilled in order to be most effective. Compared to LWF, the proposed method is increased by 23.3%p mAP in 19+1 scenarios, and also rised by 28.8%p in 15+5 scenarios.

• 전자공학회논문지
• /
• 제54권5호
• /
• pp.35-41
• /
• 2017

본 논문에서는 지식추출(knowledge distillation) 및 지식전달(knowledge transfer)을 위하여 최근에 소개된 선생-학생 프레임워크 기반의 힌트(Hint)-knowledge distillation(KD) 학습기법에 대한 성능을 분석한다. 본 논문에서 고려하는 선생-학생 프레임워크는 현재 최신 딥러닝 모델로 각광받고 있는 딥 residual 네트워크를 이용한다. 따라서, 전 세계적으로 널리 사용되고 있는 오픈 딥러닝 프레임워크인 Caffe를 이용하여 학생모델의 인식 정확도 관점에서 힌트-KD 학습 시 선생모델의 완화상수기반의 KD 정보 비중에 대한 영향을 살펴본다. 본 논문의 연구결과에 따르면 KD 정보 비중을 단조감소하는 경우보다 초기에 설정된 고정된 값으로 유지하는 것이 학생모델의 인식 정확도가 더 향상된다는 것을 알 수 있었다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
• /
• pp.313-315
• /
• 2021

Timely and accurate diagnosis of lung diseases using Chest X-ray images has been gained much attention from the computer vision and medical imaging communities. Although previous studies have presented the capability of deep convolutional neural networks by achieving competitive binary classification results, their models were seemingly unreliable to effectively distinguish multiple disease groups using a large number of x-ray images. In this paper, we aim to build an advanced approach, so-called Ensemble Knowledge Distillation (EKD), to significantly boost the classification accuracies, compared to traditional KD methods by distilling knowledge from a cumbersome teacher model into an ensemble of lightweight student models with parallel branches trained with ground truth labels. Therefore, learning features at different branches of the student models could enable the network to learn diverse patterns and improve the qualify of final predictions through an ensemble learning solution. Although we observed that experiments on the well-established ChestX-ray14 dataset showed the classification improvements of traditional KD compared to the base transfer learning approach, the EKD performance would be expected to potentially enhance classification accuracy and model generalization, especially in situations of the imbalanced dataset and the interdependency of 14 weakly annotated thorax diseases.

• 한국멀티미디어학회논문지
• /
• 제24권12호
• /
• pp.1598-1605
• /
• 2021

Recently, convolutional neural networks (CNNs) have been widely used with excellent performance in various computer vision fields, including super-resolution (SR). However, CNN is computationally intensive and requires a lot of memory, making it difficult to apply to limited hardware resources such as mobile or Internet of Things devices. To solve these limitations, network lightening studies have been actively conducted to reduce the depth or size of pre-trained deep CNN models while maintaining their performance as much as possible. This paper aims to lighten the SR CNN model, SRGAN, using the knowledge distillation among network lightening technologies; thus, it proposes four techniques with different methods of transferring the knowledge of the teacher network to the student network and presents experiments to compare and analyze the performance of each technique. In our experimental results, it was confirmed through quantitative and qualitative evaluation indicators that student networks with knowledge transfer performed better than those without knowledge transfer, and among the four knowledge transfer techniques, the technique of conducting adversarial learning after transferring knowledge from the teacher generator to the student generator showed the best performance.