• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.07a
• /
• pp.629-631
• /
• 2021

본 논문에서는 웹 기반 서비스 플랫폼 환경에서 3D 모델의 경량화 및 품질 유지를 위한 후처리 방법을 제안한다. 3D 모델을 산업 현장에서 다양한 용도로 활용되기 위해 웹 기반 환경에서의 3D 모델 시각화 서비스가 제공되고 있으며, 최적화된 서비스 제공을 위해 대용량 3D 모델의 경량화 및 품질 유지가 필수적이다. 제안하는 3D 모델의 후처리 방법은 간편한 사용자 조작뿐만 아니라 면의 경량화 가능 및 시각 품질을 유지할 수 있다. 이는 웹 기반 환경에서의 활용을 위한 대용량 3D 모델을 효율적으로 최적화하는 방안이 될 것으로 기대한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.437-442
• /
• 2023

최근에 등장한 대규모 언어 모델은 다양한 언어 처리 작업에서 놀라운 성능을 발휘하고 있다. 그러나 이러한 모델의 크기와 복잡성 때문에 모델 경량화의 필요성이 대두되고 있다. Pruning은 이러한 경량화 전략 중 하나로, 모델의 가중치나 연결의 일부를 제거하여 크기를 줄이면서도 동시에 성능을 최적화하는 방법을 제시한다. 본 논문에서는 한국어 언어 모델인 Polyglot-Ko에 Wanda[1] 기법을 적용하여 Pruning 작업을 수행하였다. 그리고 이를 통해 가중치가 제거된 모델의 Perplexity, Zero-shot 성능, 그리고 Fine-tuning 후의 성능을 분석하였다. 실험 결과, Wanda-50%, 4:8 Sparsity 패턴, 2:4 Sparsity 패턴의 순서로 높은 성능을 나타냈으며, 특히 일부 조건에서는 기존의 Dense 모델보다 더 뛰어난 성능을 보였다. 이러한 결과는 오늘날 대규모 언어 모델 중심의 연구에서 Pruning 기법의 효과와 그 중요성을 재확인하는 계기가 되었다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.39-40
• /
• 2023

본 논문은 딥러닝 기반의 소리 인식 모델을 기반으로 실내에서 발생하는 다양한 소리를 시각적인 정보로 제공하는 시스템을 위해 경량화된 CNN ResNet 구조의 인공지능 모델을 제시한다. 적용하는 경량화 기법은 모델의 크기와 연산량을 최적화하여 자원이 제한된 장치에서도 효율적으로 동작할 수 있도록 한다. 이를 위해 마이크로 컴퓨터나 휴대용 기기와 같은 임베디드 장치에서도 원활한 인공지능 추론을 가능하게 하는 모델을 양자화 기법을 적용한 경량화 방법들을 실험적으로 비교한다.

• Journal of Intelligence and Information Systems
• /
• v.28 no.3
• /
• pp.45-55
• /
• 2022

Recently, large-scale language models (LPLM) have been shown state-of-the-art performances in various tasks of natural language processing including intent classification. However, fine-tuning LPLM requires much computational cost for training and inference which is not appropriate for dialog system. In this paper, we propose compressed intent classification model for multi-agent in low-resource like CPU. Our method consists of two stages. First, we trained sentence encoder from LPLM then compressed it through knowledge distillation. Second, we trained agent-specific adapter for intent classification. The results of three intent classification datasets show that our method achieved 98% of the accuracy of LPLM with only 21% size of it.

• Journal of the Institute of Convergence Signal Processing
• /
• v.24 no.1
• /
• pp.21-26
• /
• 2023

Knowledge distillation (KD) is a model lightening technology that transfers the knowledge of deep models to light models. Most KD methods have been developed for classification models, and there have been few KD studies in the field of super-resolution (SR). In this paper, various KD methods are applied to an SR model and their performance is compared. Specifically, we modified the loss function to apply each KD method to the SR model and conducted an experiment to learn a student model that was about 27 times lighter than the teacher model and to double the image resolution. Through the experiment, it was confirmed that some KD methods were not valid when applied to SR models, and that the performance was the highest when the relational KD and the traditional KD methods were combined.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.221-223
• /
• 2022

최근 CNN(Convolutional Neural Network)은 초해상화(super-resolution)를 포함한 다양한 컴퓨터 비전 분야에서 우수한 성능을 보이며 널리 사용되고 있다. 그러나 CNN은 계산 집약적이고 많은 메모리가 요구되어 한정적인 하드웨어 자원인 모바일이나 IoT(Internet of Things) 기기에 적용하기 어렵다는 문제가 있다. 이런 한계를 해결하기 위해, 기 학습된 깊은 CNN 모델의 성능을 최대한 유지하며 네트워크의 깊이나 크기를 줄이는 경량화 연구가 활발히 진행되고 있다. 본 논문은 네트워크 경량화 기술인 지식증류(knowledge distillation) 중 자가증류(self-distillation)를 초해상화 CNN 모델에 적용하여 성능을 평가, 분석한다. 실험 결과, 정량적 평가지표를 통하여 자가증류를 통해서도 성능이 우수한 경량화된 초해상화 모델을 얻을 수 있음을 확인하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.1226-1228
• /
• 2022

FHD 이상을 넘어선 UHD급의 고해상도 동영상 콘텐츠의 수요 및 공급이 증가함에 따라 전반적인 산업 영역에서 네트워크 자원을 효율적으로 이용하여 동영상 콘텐츠를 제공하는 데에 관심을 두게 되었다. 기존 방법을 통한 bi-cubic, bi-linear interpolation 등의 방법은 딥 러닝 기반의 모델에 비교적 인풋 이미지의 특징을 잘 잡아내지 못하는 결과를 나타내었다. 딥 러닝 기반의 초 해상화 기술의 경우 기존 방법과 비교 시 연산을 위해 더 많은 자원을 필요로 하므로, 이러한 사용 조건에 따라 본 논문은 초 해상화가 가능한 딥 러닝 모델을 경량화 기법을 사용하여 기존에 사용된 모델보다 비교적 적은 자원을 효율적으로 사용할 수 있도록 연구 개발하는 데 목적을 두었다. 연구방법으로는 structure pruning을 이용하여 모델 자체의 구조를 경량화 하였고, 학습을 진행해야 하는 파라미터를 줄여 하드웨어 자원을 줄이는 연구를 진행했다. 또한, Residual Network의 개수를 줄여가며 PSNR, LPIPS, tOF등의 결과를 비교했다.

• Journal of the KSME
• /
• v.35 no.8
• /
• pp.709-715
• /
• 1995

날로 그 중요성이 대두되고 있는 환경보존 문제에 능동적으로 대응하고 여러 계층 소비자의 안 전도, 쾌적성 등에 관련된 요구, 성능의 수준향상에 효과적으로 대처하기 위해서는 차량의 경량화 기술이 가장 먼저 선행되어야 할 과제이다. 경량화를 추구하는 방법은 최적설계 개념을 이용한 구조합리화에 의한 방법과 알루미늄, 강화 플라스틱 등 신소재 대체에 의한 방법이 병행 연구 되고 있다. 이 글에서는 구조합리화를 통한 경량화 목표를 달성하기 위해 설계 초기 단계에 활용 가능한 단순 보 모델 개발의 필요성에 관해 언급하고 실차의 도어 측면 붕괴강도(door side intrusion strength), 루프 붕괴강도 (roof crush strength) 해석을 위한 단순 보 모델 개발에 관해 소개하고자 한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.190-192
• /
• 2021

얼굴 검증 기술은 출입통제 시스템이나 모바일 기기에서의 열람 또는 금융 서비스 등 보안이 요구되는 다양한 분야에서 널리활용되고 있다. 최근 얼굴 검증 분야에서 높은 성능 향상을 보인 대부분의 검증 모델은 깊은 네트워크를 사용하므로 상대적으로 매우 큰 컴퓨팅 파워를 요구한다. 따라서 해당 모델들을 실환경에 적용하기 위해서는 모델 경량화 기술에 대한 고려가 반드시 필요하다. 얼굴 검증 연구에서 경량화 기술의 중요성에도 불구하고 해당 연구는 이제까지 잘 다뤄지지 않았다. 본 논문은 주요 얼굴 검증 모델에 대해서 지식 증류 기술을 수행하고, 이에 따른 실험 결과를 비교 분석하여 제시함으로써 경량화 기술 적용에 대한 방향성을 제시한다.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.24 no.1
• /
• pp.1-8
• /
• 2024

On-device AI technology, which can operate AI models at the edge devices to support real-time processing and privacy enhancement, is attracting attention. As intelligent IoT is applied to various industries, services utilizing the on-device AI technology are increasing significantly. However, general deep learning models require a lot of computational resources for inference and learning. Therefore, various lightweighting methods such as quantization and pruning have been suggested to operate deep learning models in embedded edge devices. Among the lightweighting methods, we analyze how to lightweight and apply deep learning models to edge computing devices, focusing on pruning technology in this paper. In particular, we utilize dynamic and static pruning techniques to evaluate the inference speed, accuracy, and memory usage of a lightweight AI vision model. The content analyzed in this paper can be used for intelligent video control systems or video security systems in autonomous vehicles, where real-time processing are highly required. In addition, it is expected that the content can be used more effectively in various IoT services and industries.