• Title/Summary/Keyword: 제한된 압축성 모델

Search Result 37, Processing Time 0.023 seconds

Acceleration of CNN Model Using Neural Network Compression and its Performance Evaluation on Embedded Boards (임베디드 보드에서의 인공신경망 압축을 이용한 CNN 모델의 가속 및 성능 검증)

  • Moon, Hyeon-Cheol;Lee, Ho-Young;Kim, Jae-Gon
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2019.11a
    • /
    • pp.44-45
    • /
    • 2019
  • 최근 CNN 등 인공신경망은 최근 이미지 분류, 객체 인식, 자연어 처리 등 다양한 분야에서 뛰어난 성능을 보이고 있다. 그러나, 대부분의 분야에서 보다 더 높은 성능을 얻기 위해 사용한 인공신경망 모델들은 파라미터 수 및 연산량 등이 방대하여, 모바일 및 IoT 디바이스 같은 연산량이나 메모리가 제한된 환경에서 추론하기에는 제한적이다. 따라서 연산량 및 모델 파라미터 수를 압축하기 위한 딥러닝 경량화 알고리즘이 연구되고 있다. 본 논문에서는 임베디트 보드에서의 압축된 CNN 모델의 성능을 검증한다. 인공지능 지원 맞춤형 칩인 QCS605 를 내장한 임베디드 보드에서 카메라로 입력한 영상에 대해서 원 CNN 모델과 압축된 CNN 모델의 분류 성능과 동작속도 비교 분석한다. 본 논문의 실험에서는 CNN 모델로 MobileNetV2, VGG16 을 사용했으며, 주어진 모델에서 가지치기(pruning) 기법, 양자화, 행렬 분해 등의 인공신경망 압축 기술을 적용하였을 때 원래의 모델 대비 추론 시간 및 분류의 정확도 성능을 분석하고 인공신경망 압축 기술의 유용성을 확인하였다.

  • PDF

모델 재료를 이용한 대형 개방형 단조품의 성형에 관한 연구

  • Lee, Geun-An;Im, Yong-Taek;Lee, Jong-Su;Hong, Seong-Seok;Jo, Nam-Chun
    • Transactions of Materials Processing
    • /
    • v.1 no.2
    • /
    • pp.52-62
    • /
    • 1992
  • 본 연구에서는 모델재료를 이용한 모사실험을 통하여 고온의 강을 단조하였을 때의 유동과 변형 그리고 하중을 검토하고, 이어 성형에 관한 연구를 하였다. 모델재료인 플라스티신은 고용의 강을 모사하는데 많이 쓰이는데, 실험을 통하여 플라스티신과 강과의 변형저항식을 비교 검토하였다. 이 실험결과 상사성이 어느정도 일치함을 알았고, 이 상사성 결과를 이용하여 실제와 모델사이의 하중과 응력비를 검출하였다. 이로써 플라스티신을 이용한 단조 압축 실험을 통하여 실제의 하중을 예측하였다. 또한 예비 성형체를 설계하기 위하여 앞서 실험한 결과들을 이용하여 초기의 실린더의 체적과 치수를 결정하고 이에 단계에 따른 성형과정을 통하여 예비 성형체를 만들었는데, 이는 제한된 용량으로 성형하여야 하는 문제를 해결하기 위함이었다. 실험 결과 8단계에 따른 성형과정에 의해 우리가 원하는 대형 단조품을 성형할 수 있음을 알았다.

  • PDF

Design Optimization of a RC Building Structure for Minimizing Material Cost (재료비 최소화를 위한 RC 빌딩 구조물의 최적설계)

  • Ahn, Hee-Jae;Park, Chang-Hyun;Choi, Dong-Hoon;Jung, Cheul-Kyu
    • Proceedings of the Computational Structural Engineering Institute Conference
    • /
    • 2010.04a
    • /
    • pp.568-573
    • /
    • 2010
  • 본 논문에서는 압축하중 및 풍하중, 지진하중을 받는 RC (Reinforced Concrete) 빌딩 시공에 필요한 부재의 재료비를 최소화하기 위해 부재의 부피를 최소화하는 최적설계를 수행한다. 최적설계 수행을 위해 상용 PIDO (Process Integration and Design Optimization) 툴인 PIAnO (Process Integration, Automation and Optimization)에서 제공하는 다양한 설계기법들을 이용한다. 먼저 실험계획법을 사용하여 실험계획을 세우고, 실험점에 따라 범용 구조해석 프로그램인 MIDAS Gen을 사용하여 구조해석을 수행한다. 그리고 해석결과를 바탕으로 각 응답에 대한 근사모델을 생성한 후 근사모델과 최적화기법을 이용하여 최적설계를 수행하고, 제한조건을 만족하면서 부재의 부피를 최소화함으로써 제안된 설계방법의 유효성을 보인다.

  • PDF

Explanation-focused Adaptive Multi-teacher Knowledge Distillation (다중 신경망으로부터 해석 중심의 적응적 지식 증류)

  • Chih-Yun Li;Inwhee Joe
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2024.05a
    • /
    • pp.592-595
    • /
    • 2024
  • 엄청난 성능에도 불구하고, 심층 신경망은 예측결과에 대한 설명이 없는 블랙 박스로 작동한다는 비판을 받고 있다. 이러한 불투명한 표현은 신뢰성을 제한하고 모델의 대한 과학적 이해를 방해한다. 본 연구는 여러 개의 교사 신경망으로부터 설명 중심의 학생 신경망으로 지식 증류를 통해 해석 가능성을 향상시키는 것을 제안한다. 구체적으로, 인간이 정의한 개념 활성화 벡터 (CAV)를 통해 교사 모델의 개념 민감도를 방향성 도함수를 사용하여 계량화한다. 목표 개념에 대한 민감도 점수에 비례하여 교사 지식 융합을 가중치를 부여함으로써 증류된 학생 모델은 양호한 성능을 달성하면서 네트워크 논리를 해석으로 집중시킨다. 실험 결과, ResNet50, DenseNet201 및 EfficientNetV2-S 앙상블을 7 배 작은 아키텍처로 압축하여 정확도가 6% 향상되었다. 이 방법은 모델 용량, 예측 능력 및 해석 가능성 사이의 트레이드오프를 조화하고자 한다. 이는 모바일 플랫폼부터 안정성이 중요한 도메인에 걸쳐 믿을 수 있는 AI 의 미래를 여는 데 도움이 될 것이다.

Preprocessing System for Real-time and High Compression MPEG-4 Video Coding (실시간 고압축 MPEG-4 비디오 코딩을 위한 전처리 시스템)

  • 김준기;홍성수;이호석
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.9 no.5
    • /
    • pp.509-520
    • /
    • 2003
  • In this paper, we developed a new and robust algorithm for a practical and very efficient MPEG-4 video coding. The MPEG-4 video group has developed the video Verification Model(VM) which evolved through time by means of core experiments. And in the standardization process, MS-FDAM was developed based on the standard document of ISO/IEC 14496-2 and VM as a reference MPEG-4 coding system. But MS -FDAM has drawbacks in practical MPEG-4 coding and it does not have the VOP extraction functionality. In this research, we implemented a preprocessing system for a real-time input and the VOP extraction for a practical content-based MPEG-4 video coding and also implemented the motion detection to achieve the high compression rate of 180:1.

Intra Block Copy Analysis to Improve Coding Efficiency for Immersive Video (몰입형 비디오 압축을 위한 화면 내 블록 카피 성능 분석)

  • Lee, Soonbin;Jeong, Jong-Beom;Ryu, Il-Woong;Kim, Sungbin;Kim, Inae;Ryu, Eun-Seok
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2020.07a
    • /
    • pp.1-5
    • /
    • 2020
  • 최근 MPEG-I 그룹에서는 표준화가 진행중인 몰입형 미디어(Immersive Media)에 대한 압축 성능 탐색이 이루어지고 있다. 몰입형 비디오는 다수의 시점 영상과 깊이 맵을 통한 깊이 맵 기반 이미지 렌더링(DIBR)을 바탕으로 제한적 6DoF 을 제공하고자 하는 기술이다. 현재 MIV(Model for Immersive Video) 기술에서는 바탕 시점(Basic View)과 각 시점의 고유한 영상 정보를 패치 단위로 모아둔 추가 시점(Additional View)으로 처리하는 모델을 채택하고 있다. 그 중에서 추가 시점은 일반적인 영상과는 달리 시간적/공간적 상관성이 떨어지는 분절적인 형태로 이루어져 있어 비디오 인코더에 대해 최적화가 되어 있지 않으며, 처리 방법의 특성에 따라 자기 유사적인 형태를 지니게 된다. 따라서 MIV 에서 스크린 콘텐츠 코딩 성능과 함께 화면 내 블록 카피(IBC: intra block copy) 기술에 대한 성능을 분석 결과를 제시한다. IBC 미적용 대비 최대 7.56%의 Y-PSNR BD-rate 감소가 가능함을 확인하였으며, 영상의 특성에 따라 IBC 의 선택 비율을 확인하여 추가 시점의 효율적인 압축 형태를 고찰한다.

  • PDF

Side-Channel Archive Framework Using Deep Learning-Based Leakage Compression (딥러닝을 이용한 부채널 데이터 압축 프레임 워크)

  • Sangyun Jung;Sunghyun Jin;Heeseok Kim
    • Journal of the Korea Institute of Information Security & Cryptology
    • /
    • v.34 no.3
    • /
    • pp.379-392
    • /
    • 2024
  • With the rapid increase in data, saving storage space and improving the efficiency of data transmission have become critical issues, making the research on the efficiency of data compression technologies increasingly important. Lossless algorithms can precisely restore original data but have limited compression ratios, whereas lossy algorithms provide higher compression rates at the expense of some data loss. There has been active research in data compression using deep learning-based algorithms, especially the autoencoder model. This study proposes a new side-channel analysis data compressor utilizing autoencoders. This compressor achieves higher compression rates than Deflate while maintaining the characteristics of side-channel data. The encoder, using locally connected layers, effectively preserves the temporal characteristics of side-channel data, and the decoder maintains fast decompression times with a multi-layer perceptron. Through correlation power analysis, the proposed compressor has been proven to compress data without losing the characteristics of side-channel data.

RBM-based distributed representation of language (RBM을 이용한 언어의 분산 표상화)

  • You, Heejo;Nam, Kichun;Nam, Hosung
    • Korean Journal of Cognitive Science
    • /
    • v.28 no.2
    • /
    • pp.111-131
    • /
    • 2017
  • The connectionist model is one approach to studying language processing from a computational perspective. And building a representation in the connectionist model study is just as important as making the structure of the model in that it determines the level of learning and performance of the model. The connectionist model has been constructed in two different ways: localist representation and distributed representation. However, the localist representation used in the previous studies had limitations in that the unit of the output layer having a rare target activation value is inactivated, and the past distributed representation has the limitation of difficulty in confirming the result by the opacity of the displayed information. This has been a limitation of the overall connection model study. In this paper, we present a new method to induce distributed representation with local representation using abstraction of information, which is a feature of restricted Boltzmann machine, with respect to the limitation of such representation of the past. As a result, our proposed method effectively solves the problem of conventional representation by using the method of information compression and inverse transformation of distributed representation into local representation.

Implementation of FPGA-based Accelerator for GRU Inference with Structured Compression (구조적 압축을 통한 FPGA 기반 GRU 추론 가속기 설계)

  • Chae, Byeong-Cheol
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.26 no.6
    • /
    • pp.850-858
    • /
    • 2022
  • To deploy Gate Recurrent Units (GRU) on resource-constrained embedded devices, this paper presents a reconfigurable FPGA-based GRU accelerator that enables structured compression. Firstly, a dense GRU model is significantly reduced in size by hybrid quantization and structured top-k pruning. Secondly, the energy consumption on external memory access is greatly reduced by the proposed reuse computing pattern. Finally, the accelerator can handle a structured sparse model that benefits from the algorithm-hardware co-design workflows. Moreover, inference tasks can be flexibly performed using all functional dimensions, sequence length, and number of layers. Implemented on the Intel DE1-SoC FPGA, the proposed accelerator achieves 45.01 GOPs in a structured sparse GRU network without batching. Compared to the implementation of CPU and GPU, low-cost FPGA accelerator achieves 57 and 30x improvements in latency, 300 and 23.44x improvements in energy efficiency, respectively. Thus, the proposed accelerator is utilized as an early study of real-time embedded applications, demonstrating the potential for further development in the future.

Numerical Simulation of Hydro-Acoustic Flow in Piezo Inkjet Print Head (피에조 잉크젯 헤드의 음향파 거동의 수치 해석)

  • Lee, You-Seop;Wee, Sang-Kwon;Oh, Se-Young;Chung, Jae-Woo
    • Transactions of the Korean Society of Mechanical Engineers B
    • /
    • v.31 no.1 s.256
    • /
    • pp.51-61
    • /
    • 2007
  • This paper presents numerical and theoretical studies of acoustic wave interactions in slightly compressible liquids within piezoelectrically driven inkjet print heads. The interconnected flow channels may cause jet crosstalk, resulting in poor printing quality. It should be reduced by modifying the channel structure with the acoustic wave interactions considered. Compressible gas flow driven by the sudden movement of a top wall in the channel is calculated using Flow3D and is validated with the narrow gap theory. Limited compressibility model of the Flow3D is employed to calculate pressure waves of slightly compressible ink flow. It is found that reducing restrictor width can damp out the jet crosstalk by inhibiting the pressure wave propagation. The degree of crosstalk has been quantified using the maximum values of cross-correlations between neighboring channels and a critical channel dimension for acceptable crosstalk has been proposed. This finding is verified by drop visualization experiments using silicon-micromachined piezo inkjet print heads that are fabricated by our group.