• 제목/요약/키워드: network pruning

검색결과 82건 처리시간 0.022초

Energy efficiency task scheduling for battery level-aware mobile edge computing in heterogeneous networks

  • Xie, Zhigang;Song, Xin;Cao, Jing;Xu, Siyang
    • ETRI Journal
    • /
    • 제44권5호
    • /
    • pp.746-758
    • /
    • 2022
  • This paper focuses on a mobile edge-computing-enabled heterogeneous network. A battery level-aware task-scheduling framework is proposed to improve the energy efficiency and prolong the operating hours of battery-powered mobile devices. The formulated optimization problem is a typical mixed-integer nonlinear programming problem. To solve this nondeterministic polynomial (NP)-hard problem, a decomposition-based task-scheduling algorithm is proposed. Using an alternating optimization technology, the original problem is divided into three subproblems. In the outer loop, task offloading decisions are yielded using a pruning search algorithm for the task offloading subproblem. In the inner loop, closed-form solutions for computational resource allocation subproblems are derived using the Lagrangian multiplier method. Then, it is proven that the transmitted power-allocation subproblem is a unimodal problem; this subproblem is solved using a gradient-based bisection search algorithm. The simulation results demonstrate that the proposed framework achieves better energy efficiency than other frameworks. Additionally, the impact of the battery level-aware scheme on the operating hours of battery-powered mobile devices is also investigated.

신경망을 이용한 태풍진로 예측 (Typhoon Track Prediction using Neural Networks)

  • 박성진;조성준
    • 지능정보연구
    • /
    • 제4권1호
    • /
    • pp.79-87
    • /
    • 1998
  • 정확한 태풍진로 예측은 동아시아 최대의 자연재해인 태풍의 피해를 최소화하는데 필수적이다. 기상역학에 기초를 둔 수치모델과 회귀분석등의 통계적 접근법이 사용되어왔다. 본 논문에서는 비선형 신경망모델인 다층퍼셉트론을 제안한다. 즉, 태풍진로예측을 이동경로, 속도, 기압 등의 변수로 이루어진 시계열의 예측으로 본다. 1945년부터 1989년까지 한반도에 접근한 태풍 데이터를 이용하여 제안된 신경망을 학습한 후, 94, 95년도에 접근한 태풍의 진로를 예측하였다. 신경망의 예측성능은 수치모델의 성능보다 조금 우수하거나 비슷하였다. 신경망의 성능은 충분히 더 향상될 수 있는 여지가 있다. 또한, 고가의 슈퍼컴퓨터로 여러 시간 계산을 해야하는 수치모델에 비하여 PC상에서 수초만에 계산을 할 수 있는 신경망 모델은 비용 면에서도 장점이 있다.

  • PDF

판별자를 활용한 적대적 생성 신경망 프루닝 (Generative Adversarial Network Pruning using Discriminator)

  • 이동준;이승현;송병철
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2022년도 추계학술대회
    • /
    • pp.123-125
    • /
    • 2022
  • 본 논문에서는 판별자를 활용하여 Image to Image translation(I2I) 분야에서 사용되는 적대적 생성 신경망(GAN)을 압축하는 방법을 제시한다. 우선, 잘 학습된 판별자와 생성자 사이의 adversarial loss 를 활용하여 생성자 내 필터들의 중요도 점수를 매겨준다. 그리고 생성자 내의 필터들을 중요도 점수를 기준으로 나열한 후 점수가 낮은 필터들을 제거하는 필터 프루닝을 한번 수행하여 적은 시간 비용으로 생성자를 압축한다. 마지막으로 지식 증류를 활용해 압축된 생성자를 학습시켜 기존의 생성자와 유사한 성능을 보이도록 하였다. 이 과정들을 통해 효과적이고 빠르게 GAN 모델을 압축할 수 있음을 확인하였다.

  • PDF

동적 필터 프루닝 기법을 이용한 심층 신경망 압축 (Dynamic Filter Pruning for Compression of Deep Neural Network.)

  • 조인천;배성호
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2020년도 하계학술대회
    • /
    • pp.675-679
    • /
    • 2020
  • 최근 이미지 분류의 성능 향상을 위해 깊은 레이어와 넓은 채널을 가지는 모델들이 제안되어져 왔다. 높은 분류 정확도를 보이는 모델을 제안하는 것은 과한 컴퓨팅 파워와 계산시간을 요구한다. 본 논문에서는 이미지 분류 기법에서 사용되는 딥 뉴럴 네트워크 모델에 있어, 프루닝 방법을 통해 상대적으로 불필요한 가중치를 제거함과 동시에 분류 정확도 하락을 최소로 하는 동적 필터 프루닝 방법을 제시한다. 원샷 프루닝 기법, 정적 필터 프루닝 기법과 다르게 제거된 가중치에 대해서 소생 기회를 제공함으로써 더 좋은 성능을 보인다. 또한, 재학습이 필요하지 않기 때문에 빠른 계산 속도와 적은 컴퓨팅 파워를 보장한다. ResNet20 에서 CIFAR10 데이터셋에 대하여 실험한 결과 약 50%의 압축률에도 88.74%의 분류 정확도를 보였다.

  • PDF

MPEG-NNR 의 지역 비선형 양자화를 이용한 CNN 압축 (Compression of CNN Using Local Nonlinear Quantization in MPEG-NNR)

  • 이정연;문현철;김수정;김재곤
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2020년도 하계학술대회
    • /
    • pp.662-663
    • /
    • 2020
  • 최근 MPEG 에서는 인공신경망 모델을 다양한 딥러닝 프레임워크에서 상호운용 가능한 포맷으로 압축 표현할 수 있는 NNR(Compression of Neural Network for Multimedia Content Description and Analysis) 표준화를 진행하고 있다. 본 논문에서는 MPEG-NNR 에서 CNN 모델을 압축하기 위한 지역 비선형 양자화(Local Non-linear Quantization: LNQ) 기법을 제시한다. 제안하는 LNQ 는 균일 양자화된 CNN 모델의 각 계층의 가중치 행렬 블록 단위로 추가적인 비선형 양자화를 적용한다. 또한, 제안된 LNQ 는 가지치기(pruning)된 모델의 경우 블록내의 영(zero) 값의 가중치들은 그대로 전송하고 영이 아닌 가중치만을 이진 군집화를 적용한다. 제안 기법은 음성 분류를 위한 CNN 모델(DCASE Task)의 압축 실험에서 기존 균일 양자화를 대비 동일한 분류 성능에서 약 1.78 배 압축 성능 향상이 있음을 확인하였다.

  • PDF

탐색 영역 추출을 위한 추상 그래프 탐색 알고리즘 설계 (A Path-Finding Algorithm on an Abstract Graph for Extracting Estimated Search Space)

  • 김지수;이지완;문대진;조대수
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2008년도 추계종합학술대회 B
    • /
    • pp.147-150
    • /
    • 2008
  • 실제 전체 도로망을 하나의 그리드로 간주하며, 그리드는 여러 개의 고정된 셀로 나누어진다. 경로 탐색 기법은 2단계 탐색으로 나누어진다. 1차 탐색은 실제 도로 네트워크와 고정 셀로부터 생성된 가상 정점과 가상 간선으로 이루어진 추상 그래프에서 우선 탐색한다 추상 그래프에서 탐색된 가상 경로를 포함하고 있는 영역을 유효 셀이라 하며, 2차 탐색은 추상 그래프에서 제공하는 유효 셀 내에서 $A^*$ 알고리즘 탐색을 한다. 즉, 유효 셀을 제외한 무효 셀을 제거함으로서 탐색 비용을 줄일 가능성이 있다. 이 논문에서는 추상 그래프 생성 방법과 탐색 영역 추출을 위한 추상 그래프 경로탐색 알고리즘을 제안한다.

  • PDF

동일 특성 노드 제거를 통한 추상 그래프 기반의 경로 탐색 알고리즘 (A Path Finding Algorithm based on an Abstract Graph Created by Homogeneous Node Elimination Technique)

  • 김지수;이지완;조대수
    • 한국공간정보시스템학회 논문지
    • /
    • 제11권4호
    • /
    • pp.39-46
    • /
    • 2009
  • 일반적으로 휴리스틱을 이용한 알고리즘에서는 탐색 비용이 증가하는 문제가 발생할 수 있다. 휴리스틱에 의해 결정된 추정 경로에 실제 경로가 존재하지 않을 경우, 휴리스틱 가중치 값이 비슷한 2 가지 이상의 경로가 존재할 경우 탐색 비용이 증가한다. 이 논문에서는 탐색 비용 증가 문제점을 해결하기 위해 추상 그래프를 제안한다. 추상 그래프는 실제 도로를 단순화한 그래프로서, 전체 지도를 고정된 크기의 그리드 셀로 나누고, 셀과 도로 정보를 기반으로 생성된다. 경로 탐색은 추상 그래프 탐색, 실제 도로 네트워크 탐색 순으로 2단계로 수행된다. 106,254개의 간선으로 이루어진 실제 도로 네트워크 데이터에 대해서 성능 평가 실험을 수행한 결과와 탐색 비용 측면에서 그리드 셀 크기에 따라 그리드 기반 A* 알고리즘에 비해 최소 3%에서 최대 35% 좋은 성능을 보였다. 반면에 유효 셀을 제외한 영역에 대한 탐색이 이루어지지 않기 때문에, 생성된 경로의 이동 비용은 1.5~6.6% 증가하였다.

  • PDF

도로 기반 이동 애드 혹 망에서 질의 처리 방법 (Query Routing in Road-Based Mobile Ad-Hoc Networks)

  • 황소영;김경숙;이기준
    • 정보처리학회논문지D
    • /
    • 제12D권2호
    • /
    • pp.259-266
    • /
    • 2005
  • 최근 데이터 중심 라우팅 및 응용 분야에 기반한 라우팅 프로토콜이 이동 애드 혹 망에 다양하게 적용되고 있다. 본 논문에서는 이러한 이동 애드 혹 망에서 질의 처리를 위한 라우팅 기법을 제안한다. 이는 도로 네트워크를 기반으로 실시간 교통 정보를 획득하기 위한 라우팅 방법으로 중앙 서버 없이 도로 위를 움직이는 이동 노드들이 자율적으로 애드 혹 망을 형성하여 질의를 처리한다. 즉, 라우팅 메시지 내에 도로 연결성을 고려한 질의 속성을 포함시키고 도로 위를 순회하는 이동 노드들로부터 실시간으로 정보를 획득하는 것이다. 본 기법에서는 경로 설정 단계와 데이터 전달(질의 처리) 단계를 단일화 하고, 도로 정보를 이용하여 불필요한 라우팅 메시지의 전달을 줄이는데 초점을 두었다. 제안한 라우팅 기법의 응용을 위해 도착 시간에 의존한 최단 경로 검색 질의를 적용하였고 성능 평가를 위해 실제 도로 네트워크와 도로 위를 순회하는 이동 노드들로 구성된 시뮬레이션 환경을 구축하였다. 주요 측정 요소는 경로 선정 및 질의 처리에 필요한 메시지 수로 이는 에너지 효율성 및 무선 대역 효율성에도 영향을 미친다. 시뮬레이션 결과는 라우팅 메시지 수 감소에 도로 정보가 지배적인 요인이 됨을 보여준다.

비디오 인코더를 통한 딥러닝 모델의 정수 가중치 압축 (Compression of DNN Integer Weight using Video Encoder)

  • 김승환;류은석
    • 방송공학회논문지
    • /
    • 제26권6호
    • /
    • pp.778-789
    • /
    • 2021
  • 최근 다양한 분야에서 뛰어난 성능을 나타내는 Convolutional Neural Network(CNN)모델을 모바일 기기에서 사용하기 위한 다양한 연구가 진행되고 있다. 기존의 CNN 모델은 모바일 장비에서 사용하기에는 가중치의 크기가 크고 연산복잡도가 높다는 문제점이 있다. 이를 해결하기 위해 가중치의 표현 비트를 낮추는 가중치 양자화를 포함한 여러 경량화 방법들이 등장하였다. 많은 방법들이 다양한 모델에서 적은 정확도 손실과 높은 압축률을 나타냈지만, 대부분의 압축 모델들은 정확도 손실을 복구하기 위한 재학습 과정을 포함시켰다. 재학습 과정은 압축된 모델의 정확도 손실을 최소화하지만 많은 시간과 데이터를 필요로 하는 작업이다. Weight Quantization이후 각 층의 가중치는 정수형 행렬로 나타나는데 이는 이미지의 형태와 유사하다. 본 논문에서는 Weight Quantization이후 각 층의 정수 가중치 행렬을 이미지의 형태로 비디오 코덱을 사용하여 압축하는 방법을 제안한다. 제안하는 방법의 성능을 검증하기 위해 ImageNet과 Places365 데이터 셋으로 학습된 VGG16, Resnet50, Resnet18모델에 실험을 진행하였다. 그 결과 다양한 모델에서 2%이하의 정확도 손실과 높은 압축 효율을 달성했다. 또한, 재학습 과정을 제외한 압축방법인 No Fine-tuning Pruning(NFP)와 ThiNet과의 성능비교 결과 2배 이상의 압축효율이 있음을 검증했다.

Multi-classification Sensitive Image Detection Method Based on Lightweight Convolutional Neural Network

  • Yueheng Mao;Bin Song;Zhiyong Zhang;Wenhou Yang;Yu Lan
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권5호
    • /
    • pp.1433-1449
    • /
    • 2023
  • In recent years, the rapid development of social networks has led to a rapid increase in the amount of information available on the Internet, which contains a large amount of sensitive information related to pornography, politics, and terrorism. In the aspect of sensitive image detection, the existing machine learning algorithms are confronted with problems such as large model size, long training time, and slow detection speed when auditing and supervising. In order to detect sensitive images more accurately and quickly, this paper proposes a multiclassification sensitive image detection method based on lightweight Convolutional Neural Network. On the basis of the EfficientNet model, this method combines the Ghost Module idea of the GhostNet model and adds the SE channel attention mechanism in the Ghost Module for feature extraction training. The experimental results on the sensitive image data set constructed in this paper show that the accuracy of the proposed method in sensitive information detection is 94.46% higher than that of the similar methods. Then, the model is pruned through an ablation experiment, and the activation function is replaced by Hard-Swish, which reduces the parameters of the original model by 54.67%. Under the condition of ensuring accuracy, the detection time of a single image is reduced from 8.88ms to 6.37ms. The results of the experiment demonstrate that the method put forward has successfully enhanced the precision of identifying multi-class sensitive images, significantly decreased the number of parameters in the model, and achieved higher accuracy than comparable algorithms while using a more lightweight model design.