• 제목/요약/키워드: network pruning

검색결과 82건 처리시간 0.02초

신경망 학습 과정중 불필요한 입력 정보 및 파라미터들의 제거 (Elimination of Redundant Input Information and Parameters during Neural Network Training)

  • 원용관;박광규
    • 한국정보처리학회논문지
    • /
    • 제3권3호
    • /
    • pp.439-448
    • /
    • 1996
  • 형태 인식에서 유익한 특징정보의 선정 및 추출이 대단히 중요한 역할을 한다. 본 논문은 유익한 특징정보의 선정과 신경망의 학습을 동시에 수행할 수 있는 알고리 즘을 기술한다. 알고리즘은 근본적으로 반복적으로 수행되는 세 단계로 구성되어 있는데, 이들은 학습, 연결자 제거, 그리고 입력 신경세포 제거이다. 초기 학습을 실행한후, 먼저 적은 절대값을 갖는 연결자들이 제거 된다. 그런 후, 내부 계층 신경 세포들과 은 숫자의 결자들을 갖는 입력 신경세포들이 제거된다. 이 과정은 제거된 입력 신경세포들에 상응하는 특징정보들을 제외시키는 것과 동일하다. 만약, 에러값이 증가 하면, 연결자 제거 및 입력 신경세포 제거 과정의 반복으로 구성된 신경망의 재학습을 실행한다. 그 결과, 알고리즘은 다른 공간계로의 변환없이 특징정보 추출 공간내에서 중요한 특징들을 선정하게 된다. 또한, 즉징정보 선정인 형태 분류 관점에서의 성능과 긴밀하게 연결되어 수행되므로, 선정 된 특징정보들은 형태 분류에 가장 좋은 정보를 제공한다. 이 알고리즘은 불필요 또는 그다지 중요하지 않은 정보의 추출로 인한 경제 적 손실을 피할수 있게 한다. 더구나, 마지막에 얻어진 신경망은 인식 성능에 저해 요인이 될 수있는 불필요한 파라미터들, 즉 가중 연결자 및 바이어스를 포함하지 않는다. 응용결과,, 본 알고리즘은 가장 좋은 정보를 갖는 특징들만을 남기며, 성능 저하를 일으 키지 않으면서도 특징 벡터의 차원을 현저하게 줄였다.

  • PDF

인공신경망의 연결압축에 대한 연구 (A Study on Compression of Connections in Deep Artificial Neural Networks)

  • 안희준
    • 한국산업정보학회논문지
    • /
    • 제22권5호
    • /
    • pp.17-24
    • /
    • 2017
  • 최근 딥러닝, 즉 거대 또는 깊은 인공신경망을 사용한 기술이 놀라운 성능을 보이고 있고, 점차로 그 네트워크의 규모가 커지고 있다. 하지만, 신경망 크기의 증가는 계산양의 증가로 이어져서 회로의 복잡성, 가격, 발열, 실시간성 제약 등의 문제를 야기한다. 또한, 신경망 연결에는 많은 중복성이 존재한다, 본 연구에서는 이 중복성을 효과적으로 제거하여 이용하여 원 신경망의 성능과 원하는 범위안의 차이를 보이면서, 네트워크 연결의 수를 줄이는 방법을 제안하고 실험하였다. 특히, 재학습에 의하여 성능을 향상시키고, 각 계층별 차이를 고려하기 위하여 계층별 오류율을 할당하여 원하는 성능을 보장할 수 있는 간단한 방법을 제안하였다. 대표적인 영상인식 신경망구조인 FCN (전연결) 구조와 CNN (컨벌루션 신경망) 구조에서 대하여 실험한 결과 약 1/10 정도의 연결만으로도 원 신경망과 유사한 성능을 보일 수 있음을 확인하였다.

Complete and Incomplete Observability Analysis by Optimal PMU Placement Techniques of a Network

  • Krishna, K. Bala;Rosalina, K. Mercy;Ramaraj, N.
    • Journal of Electrical Engineering and Technology
    • /
    • 제13권5호
    • /
    • pp.1814-1820
    • /
    • 2018
  • State estimation of power systems has become vital in recent days of power operation and control. SCADA and EMS are intended for the state estimation and to communicate and monitor the systems which are operated at specified time. Although various methods are used we can achieve the better results by using PMU technique. On placing the PMU, operating time is reduced and making the performance reliable. In this paper, PMU placement is done in two ways. Those are 'optimal technique with pruning operation' and 'depth of unobservability' considering incomplete and complete observability of a network. By Depth of Unobservability Number of PMUs are reduced to attain Observability of the network. Proposed methods are tested on IEEE 14, 30, 57, SR-system and Sub systems (1, 2) with bus size of 270 and 444 buses. Along with achieving complete observability analysis, single PMU loss condition is also achieved.

CASPER: Congestion Aware Selection of Path with Efficient Routing in Multimedia Networks

  • Obaidat, Mohammad S.;Dhurandher, Sanjay K.;Diwakar, Khushboo
    • Journal of Information Processing Systems
    • /
    • 제7권2호
    • /
    • pp.241-260
    • /
    • 2011
  • In earlier days, most of the data carried on communication networks was textual data requiring limited bandwidth. With the rise of multimedia and network technologies, the bandwidth requirements of data have increased considerably. If a network link at any time is not able to meet the minimum bandwidth requirement of data, data transmission at that path becomes difficult, which leads to network congestion. This causes delay in data transmission and might also lead to packet drops in the network. The retransmission of these lost packets would aggravate the situation and jam the network. In this paper, we aim at providing a solution to the problem of network congestion in mobile ad hoc networks [1, 2] by designing a protocol that performs routing intelligently and minimizes the delay in data transmission. Our Objective is to move the traffic away from the shortest path obtained by a suitable shortest path calculation algorithm to a less congested path so as to minimize the number of packet drops during data transmission and to avoid unnecessary delay. For this we have proposed a protocol named as Congestion Aware Selection Of Path With Efficient Routing (CASPER). Here, a router runs the shortest path algorithm after pruning those links that violate a given set of constraints. The proposed protocol has been compared with two link state protocols namely, OSPF [3, 4] and OLSR [5, 6, 7, 8].The results achieved show that our protocol performs better in terms of network throughput and transmission delay in case of bulky data transmission.

클라이언트 서버 기반 모바일 볼륨 가시화 시스템 (Mobile Volume Rendering System for Client-Server Environment)

  • 이웅규;계희원
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제21권3호
    • /
    • pp.17-26
    • /
    • 2015
  • 본 연구는 클라이언트 서버 기반의 볼륨 가시화 시스템에 대해 설명한다. 소형 병원에서의 볼륨 가시화 시스템은 소수의 사용자만이 동시에 사용한다는 점에 착안하여, 단일 GPU를 장착한 PC를 렌더링 서버로 사용하고 클라이언트는 현재 대중적으로 사용하는 스마트 폰과 같은 안드로이드 기반의 모바일 장비를 사용하였다. 사용자가 클라이언트 응용 프로그램을 이용하여 렌더링 요청을 하면, 서버는 GPU를 사용하여 볼륨 가시화를 수행한다. 렌더링 영상은 서버에서 JPEG나 PNG 형식으로 압축하는데, 네트워크 전송량을 감소시켜 가시화 속도를 향상시킬 수 있다. 추가적으로 사용자가 터치 스크린을 드래그 하는 경우 반응시간을 향상하기 위해, 사용자가 발생하는 일부의 이벤트를 제거하며 서버는 제거된 이벤트를 보간을 통해 보상하는 방법을 제안한다. 그 결과로 제안 시스템은 5명의 동시 사용자에 대해 GPU를 장착한 단일 상용 하드웨어로 실시간 볼륨 가시화가 가능하였다.

고성능 침입방지 시스템을 위해 개선한 시그니처 해싱 기반 패턴 매칭 기법 (An Improved Signature Hashing-based Pattern Matching for High Performance IPS)

  • 이영실;김낙현;이훈재
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2010년도 추계학술대회
    • /
    • pp.434-437
    • /
    • 2010
  • 시그니처 기반 필터링(Signature based filtering)은 이미 알려진 공격으로부터 방어하는 방법으로, 침입방지 시스템을 통과하는 패킷의 페이로드와 시그니처라 불리는 공격 패턴들과 비교하여 같으면 그 패킷을 폐기한다. 그러나 시그니처의 개수가 증가함에 따라 하나의 들어온 패킷에 대하여 요구되는 패턴 매칭 시간은 증가하게 되어 패킷의 지연현상이 발생한다. 고성능 침입방지 시스템을 위해서는 보다 효율적인 패턴 매칭 알고리즘이 필요하며, 패턴 매칭의 수행 성능 향상을 위해 가장 중요한 부분은 처리해야 하는 패킷이 도착했을 때, 해당 패킷의 데이터를 룰의 시그니처와 비교하는 횟수를 줄이는데 있다. 이에 본 논문에서는 고성능 침입방지 시스템의 개발을 위해 기존의 제안된 시그니처 해싱 기반의 침입방지 시스템에 패킷 분류를 위한 다차원 검색을 튜플 공간이라는 이차원 공간을 이용하여 검색하는 튜플 공간 패킷 분류 알고리즘과 블룸 필터를 적용한 패턴 매칭 방법을 제안한다.

  • PDF

구조적 압축을 통한 FPGA 기반 GRU 추론 가속기 설계 (Implementation of FPGA-based Accelerator for GRU Inference with Structured Compression)

  • 채병철
    • 한국정보통신학회논문지
    • /
    • 제26권6호
    • /
    • pp.850-858
    • /
    • 2022
  • 리소스가 제한된 임베디드 장치에 GRU를 배포하기 위해 이 논문은 구조적 압축을 가능하게 하는 재구성 가능한 FPGA 기반 GRU 가속기를 설계한다. 첫째, 조밀한 GRU 모델은 하이브리드 양자화 방식과 구조화된 top-k 프루닝에 의해 크기가 대폭 감소한다. 둘째, 본 연구에서 제시하는 재사용 컴퓨팅 패턴에 의해 외부 메모리 액세스에 대한 에너지 소비가 크게 감소한다. 마지막으로 가속기는 알고리즘-하드웨어 공동 설계 워크플로의 이점을 얻는 구조화된 희소 GRU 모델을 처리할 수 있다. 또한 모든 차원, 시퀀스 길이 및 레이어 수를 사용하여 GRU 모델에 대한 추론 작업을 유연하게 수행할 수 있다. Intel DE1-SoC FPGA 플랫폼에 구현된 제안된 가속기는 일괄 처리가 없는 구조화된 희소 GRU 네트워크에서 45.01 GOPs를 달성하였다. CPU 및 GPU의 구현과 비교할 때 저비용 FPGA 가속기는 대기 시간에서 각각 57배 및 30배, 에너지 효율성에서 300배 및 23.44배 향상을 달성한다. 따라서 제안된 가속기는 실시간 임베디드 애플리케이션에 대한 초기 연구로서 활용, 향후 더 발전될 수 있는 잠재력을 보여준다.

A Lightweight Pedestrian Intrusion Detection and Warning Method for Intelligent Traffic Security

  • Yan, Xinyun;He, Zhengran;Huang, Youxiang;Xu, Xiaohu;Wang, Jie;Zhou, Xiaofeng;Wang, Chishe;Lu, Zhiyi
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권12호
    • /
    • pp.3904-3922
    • /
    • 2022
  • As a research hotspot, pedestrian detection has a wide range of applications in the field of computer vision in recent years. However, current pedestrian detection methods have problems such as insufficient detection accuracy and large models that are not suitable for large-scale deployment. In view of these problems mentioned above, a lightweight pedestrian detection and early warning method using a new model called you only look once (Yolov5) is proposed in this paper, which utilizing advantages of Yolov5s model to achieve accurate and fast pedestrian recognition. In addition, this paper also optimizes the loss function of the batch normalization (BN) layer. After sparsification, pruning and fine-tuning, got a lot of optimization, the size of the model on the edge of the computing power is lower equipment can be deployed. Finally, from the experimental data presented in this paper, under the training of the road pedestrian dataset that we collected and processed independently, the Yolov5s model has certain advantages in terms of precision and other indicators compared with traditional single shot multiBox detector (SSD) model and fast region-convolutional neural network (Fast R-CNN) model. After pruning and lightweight, the size of training model is greatly reduced without a significant reduction in accuracy, and the final precision reaches 87%, while the model size is reduced to 7,723 KB.

GEP-based Framework for Immune-Inspired Intrusion Detection

  • Tang, Wan;Peng, Limei;Yang, Ximin;Xie, Xia;Cao, Yang
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제4권6호
    • /
    • pp.1273-1293
    • /
    • 2010
  • Immune-inspired intrusion detection is a promising technology for network security, and well known for its diversity, adaptation, self-tolerance, etc. However, scalability and coverage are two major drawbacks of the immune-inspired intrusion detection systems (IIDSes). In this paper, we propose an IIDS framework, named GEP-IIDS, with improved basic system elements to address these two problems. First, an additional bio-inspired technique, gene expression programming (GEP), is introduced in detector (corresponding to detection rules) representation. In addition, inspired by the avidity model of immunology, new avidity/affinity functions taking the priority of attributes into account are given. Based on the above two improved elements, we also propose a novel immune algorithm that is capable of integrating two bio-inspired mechanisms (i.e., negative selection and positive selection) by using a balance factor. Finally, a pruning algorithm is given to reduce redundant detectors that consume footprint and detection time but do not contribute to improving performance. Our experimental results show the feasibility and effectiveness of our solution to handle the scalability and coverage problems of IIDS.

Efficient Query Retrieval from Social Data in Neo4j using LIndex

  • Mathew, Anita Brigit
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권5호
    • /
    • pp.2211-2232
    • /
    • 2018
  • The unstructured and semi-structured big data in social network poses new challenges in query retrieval. This requirement needs to be met by introducing quality retrieval time measures like indexing. Due to the huge volume of data storage, there originate the need for efficient index algorithms to promote query processing. However, conventional algorithms fail to index the huge amount of frequently obtained information in real time and fall short of providing scalable indexing service. In this paper, a new LIndex algorithm, which is a heuristic on Lucene is built on Neo4jHA architecture that holds the social network Big data. LIndex is a flexible and simplified adaptive indexing scheme that ascendancy decomposed shortest paths around term neighbors as basic indexing unit. This newfangled index proves to be effectual in query space pruning of graph database Neo4j, scalable in index construction and deployment. A graph query is processed and optimized beyond the traditional Lucene in a time-based manner to a more efficient path method in LIndex. This advanced algorithm significantly reduces query fetch without compromising the quality of results in time. The experiments are conducted to confirm the efficiency of the proposed query retrieval in Neo4j graph NoSQL database.