• 제목/요약/키워드: Network Pruning

검색결과 85건 처리시간 0.023초

러프셋 이론을 이용한 신경망의 구조 최적화 (Structure Optimization of Neural Networks using Rough Set Theory)

  • 정영준;이동욱;심귀보
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 1998년도 춘계학술대회 학술발표 논문집
    • /
    • pp.49-52
    • /
    • 1998
  • Neural Network has good performance in pattern classification, control and many other fields by learning ability. However, there is effective rule or systematic approach to determine optimal structure. In this paper, we propose a new method to find optimal structure of feed-forward multi-layer neural network as a kind of pruning method. That eliminating redundant elements of neural network. To find redundant elements we analysis error and weight changing with Rough Set Theory, in condition of executing back-propagation leaning algorithm.

  • PDF

수레바퀴 살 퍼즐에 관한 전정 알고리즘 (Pruning Algorithm for Spokes Puzzle)

  • 이상운
    • 한국인터넷방송통신학회논문지
    • /
    • 제24권4호
    • /
    • pp.89-97
    • /
    • 2024
  • 수레바퀴 중심축(허브, 정점)이 요구하는 살(간선)을 교차없이 연결하여 모든 중심축이 연결된 망을 형성하는 수레바퀴 살 퍼즐 문제는 연구의 불모지라 할 수 있다. 이 문제에 대해서는 지수시간이 소요되는 전수 탐색법이나 분기 한정 법조차도 제시된 알고리즘이 없는 실정이다. 본 논문은 주어진 SP에 대해 m×n의 교차 대각선을 가진 격자 그래프를 작도하고, 잉여 간선을 전정(삭제)하는 알고리즘을 제안하였다. 제안된 알고리즘은 간선 수가 허브 요구량과 일치하는 허브의 간선을 선택하고 이와 교차하는 간선을 삭제하는 단순한 방법이다. 만약 허브 요구량을 충족하는 간선을 가진 허브가 존재하지 않으면 여유 량이 최대인 허브의 간선을 우선하여 삭제(전정)하는 전략을 채택하였다. 제안된 알고리즘을 20개의 벤치마킹 실험 데이터에 적용한 결과 모든 문제에 대해 시행착오 회수를 최소로 하는 해를 구할 수 있음을 보였다.

Adaptive Fuzzy Inference System using Pruning Techniques

  • Kim, Chang-Hyun;Jang, Byoung-Gi;Lee, Ju-Jang
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2003년도 ISIS 2003
    • /
    • pp.415-418
    • /
    • 2003
  • Fuzzy modelling has the approximation property far the given input-output relationship. Especially, Takagi-Sugeno fuzzy models are widely used because they show very good performance in the nonlinear function approximation problem. But generally there is not the systematic method incorporating the human expert's knowledge or experience in fuzzy rules and it is not easy to End the membership function of fuzzy rule to minimize the output error as well. The ANFIS (Adaptive Network-based Fuzzy Inference Systems) is one of the neural network based fuzzy modelling methods that can be used with various type of fuzzy rules. But in this model, it is the problem to End the optimum number of fuzzy rules in fuzzy model. In this paper, a new fuzzy modelling method based on the ANFIS and pruning techniques with the measure named impact factor is proposed and the performance of proposed method is evaluated with several simulation results.

  • PDF

클러스터 기반의 Ad Hoc 네트워크에서 클러스터헤드간 효율적인 통신을 위한 DSP 알고리즘 (DSP Algorithm for Efficient Communication between Clusterheads in Cluster-based Ad hoc Networks)

  • 윤석열;오훈
    • 한국통신학회논문지
    • /
    • 제32권4A호
    • /
    • pp.351-357
    • /
    • 2007
  • Ad Hoc 네트워크를 연구한 많은 논문들은 확장성을 향상시키기 위해서 계층적 네트워크 구조를 사용하였다. 계층적 구조는 여러 개의 클러스터들로 구성되고 각 클러스터는 모든 클러스터들에 대하여 정보를 관리하는 클러스터헤드를 가진다. 클러스터헤드는 정확한 정보를 유지하기 위하여 그들끼리 정보를 교환할 필요가 있으며 이를 위하여 클러스터헤드가 이웃하는 다른 클러스터헤드들에게 정보를 보낼 수 있는 효율적인 메커니즘이 필요하다. 이 문제를 해결하기 위한 알고리즘들은 대부분 클러스터헤드가 재전송할 브릿지들을 선정하거나 혹은 부가적인 메시지를 사용하여 재전송 브릿지를 선정하는 메커니즘을 사용하였다. 여기에 제안하는 DSP(Distributed Self-Pruning)알고리즘은 각 노드가 수신한 메시지를 재전송할 것인지에 대하여 독자적으로 판단을 한다. 두 개의 클러스터기반 라우팅 프로토콜에 제안한 알고리즘을 적용함으로써 알고리즘의 적합성을 검증하였다.

다층 신경회로망을 위한 자기 구성 알고리즘 (A self-organizing algorithm for multi-layer neural networks)

  • 이종석;김재영;정승범;박철훈
    • 전자공학회논문지CI
    • /
    • 제41권3호
    • /
    • pp.55-65
    • /
    • 2004
  • 신경회로망을 이용하여 주어진 문제를 해결할 때, 문제의 복잡도에 맞는 구조를 찾는 것이 중요하다. 이것은 신경회로망의 복잡도가 학습능력과 일반화 성능에 크게 영향을 주기 때문이다. 그러므로, 문제에 적합한 신경회로망의 구조를 자기 구성적으로 찾는 알고리즘이 유용하다. 본 논문에서는 시그모이드 활성함수를 가지는 전방향 다층 신경회로망에 대하여 주어진 문제에 맞는 구조를 결정하는 알고리즘을 제안한다. 개발된 알고리즘은 구조증가 알고리즘과 연결소거 알고리즘을 이용하여, 주어진 학습 데이터에 대해 가능한 한 작은 구조를 가지며 일반화 성능이 좋은 최적에 가까운 신경회로망을 찾는다. 네 가지 함수 근사화 문제에 적용하여 알고리즘의 성능을 알아본다. 실험 결과에서, 제안한 알고리즘이 기존의 알고리즘 및 고정구조를 갖는 신경회로망과 비교하였을 때 최적 구조에 가까운 신경회로망을 구성하는 것을 확인한다.

인공신경망과 퍼지규칙 추출을 이용한 상황적응적 전문가시스템 구축에 관한 연구 (A Study on the Self-Evolving Expert System using Neural Network and Fuzzy Rule Extraction)

  • 이건창;김진성
    • 한국지능시스템학회논문지
    • /
    • 제11권3호
    • /
    • pp.231-240
    • /
    • 2001
  • Conventional expert systems has been criticized due to its lack of capability to adapt to the changing decision-making environments. In literature, many methods have been proposed to make expert systems more environment-adaptive by incorporating fuzzy logic and neural networks. The objective of this paper is to propose a new approach to building a self-evolving expert system inference mechanism by integrating fuzzy neural network and fuzzy rule extraction technique. The main recipe of our proposed approach is to fuzzify the training data, train them by a fuzzy neural network, extract a set of fuzzy rules from the trained network, organize a knowledge base, and refine the fuzzy rules by applying a pruning algorithm when the decision-making environments are detected to be changed significantly. To prove the validity, we tested our proposed self-evolving expert systems inference mechanism by using the bankruptcy data, and compared its results with the conventional neural network. Non-parametric statistical analysis of the experimental results showed that our proposed approach is valid significantly.

  • PDF

Image Semantic Segmentation Using Improved ENet Network

  • Dong, Chaoxian
    • Journal of Information Processing Systems
    • /
    • 제17권5호
    • /
    • pp.892-904
    • /
    • 2021
  • An image semantic segmentation model is proposed based on improved ENet network in order to achieve the low accuracy of image semantic segmentation in complex environment. Firstly, this paper performs pruning and convolution optimization operations on the ENet network. That is, the network structure is reasonably adjusted for better results in image segmentation by reducing the convolution operation in the decoder and proposing the bottleneck convolution structure. Squeeze-and-excitation (SE) module is then integrated into the optimized ENet network. Small-scale targets see improvement in segmentation accuracy via automatic learning of the importance of each feature channel. Finally, the experiment was verified on the public dataset. This method outperforms the existing comparison methods in mean pixel accuracy (MPA) and mean intersection over union (MIOU) values. And in a short running time, the accuracy of the segmentation and the efficiency of the operation are guaranteed.

Neural Networks Based Modeling with Adaptive Selection of Hidden Layer's Node for Path Loss Model

  • Kang, Chang Ho;Cho, Seong Yun
    • Journal of Positioning, Navigation, and Timing
    • /
    • 제8권4호
    • /
    • pp.193-200
    • /
    • 2019
  • The auto-encoder network which is a good candidate to handle the modeling of the signal strength attenuation is designed for denoising and compensating the distortion of the received data. It provides a non-linear mapping function by iteratively learning the encoder and the decoder. The encoder is the non-linear mapping function, and the decoder demands accurate data reconstruction from the representation generated by the encoder. In addition, the adaptive network width which supports the automatic generation of new hidden nodes and pruning of inconsequential nodes is also implemented in the proposed algorithm for increasing the efficiency of the algorithm. Simulation results show that the proposed method can improve the neural network training surface to achieve the highest possible accuracy of the signal modeling compared with the conventional modeling method.

적응적 정규화, 프루닝 및 BIC를 이용한 신경망 최적화 방법 (An Optimization Method of Neural Networks using Adaptive Regulraization, Pruning, and BIC)

  • 이현진;박혜영
    • 한국멀티미디어학회논문지
    • /
    • 제6권1호
    • /
    • pp.136-147
    • /
    • 2003
  • 주어진 문제에 대하여 최적의 성능을 가지는 신경회로망을 얻기 위해서는 학습을 통한 매개변수의 최적화 (parameter optimization)와 모델 선택을 통한 구조 최적화(structure optimization )의 통합적인 과정이 필요하다. 본 논문에서는, 각 세부 방법들의 특성을 고려하여, 공통의 특성을 갖는 방법들을 결합함으로써 효율적이면서도 일반화 성능을 높이는 총체적인 신경회로망 최적화 방법을 제안한다. 먼저 다양한 오차 함수를 사용할 수 있는 자연 기울기 강하 학습에 적응적 정규화 방법을 도입함으로써 가중치 매개변수(weight parameter)들을 최적화한다. 그리고 이렇게 최적화된 매개변수(parameter)들에 자연 프루닝(natural pruning)을 적용하여 불필요한 요소들을 제저하여 최적화 된 구조를 생성한다. 반복적인 과정에 의하여 후보 모델들을 구성하고 베이시안 정보 기준(Bayesian Information Criterion: BIC )을 이 용하여 최적의 모델을 평가하여 선택하는 방법을 제안하였다. 벤치마크 데이터에 대한 실험을 통하여 제안하는 방법의 구조 최적화 능력과 일반화 성능의 우수성을 보였다.

  • PDF

데이터 샘플링 기반 프루닝 기법을 도입한 효율적인 각도 기반 공간 분할 병렬 스카이라인 질의 처리 기법 (An Efficient Angular Space Partitioning Based Skyline Query Processing Using Sampling-Based Pruning)

  • 최우성;김민석;;정재화;정순영
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제6권1호
    • /
    • pp.1-8
    • /
    • 2017
  • 다기준 의사결정 시 활용할 수 있는 스카이라인 질의는 다수의 선택지 중에서 사용자가 '선호하지 않을 만한'(uninteresting) 선택지를 제거함으로써 사용자가 검토해야 하는 선택지의 수를 대폭 감소시키기 때문에 대용량 데이터 분석 시 매우 유용하게 활용될 수 있다. 이러한 배경에서 대용량 데이터에 대한 스카이라인 질의를 분산 병렬 처리하는 기법이 각광을 받고 있으며, 특히 맵리듀스(MapReduce) 기반의 분산 병렬 처리 기법 연구가 활발히 진행되어 왔다. 맵리듀스 기반 알고리즘의 병렬성 제고를 위해서는 부하 불균등 문제 중복 계산 문제 과다한 네트워크 비용 발생 문제를 해소해야 한다. 본 논문에서는 부하 불균등 문제와 중복 계산 문제를 해소하면서도 데이터 샘플링 기반 프루닝을 통해 네트워크 비용 절감 시킬 수 있는 맵리듀스 기반 병렬 스카이라인 질의 처리 기법인 MR-SEAP(MapReduce sample Skyline object Equality Angular Partitioning)을 소개한다. 또한 다양한 관점에서의 실험 평가함으로써 제안 기법의 효용성을 다방면으로 검증했다.