• 제목/요약/키워드: hidden-nodes

검색결과 201건 처리시간 0.025초

오류 역전파 학습에서 확률적 가중치 교란에 의한 전역적 최적해의 탐색 (Searching a global optimum by stochastic perturbation in error back-propagation algorithm)

  • 김삼근;민창우;김명원
    • 전자공학회논문지C
    • /
    • 제35C권3호
    • /
    • pp.79-89
    • /
    • 1998
  • The Error Back-Propagation(EBP) algorithm is widely applied to train a multi-layer perceptron, which is a neural network model frequently used to solve complex problems such as pattern recognition, adaptive control, and global optimization. However, the EBP is basically a gradient descent method, which may get stuck in a local minimum, leading to failure in finding the globally optimal solution. Moreover, a multi-layer perceptron suffers from locking a systematic determination of the network structure appropriate for a given problem. It is usually the case to determine the number of hidden nodes by trial and error. In this paper, we propose a new algorithm to efficiently train a multi-layer perceptron. OUr algorithm uses stochastic perturbation in the weight space to effectively escape from local minima in multi-layer perceptron learning. Stochastic perturbation probabilistically re-initializes weights associated with hidden nodes to escape a local minimum if the probabilistically re-initializes weights associated with hidden nodes to escape a local minimum if the EGP learning gets stuck to it. Addition of new hidden nodes also can be viewed asa special case of stochastic perturbation. Using stochastic perturbation we can solve the local minima problem and the network structure design in a unified way. The results of our experiments with several benchmark test problems including theparity problem, the two-spirals problem, andthe credit-screening data show that our algorithm is very efficient.

  • PDF

지식기반인공신경망에서 관련있는 입력노드만 연계된 은닉노드를 이용한 여역이론정련화 (Theory Refinement using Hidden Nodes Connected from Relevant Input Nodes in Knowledge-based Artificial Neural Network)

  • 심동희
    • 한국정보처리학회논문지
    • /
    • 제4권11호
    • /
    • pp.2780-2785
    • /
    • 1997
  • 지식기반인공신경 망은 다른 기계학습알고리즘보다 우수한 성능을 나타내지만 인공신경망으로 형성된 후 동적으로 그 구조를 변경할 수 없어서 영역이론정련화 기능을 갖추지 못하였다. 지식기반인공신경망의 이러한 단점을 보완하기 위하여 TopGen 알고리즘이 제안되었으나 삽입된 은닉노드를 모든 입력 노드에 연결한 점, 빔탐색을 이용한 점 등의 문제를 안고 있다. 본 논문에서는 TopGen의 문제점을 해소하기 위하여 은닉노드를 입력 노드 중 관계가 깊은 일부의 노드에만 링크시켰으며, 역추적을 허용한 언덕오르기를 이용하는 알고리즘을 설계 하였다.

  • PDF

인공 신경망의 학습에 있어 가중치 변화방법과 은닉층의 노드수가 예측정확성에 미치는 영향 (The Influence of Weight Adjusting Method and the Number of Hidden Layer있s Node on Neural Network있s Performance)

  • 김진백;김유일
    • 한국정보시스템학회지:정보시스템연구
    • /
    • 제9권1호
    • /
    • pp.27-44
    • /
    • 2000
  • The structure of neural networks is represented by a weighted directed graph with nodes representing units and links representing connections. Each link is assigned a numerical value representing the weight of the connection. In learning process, the values of weights are adjusted by errors. Following experiment results, the interval of adjusting weights, that is, epoch size influenced neural networks' performance. As epoch size is larger than a certain size, neural networks'performance decreased drastically. And the number of hidden layer's node also influenced neural networks'performance. The networks'performance decreased as hidden layers have more nodes and then increased at some number of hidden layer's node. So, in implementing of neural networks the epoch size and the number of hidden layer's node should be decided by systematic methods, not empirical or heuristic methods.

  • PDF

지식기반신경망에서 은닉노드삽입을 이용한 영역이론정련화 (Theory Refinements in Knowledge-based Artificial Neural Networks by Adding Hidden Nodes)

  • 심동희
    • 한국정보처리학회논문지
    • /
    • 제3권7호
    • /
    • pp.1773-1780
    • /
    • 1996
  • 인공지능의 기호적 방법과 수치적 방법을 결합한 지식기반신경망은 다른 기계 학 습모델보다 우수한 성능을 나타내고 있다. 그러나 지식기반신경망은 신경망으로 형성 된 후 동적으로 그 구조를 변경할 수 없어서 영역이론정련화 기능을 갖추지 못하였다. 지식기반신경망의 이러한 단점을 보완하기 위하여 TopGen 알고리즘이 제안되었으나 삽입된 은닉노드를 모두 입력 노드에 연결한 점, 빔탐색을 이용한 등의 문제를 안고 있다. 본 논문에서는 TopGen의 문제점을 해소하기 위하여 은닉 노드를 다음 하위계층 의 노드에 링크 시켰으며, 역추적을 허용한 언덕 오르기를 이용하는 알고리즘을 설계 하였다.

  • PDF

Multiple-Packet Reception MAC Protocol Applying Pulse/Tone Exchange in MIMO Ad-Hoc Networks

  • Yoshida, Yuto;Komuro, Nobuyoshi;Ma, Jing;Sekiya, Hiroo
    • Journal of Multimedia Information System
    • /
    • 제3권4호
    • /
    • pp.141-148
    • /
    • 2016
  • This paper proposes a medium access control (MAC) protocol for multiple-input multiple-output (MIMO) ad-hoc networks. Multiple-packet receptions in MIMO systems have attracted as a key technique to achieve a high transmission rate. In the conventional protocols for multiple-packet receptions, timing offsets among multiple-frame transmissions cause frame collisions induced by hidden nodes, which degrades network performance. In the proposed protocol, transmission synchronization among hidden nodes can be achieved by applying pulse/tone exchanges. By applying the pulse/tone exchanges, multiple-packet receptions among hidden nodes can be achieved, which enhances network throughputs compared with the conventional protocol. Simulation results show effectiveness of the proposed protocol.

무선 인지 애드 혹 네트워크를 위한 휴지 노드를 활용하는 효율적인 다중 채널 MAC 프로토콜 (An Efficient Multi-Channel MAC Protocol for Cognitive Ad-hoc Networks with Idle Nodes Assistance)

  • 디니쉬 고텀;구인수
    • 한국인터넷방송통신학회논문지
    • /
    • 제11권4호
    • /
    • pp.39-45
    • /
    • 2011
  • 본 논문에서는 무선 인지 애드 혹 네트워크에서 다중 채널 숨겨진 지국 문제(hidden terminal problem)를 해결하고 네트워크 성능을 향상시키기 위하여, 이웃 휴지 노드(idle node)들을 활용하는 효율적인 다중 채널 MAC 프로토콜을 제안한다. 제안된 알고리즘은 각 노드가 단일 송수신기를 갖고, 제어 메시지 교환을 위한 공동 제어 채널을 활용하는 무선 인지 애드 혹 네트워크에 활용될 수 있다. 특히, 제안된 알고리즘에서는 데이터를 교환하고자 하는 통신 노드들이 한 홉(hop) 밖에서 사용되고 있는 데이터 채널에 대한 정보를 가지고 있는 이웃 휴지 노드들을 활용하여 데이터 채널을 선택함으로써 다중 채널 숨겨진 지국 문제를 효율적으로 해결할 수 있다. 시뮬레이션을 통해, 제안된 알고리즘이 중 채널 숨겨진 지국 문제를 최소화하고 2차 사용자간의 데이터 채널 선택시 발생하는 출돌(collision)을 줄임으로써 네트워크의 처리율을 증가시킬 수 있음을 보였다.

Self-generation을 이용한 퍼지 지도 학습 알고리즘 (Fuzzy Supervised Learning Algorithm by using Self-generation)

  • 김광백
    • 한국멀티미디어학회논문지
    • /
    • 제6권7호
    • /
    • pp.1312-1320
    • /
    • 2003
  • 본 논문에서는 하나의 은닉층을 가지는 다층 구조 신경망이 고려되었다. 다층 구조 신경망에서 널리 사용되는 오루 역전파 학습 방법은 초기 가중치와 불충분한 은닉층 노드 수로 인하여 지역 최소화에 빠질 가능성이 있다. 따라서 본 논문에서는 퍼지 단층 퍼셉트론에 ART1을 결합한 방법으로, 은닉층의 노드를 자가 생성(self-generation)하는 퍼지 지도 학습 알고리즘을 제안한다. 입력층에서 은닉층으로 노드를 생성시키는 방식은 ART1을 수정하여 사용하였고, 가중치 조정은 특정 패턴에 대한 저장 패턴을 수정하도록 하는 winner-take-all 방식을 적용하였다. 제안된 학습 방법의 성능을 평가하기 위하여 학생증 영상을 대상으로 실험한 결과. 기존의 오류 역전파 알고즘보다 연결 가중치들이 지역 최소화에 위치할 가능성이 줄었고 학습 속도 및 정체 현상이 개선되었다.

  • PDF

An Energy Efficient Multichannel MAC Protocol for QoS Provisioning in MANETs

  • Kamruzzaman, S.M.;Hamid, Md. Abdul
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제5권4호
    • /
    • pp.684-702
    • /
    • 2011
  • This paper proposes a TDMA-based multichannel medium access control (MAC) protocol for QoS provisioning in mobile ad hoc networks (MANETs) that enables nodes to transmit their packets in distributed channels. The IEEE 802.11 standard supports multichannel operation at the physical (PHY) layer but its MAC protocol is designed only for a single channel. The single channel MAC protocol does not work well in multichannel environment because of the multichannel hidden terminal problem. Our proposed protocol enables nodes to utilize multiple channels by switching channels dynamically, thus increasing network throughput. Although each node of this protocol is equipped with only a single transceiver but it solves the multichannel hidden terminal problem using temporal synchronization. The proposed energy efficient multichannel MAC (EM-MAC) protocol takes the advantage of both multiple channels and TDMA, and achieves aggressive power savings by allowing nodes that are not involved in communications to go into power saving "sleep mode". We consider the problem of providing QoS guarantee to nodes as well as to maintain the most efficient use of scarce bandwidth resources. Our scheme improves network throughput and lifetime significantly, especially when the network is highly congested. The simulation results show that our proposed scheme successfully exploits multiple channels and significantly improves network performance by providing QoS guarantee in MANETs.

3축 가속도 데이터를 이용한 장단기 메모리의 노드수에 따른 낙상감지 시스템 연구 (Study of Fall Detection System According to Number of Nodes of Hidden-Layer in Long Short-Term Memory Using 3-axis Acceleration Data)

  • 정승수;김남호;유윤섭
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 춘계학술대회
    • /
    • pp.516-518
    • /
    • 2022
  • 본 논문에서는 낙상상태를 감지할 수 있는 장단기 메모리(Long Short-Term Memory)를 이용한 낙상감지 시스템에서 은닉층 노드 수 변경에 따른 영향을 소개한다. 3축 가속도 센서를 이용하여 x, y, z축 데이터를 중력 방향과 이루는 각도를 나타내는 파라미터 theta(θ)를 이용하여 훈련을 진행한다. 학습에서는 validation이 진행되어 8:2의 비율로 훈련 데이터와 테스트 데이터로 나뉘며, 효율성을 높이기 위해 은닉층의 노드 수를 변화하며 훈련을 진행한다. 노드 수가 128일 때 Accuracy 99.82%, Specificity 99.58%, Sensitivity 100%로 가장 좋은 정확도를 나타내었다.

  • PDF

인공신경망과 비전 시스템을 이용한 자동차용 오일씰의 검사 (Inspection of Automotive Oil-Seals Using Artificial Neural Network and Vision System)

  • 노병국;김기대
    • 한국정밀공학회지
    • /
    • 제21권8호
    • /
    • pp.83-88
    • /
    • 2004
  • The Classification of defected oil-seals using a vision system with the artificial neural network is presented. The artificial neural network fur classification consists of 27 input nodes, 10 hidden nodes, and one output node. The selection of the number of the input nodes is based on an observation that the difference among the defected, non-defected, and smeared oil-seals is greatly pronounced in the 26 step gray-scale level thresholding. The number of the hidden nodes is chosen as a result of a trade-off between accuracy and computing time. The back-propagation algorithm is used for teaching the network. The proposed network is capable of successfully classifying the defected from the smeared oil-seals which tend to be classified as the defected ones using the binary thresholding. It is envisaged that the proposed method improves the reliability and productivity of the automotive vision inspection system.