• 제목/요약/키워드: hidden-nodes

검색결과 201건 처리시간 0.025초

Effect of Nonlinear Transformations on Entropy of Hidden Nodes

  • Oh, Sang-Hoon
    • International Journal of Contents
    • /
    • 제10권1호
    • /
    • pp.18-22
    • /
    • 2014
  • Hidden nodes have a key role in the information processing of feed-forward neural networks in which inputs are processed through a series of weighted sums and nonlinear activation functions. In order to understand the role of hidden nodes, we must analyze the effect of the nonlinear activation functions on the weighted sums to hidden nodes. In this paper, we focus on the effect of nonlinear functions in a viewpoint of information theory. Under the assumption that the nonlinear activation function can be approximated piece-wise linearly, we prove that the entropy of weighted sums to hidden nodes decreases after piece-wise linear functions. Therefore, we argue that the nonlinear activation function decreases the uncertainty among hidden nodes. Furthermore, the more the hidden nodes are saturated, the more the entropy of hidden nodes decreases. Based on this result, we can say that, after successful training of feed-forward neural networks, hidden nodes tend not to be in linear regions but to be in saturated regions of activation function with the effect of uncertainty reduction.

은닉층 다차원공간의 Vertex를 이용한 MLP의 은닉 노드 축소방법 (Reducing the Number of Hidden Nodes in MLP using the Vertex of Hidden Layer's Hypercube)

  • 곽영태;이영직;권오석
    • 한국통신학회논문지
    • /
    • 제24권9B호
    • /
    • pp.1775-1784
    • /
    • 1999
  • 본 논문은 학습하는 동안 은닉 노드의 출력에 대한 분산과 평균을 평가하는 새로운 cost function을 이용하여 불필요한 은닉 노드를 축소하는 방법을 제안한다. 제안한 cost function은 필요한 은닉 노드를 활성화시키고 불필요한 은닉 노드를 상수화 시켜 제거한다. 필기체 숫자인식을 통한 실험에서 제안한 방법은 높은 인식률과 단축된 학습 시간을 나타내며 은닉 노드의 수를 37.2%까지 축소할 수 있었다.

  • PDF

Evaluation of the Effects of a Grouping Algorithm on IEEE 802.15.4 Networks with Hidden Nodes

  • Um, Jin-Yeong;Ahn, Jong-Suk;Lee, Kang-Woo
    • Journal of Communications and Networks
    • /
    • 제16권1호
    • /
    • pp.81-91
    • /
    • 2014
  • This paper proposes hidden-node aware grouping (HAG) algorithm to enhance the performance of institute of electrical and electronics engineers (IEEE) 802.15.4 networks when they undergo either severe collisions or frequent interferences by hidden nodes. According to the degree of measured collisions and interferences, HAG algorithm dynamically transforms IEEE 802.15.4 protocol between a contention algorithm and a contention-limited one. As a way to reduce the degree of contentions, it organizes nodes into some number of groups and assigns each group an exclusive per-group time slot during which only its member nodes compete to grab the channel. To eliminate harmful disruptions by hidden nodes, especially, it identifies hidden nodes by analyzing the received signal powers that each node reports and then places them into distinct groups. For load balancing, finally it flexibly adapts each per-group time according to the periodic average collision rate of each group. This paper also extends a conventional Markov chain model of IEEE 802.15.4 by including the deferment technique and a traffic source to more accurately evaluate the throughput of HAG algorithm under both saturated and unsaturated environments. This mathematical model and corresponding simulations predict with 6%discrepancy that HAG algorithm can improve the performance of the legacy IEEE 802.15.4 protocol, for example, even by 95% in a network that contains two hidden nodes, resulting in creation of three groups.

은닉노드를 고려한 LR-WPAN 성능의 분석적 모델 (An Analytical Model for LR-WPAN Performance in the Presence of Hidden Nodes)

  • 이강우;신연순;현규완;안종석;김희철
    • 정보처리학회논문지C
    • /
    • 제16C권1호
    • /
    • pp.133-142
    • /
    • 2009
  • 이 논문에서는 은닉 노드(hidden node)들이 있는 환경에서 IEEE 802.15.4의 성능을 정확하게 예측할 수 있는 수학적 모델을 제시한다. 기존의 802.15.4 성능 분석을 위한 수학적 모델은 은닉 노드들이 없는, 즉 모든 노드들은 다른 노드들의 전송 상태를 측정할 수 있는 이상적인 상황만을 고려하였다. 그러나 노드들의 배치에 따라서 은닉 노드들이 빈번하게 발생할 수 있어, 기존의 모델들은 현실적 환경에서 802.15.4의 성능을 정확히 측정하지 못하는 문제가 있다. 이러한 문제를 해결하기 위해서 이 논문에서 제안한 모델은 기존의 802.15.4의 성능 모델에 은닉노드의 성능 영향 모델을 추가하였다. 제안한 802.15.4의 수학적 성능 모델에 의하면 작은 은닉 노드의 수에 의해 성능이 급격하게 저하된다. 일례로 전체 노드의 5%가 은닉노드일 때 802.15.4의 성능이 최대 62% 저하된다. 이러한 예측한 결과는 ns-2의 시뮬레이션 결과와 비교할 때, 최대 6%의 오류한도에서 동일하다.

ns-2 시뮬레이터를 이용한 은닉 노드와 CCA 지연 알고리즘이 IEEE 802.15.4 네트워크의 성능에 미치는 영향 분석 (Analysis of Effects of Hidden Nodes and CCA Deferment Algorithm on IEEE 802.15.4 Performance Using ns-2 Simulator)

  • 이강우;현규완;신연순;안종석
    • 정보처리학회논문지C
    • /
    • 제16C권3호
    • /
    • pp.393-406
    • /
    • 2009
  • 본 논문에서는 IEEE 802.15.4의 성능을 정확하게 평가하기 위하여 ns-2에 추가한 두 가지 기능을 소개한다. 첫째는 전체 노드의 수와 은닉 노드의 수가 정해짐에 따라 노드들의 배치를 자동으로 결정하는 은닉 노드 배치 방안과 은닉 노드로 인한 신호 충돌을 구별하는 방안이다. 둘째는 2003 표준만 구현되어 있는 현재의 ns-2 2.33 버전에 2006 표준에 기술된 CCA 지연 처리 방안을 구현하였다. 기능이 확장된 ns-2를 이용하여, 802.15.4 네트워크의 성능에 은닉 노드와 CCA 지연에 대한 처리 방안이 미치는 영향을 정확하게 분석할 수 있게 되었다. 시뮬레이션 결과 은닉 노드가 없을 때에 비하여 은닉 노드가 단 하나 존재할 때 네트워크 처리량이 약 66% 감소하며, 충돌율은 65%에서 90%로 급증한다. CCA 지연 처리 알고리즘의 2003 표준과 2006 표준에 따르면, 충돌 확률은 약 19%까지 차이를 보이고, 처리량은 약 38% 차이를 보이며 2006 버전이 우수한 성능을 보인다.

IEEE 802.15.4의 성능 향상을 위한 은닉 노드 인식 그룹핑 알고리즘 (A Hidden-Node-Aware Grouping Algorithm for Improving Throughput of IEEE 802.15.4)

  • 엄진영;안종석;이강우
    • 한국통신학회논문지
    • /
    • 제36권8A호
    • /
    • pp.702-711
    • /
    • 2011
  • 본 논문은 IEEE 802.15.4 네트워크에서의 에너지 효율을 향상시키기 위해 위한 은닉 노드들 간의 신호 충돌 문제를 해결하기 위한 은닉 노드 인식 그룹핑(HAG: Hidden-Node-Aware Grouping) 알고리즘을 제안한다. HAG 알고리즘은 노드들 간 수식 신호의 에너지를 이용하여 은닉 관계에 있는 노드들을 파악하고, 그들을 서로 다른 그룹에 배정하는 방식으로 그룹핑을 완성하고 그룹별로 신호 전송 주기를 할당한다. HAG 알고리즘의 정확한 성능 측정 및 예측을 위해 다양한 네트워크 상황을 고려하여 처리량에 대한 분석적 성능 모델을 제시한다. HAG 알고리즘을 사용하지 않은 네트워크 환경에서는 은닉 관계가 있는 노드들의 수가 증가함에 따라 처리량이 급속히 저하되지만, HAG 알고리즘을 적용하면 이와 같은 성능 저하를 예방할 수 있음을 분석적 성능 모델과 더불어 시뮬레이션 결과를 통하여 확인하였다.

IEEE 802.15.4 기반의 무선 센서네트워크에서 숨은노드 충돌 방지와 성능향상 기법 (Mitigating Hidden Nodes Collision and Performance Enhancement in IEEE 802.15.4 Wireless Sensor Networks)

  • 안광훈;김태준
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제4권7호
    • /
    • pp.235-238
    • /
    • 2015
  • IEEE 802.15.4는 무선 센서노드들 사이의 연결을 가능하게 하는 대표적인 표준이다. 그러나 이 IEEE 802.15.4를 기반으로 하는 무선 센서네트워크는 기본적으로 숨은노드 충돌에 매우 취약하다는 약점을 갖고 있는데 이는 무선 센서네트워크 자체가 제한된 통신 반경과 짧은 배터리 수명을 갖고 있기 때문이다. 본 논문에서는 IEEE 802.15.4 기반의 무선 센서네트워크에서 노드들의 클러스터링을 통한 숨은노드 충돌 회피 및 성능향상 기법을 제안하다. 이 방법에서 사용되는 클러스트링은 각각의 무선 센서노드들이 갖고 있는 채널 품질 정보를 바탕으로 수행된다. 그리고 클러스터에 어느 정도의 무선자원을 할당해야 하는 문제도 다룬다.

Pseudoinverse Matrix Decomposition Based Incremental Extreme Learning Machine with Growth of Hidden Nodes

  • Kassani, Peyman Hosseinzadeh;Kim, Euntai
    • International Journal of Fuzzy Logic and Intelligent Systems
    • /
    • 제16권2호
    • /
    • pp.125-130
    • /
    • 2016
  • The proposal of this study is a fast version of the conventional extreme learning machine (ELM), called pseudoinverse matrix decomposition based incremental ELM (PDI-ELM). One of the main problems in ELM is to determine the number of hidden nodes. In this study, the number of hidden nodes is automatically determined. The proposed model is an incremental version of ELM which adds neurons with the goal of minimization the error of the ELM network. To speed up the model the information of pseudoinverse from previous step is taken into account in the current iteration. To show the ability of the PDI-ELM, it is applied to few benchmark classification datasets in the University of California Irvine (UCI) repository. Compared to ELM learner and two other versions of incremental ELM, the proposed PDI-ELM is faster.

신경망이론은 이용한 폴리우레탄 코팅포 촉감의 예측 (Using Neural Networks to Predict the Sense of Touch of Polyurethane Coated Fabrics)

  • 이정순;신혜원
    • 한국의류학회지
    • /
    • 제26권1호
    • /
    • pp.152-159
    • /
    • 2002
  • Neural networks are used to predict the sense of touch of polyurethane coated fabrics. In this study, we used the multi layer perceptron (MLP) neural networks in Neural Connection. The learning algorithm for neural networks is back-propagation algorithm. We used 29 polyurethane coated fabrics to train the neural networks and 4 samples to test the neural networks. Input variables are 17 mechanical properties measured with KES-FB system, and output variable is the sense of touch of polyurethane coated fabrics. The influence of MLF function, the number of hidden layers, and the number of hidden nodes on the prediction accuracy is investigated. The results were as follows: MLP function, the number of hidden layer and the number of hidden nodes have some influence on the prediction accuracy. In this work, tangent function, the architecture of the double hidden layers and the 24-12-hidden nodes has the best prediction accuracy with the lowest RMS error. Using the neural networks to predict the sense of touch of polyurethane coated fabrics has hotter prediction accuracy than regression approach used in our previous study.

Infrastructure Mode IEEE 802.11 무선랜 시스템에서 효율적인 은닉 단말 발견 방법을 통한 MAC 성능 개선 (MAC Performance Enhancement by Efficient Hidden Node Detection in Infrastructure Mode IEEE 802.11 Wireless LANs)

  • 최우용
    • 대한산업공학회지
    • /
    • 제34권2호
    • /
    • pp.246-254
    • /
    • 2008
  • In this paper, a new efficient hidden node detection method is proposed to decide whether the RTS/CTS mechanism is necessary to resolve the hidden node problem for the data transmission of each node in infrastructure mode IEEE 802.11 wireless LANs. The nodes, for which the RTS/CTS mechanism is found to be not necessary by the hidden node detection method, can transmit their data frames without performing the RTS/CTS exchange. Only the nodes, for which the RTS/CTS mechanism is found to be necessary by the hidden node detection method, perform the RTS/CTS exchange before their data frame transmissions.