Analyzing Performance and Dynamics of Echo State Networks Given Various Structures of Hidden Neuron Connections

Echo State Network 모델의 은닉 뉴런 간 연결구조에 따른 성능과 동역학적 특성 분석

Recurrent Neural Network (RNN), a machine learning model which can handle time-series data, can possess more varied structures than a feed-forward neural network, since a RNN allows hidden-to-hidden connections. This research focuses on the network structure among hidden neurons, and discusses the information processing capability of RNN. Time-series learning potential and dynamics of RNNs are investigated upon several well-established network structure models. Hidden neuron network structure is found to have significant impact on the performance of a model, and the performance variations are generally correlated with the criticality of the network dynamics. Especially Preferential Attachment Network model showed an interesting behavior. These findings provide clues for performance improvement of the RNN.

시계열 데이터를 다룰 수 있는 기계학습모델인 회귀 신경망은 되먹임 연결을 허용하기 때문에 앞먹임 신경망에 비해 훨씬 다양한 구조를 가질 수 있다. 본 연구에서는 은닉 뉴런 간의 네트워크 구조에 초점을 맞추어 그것이 회귀 신경망의 정보처리 능력에 미치는 영향을 탐구하고자 한다. 이를 위해 회귀신경망 모델 중 하나인 Echo State Network을 기준으로 하여, 여러 가지 잘 알려진 네트워크 모델에 따라 은닉 뉴런 간 연결을 구성하고 각각의 경우에 시계열 학습 능력과 동역학을 분석하였다. 그 결과, 은닉 뉴런의 네트워크 구조에 따라 모델의 성능이 큰 폭으로 변하는 것이 관찰되었으며, 그러한 현상은 신경망 동역학이 가지는 임계도(criticality)의 변화와 잘 일치했다. 본 연구의 결과는 기존 회귀 신경망 연구에서 주된 관심사였던 신경망 연결 가중치뿐만 아니라 신경망의 연결 구조가 모델의 성능에 중요한 영향을 미친다는 사실을 보여주며, 성능 향상을 위한 중요한 단서가 될 수 있다.