• Journal of the Korean Institute of Intelligent Systems
• /
• v.11 no.6
• /
• pp.505-509
• /
• 2001

In this paper, we evaluate the learning ability of non-monotonic DMM(Deterministic Boltzmann Machine) network through numerical simulations. The simulation results show that the proposed system has higher performance than monotonic DBM network model. Non-monotonic DBM network also show an interesting result that network itself adjusts the number of hidden layer neurons. DBM network can be realized with fewer components than other neural network models. These results enhance the utilization of non-monotonic neurons in the large scale integration of neuro-chips.

• Proceedings of the Acoustical Society of Korea Conference
• /
• 1998.08a
• /
• pp.267-271
• /
• 1998

신경망에 의한 음절과 연속음성 인식시 동특성처리의 한방법으로 회귀신경망을 이용한다. 본 연구는 비회귀형 상위은닉층과 회귀형 하위은닉층을 가진 4층 구조의 다층회귀신경망으로 예측기를 반들어 나성화자 5명이 CV형 음절 14개, CVC형 음절 14개를 각각 5회씩 발음한 총 700개의 음성중 3회분인 420개 음성으로 학습한 후 나머지 2회분인 280개 음성으로 인식을 평가한다. 입력신호의 예측차수와 상, 하위 은닉층으 뉴런수를 변경시키면서 각각의 인식률을 조사해 본 결과 상위 은닉층의 뉴런이 10개이고 하위 은닉층의 뉴런이 10개와 15개 그리고 예측차수가 3,4차일 때 가장 양호한 인식기로 동작한다는 것을 알 수 있었다. 이 때 나타난 인식률은 Elman 망보다 다소 우세하다.

• Journal of Intelligence and Information Systems
• /
• v.10 no.2
• /
• pp.53-63
• /
• 2004

Recurrent-Cascade-Correlation(RCC) is a supervised teaming algorithm that automatically determines the size and topology of the network. RCC adds new hidden neurons one by one and creates a multi-layer structure in which each hidden layer has only one neuron. By second order RCC, new hidden neurons are added to only one hidden layer. These created neurons are not connected to each other. We present a generalization of the RCC Architecture by combining the standard RCC Architecture and the second order RCC Architecture. Whenever a hidden neuron has to be added, the new RCC teaming algorithm automatically determines whether the network topology grows vertically or horizontally. This new algorithm using sigmoid, tanh and new activation functions was tested with the morse-benchmark-problem. Therefore we recognized that the number of hidden neurons was decreased by the experiments of the RCC network generalization which used the activation functions.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2001.10a
• /
• pp.605-608
• /
• 2001

다층 신경망의 학습에 쓰이는 오류 역전파 학습은 매우 효과적이지만 학습 속도가 너무 느리고 최적의 은닉충의 뉴런의 수를 결정하는 해답은 아직 없는 실정이다. 또한 가끔은 국부 최소점(Local maxima)에 빠져 학습이 끝내 이루어지지 않는 경우가 있다. 이에 본 논문에서는 이러한 Local maxima 를 효과적으로 탈출 할 수 있는 방법에 대해서 연구해 보았다. 국부 최소점은 연결강도와 전체 오차 사이의 이차원 공간에서 표현할 수 있는데 본 알고리즘은 이러한 연결강도와 오차와의 관계를 인위적으로 변화시켜 결론적으로 Local maxima 를 탈출하게 하는 방법을 소개한다. 본 연구에서 사용된 방법은 네트웍이 학습중에 Local maxima 에 빠졌을 때 은닉층의 뉴런의 수를 추가하여 인위적으로 연결강도 평면의 위상을 변조시킨다. 또한 은닉충의 뉴런의 수를 동적으로 변화 시키면서 최적의 뉴런의 수를 결정할 수 있게 하였다. 위 알고리즘의 성능을 평가하기 위해서 XOR 문제와 $10{\times}8$ 영문폰트와 숫자의 학습에 적용하여 일반적인 역전파 학습과 비교 평가하였다.

• Proceedings of the KIEE Conference
• /
• 2001.11c
• /
• pp.431-434
• /
• 2001

단층 퍼셉트론이 처음 개발되었을 때, 간단한 패턴을 인식하는 학습 기능을 가지고 있기 장점 때문에 학자들의 관심을 끌었다. 단층 퍼셉트론은 한 개의 소자를 이용해서 이진 논리를 가중치(weight)의 변경만으로 모두 표현할 수 있는 장점 때문에 영상처리, 패턴인식, 장면인식 등에 이용되어 왔다. 최근에, 역전파학습(Back-Propagation Learning)알고리즘이 이진 공간내의 매핑 문제에 적용되고 있다. 그러나, 역전파 학습알고리즘은 연속공간 내에서 긴 학습시간과 비효율적인 수행의 문제를 가지고 있다. 일반적으로 역전파 학습 알고리즘은 간단한 이진 공간에서 매핑하기 위해서 많은 반복과정을 요구한다. 역전파 학습 알고리즘에서는 은닉층의 뉴런의 수는 주어진 문제를 해결하기 위해서 우선순위(prior)를 알지 못하기 때문에 입력층과 출력층내의 뉴런의 수에 의존한다. 따라서, 3층 신경회로망의 적용에 있어 가장 중요한 문제중의 하나는 은닉층내의 필요한 뉴런수를 결정하는 것이고, 회로망 합성과 가중치 결정에 대한 적절한 방법을 찾지 못해 실제로 그 사용 영역이 한정되어 있었다. 본 논문에서는 패턴 분류를 위한 새로운 학습방법을 제시한다. 훈련입력의 기하학적인 분석에 기반을 둔 이진 신경회로망내의 은닉층내의 뉴런의 수를 자동적으로 결정할 수 있는 NETLA(Newly Expand and Truncate Learning Algorithm)라 불리우는 기하학적 학습알고리즘을 제시하고, 시뮬레이션을 통하여, 제안한 알고리즘의 우수성을 증명한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10b
• /
• pp.313-315
• /
• 2001

본 논문에서 소개하는 알고리즘을 은닉층의 뉴런의 수를 학습하는 동안 동적으로 변화시켜 역전파 알고리즘의 단점인 Local maxima를 탈출하고 또한 은닉층의 뉴런의 수를 결정하는 과정을 없애기 위해 연구되었다. 본 알고리즘의 성능을 평가하기 위해 두 가지 실험에 적용하였는데 첫번째는 Exclusive-OR 문제이고 두번째는 7$\times$8 한글 자음과 모음의 폰트 학습에 적용하였다. 이 실험의 결과로 네트웍이 local maxima에 빠져드는 확률이 줄어드는 것을 알 수 있었고 학습속도 또한 일반적인 역전파 알고리즘보다 빠른 것으로 증명되었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04c
• /
• pp.416-418
• /
• 2003

해마 뉴런의 시냅스에서 발생하는 전류는 후시냅스의 생화학적 반응을 통해 다음 뉴런으로 전달된다. 즉, 시냅스는 정보를 전달하는 매개로서 전시냅스에서 입력된 정보에 의거하여 후시냅스로 보내는 전류량을 조절하게 된다. 본 논문에서 제안하는 시냅스 기전 신경망 모델은 기존의 신경망과는 달리 시냅스에서 일어나는 반응-확산(reaction-diffusion) 모델에 의하여 입력과 출력의 관계를 결정한다. 제안된 신경망을 분류 문제에 적용한 결과 은닉 뉴런층 없이도 좋은 성능을 보였으며, 이 신경망은 앞으로 뇌에서의 생화학적 뉴런 학습 양상을 연구하는 모델로 사용될 수 있다.

• KIISE Transactions on Computing Practices
• /
• v.21 no.4
• /
• pp.338-342
• /
• 2015

Recurrent Neural Network (RNN), a machine learning model which can handle time-series data, can possess more varied structures than a feed-forward neural network, since a RNN allows hidden-to-hidden connections. This research focuses on the network structure among hidden neurons, and discusses the information processing capability of RNN. Time-series learning potential and dynamics of RNNs are investigated upon several well-established network structure models. Hidden neuron network structure is found to have significant impact on the performance of a model, and the performance variations are generally correlated with the criticality of the network dynamics. Especially Preferential Attachment Network model showed an interesting behavior. These findings provide clues for performance improvement of the RNN.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.19 no.11
• /
• pp.2264-2275
• /
• 1994

In this paper, image compression based on neural networks is presented with block classification and coding. Multilayer neural networks with error back-propagation learning algorithm are used to transform the normalized image date into the compressed hidden values by reducing spatial redundancies. Image compression can basically be achieved with smaller number of hidden neurons than the numbers of input and output neurons. Additionally, the image blocks can be grouped for adaptive compression rates depending on the characteristics of the complexity of the blocks in accordance with the sensitivity of the human visual system(HVS). The quantized output of the hidden neuron can also be entropy coded for an efficient transmission. In computer simulation, this approach lie in the good performances even with images outside the training set and about 25:1 compression rate was achieved using the entropy coding without much degradation of the reconstructed images.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.766-771
• /
• 2006

현재 많은 신경망의 하드웨어 구현은 부동 소수점 연산에 비해서 적은 면적과 빠른 수행시간을 가지는 고정소수점 연산을 많이 사용하지만, 소프트웨어에서는 일반적으로 높은 정확도를 가지는 부동소수점 연산을 사용한다. 신경망의 하드웨어 구현에서 많이 사용하는 고정소수점 연산은 부동소수점 연산에 비해서 빠른 처리속도와 적은 면적으로써 쉽게 하드웨어 구현에 용이하지만, 부동소수점 연산에 비해서 낮은 정확도와 기존의 부동소수점 연산을 사용하는 소프트웨어 신경망을 쉽게 적용할 수 없는 단점을 가진다. 본 논문에서는 부동소수점 연산을 사용하여 문자 추출 MLP의 데이터 변환 없이 적용할 수 있는 전체 파이프라이닝 설계 구조를 제안한다. 제안된 설계방법은 신경망의 전체 구조를 입력층과 은닉층을 링크 병렬화 방법과 은닉층과 출력층을 뉴런 병렬화 방법을 개선하여 쉽게 파이프라이닝 구조로 설계함으로써 신경망 처리는 은닉층 뉴런수와 동일한 주기로 처리되며, 기존의 문자추출 소프트웨어 신경망을 제안된 하드웨어 설계방법으로 구현하였을 때 11배의 빠른 성능을 나타낸다.