• 한국경영과학회지
• /
• 제20권3호
• /
• pp.17-29
• /
• 1995

Recently, neural network models have been employed as an alternative to regression analysis for point estimation or function fitting in various field. Thus far, however, no theoretical or empirical guides seem to exist for selecting the tool which the most suitable one for a specific function-fitting problem. In this paper, we evaluate performance of three major function-fitting techniques, regression analysis and two neural network models, back-propagation and linear-Hebbian-learning neural networks. The functions to be fitted are simple linear ones of a single independent variable. The factors considered are size of noise both in dependent and independent variables, portion of outliers, and size of the data. Based on comutational results performed in this study, some guidelines are suggested to choose the best technique that can be used for a specific problem concerned.

• 한국지능시스템학회논문지
• /
• 제14권1호
• /
• pp.93-99
• /
• 2004

Neural oscillator can be applied to oscillatory systems such as analyses of image information, voice recognition and etc. Conventional EBPA (Error back Propagation Algorithm) is not proper for oscillatory systems with the complicate input`s patterns because of its tedious training procedures and sluggish convergence problems. However, these problems can be easily solved by using a synchrony characteristic of neural oscillator with PLL(Phase Locked Loop) function and by using a simple Hebbian learning rule. Therefore, in this paper, a technique for Recognition of the Korean Alphabet using Phase Synchronized Neural Oscillator was introduced.

• 정보처리학회논문지B
• /
• 제11B권4호
• /
• pp.449-456
• /
• 2004

본 논문에서는 모호성을 포함하고 있는 시계열 패턴인식을 위한 새로운 인식모델인 순환퍼지기억장치를 제안한다. 순환퍼지기억장치는 기존의 퍼지기억장치에 순차적인 입력패턴를 처리하고 시간적 관련성을 표현할 수 있는 순환층을 추가함으로써 확장된 모델이다. 본 논문에서 제안하는 순환퍼지기억장치는 입력과 출력사이의 관련정도를 설정하기 위해 헤비안 방식의 학습알고리즘을 사용한다. 그리고 순환퍼지기억장치의 순환층에 필요한 가중치를 학습하기 위해서 오류역전파 알고리즘을 이용한다. 본 논문에서는 제안하는 모델을 음성신호의 경계를 추출하는 문제에 적용하여 성능을 평가한다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2001년도 ICCAS
• /
• pp.115.3-115
• /
• 2001

In this paper, discrete-time cellular neural networks are designed in order to function as associative memories by using Hebbian learning rule and non-cloning template. The proposed method has a very simple structure to design and to learn. Weights are updated by the connection between the neuron and its neighborhood. In the simulation, the proposed method is applied to the classification of a traffic sign pattern.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 1998년도 가을 학술발표논문집 Vol.25 No.2 (2)
• /
• pp.333-335
• /
• 1998

에러 역전파 신경망에서 학습속도와 수렴률은 초기 가중의 분포에 따라 크게 영향을 받는다. 본 연구에서는 이를 위하여 비교사 학습 신경망(Hebbian learning rule)을 이용한 새로운 초기 가중치 결정 방법을 제안한다. 또는 비교사 학습 신경망이 에러 역전파 신경망 학습에 적당하도록 은닉층의 각 뉴런과 연결된 가중치의 norm을 이용하여 학습하였다. 시뮬레이션을 통하여 기존 에러 역전파 신경망 학습과 그 성능을 비교한 결과 제안한 초기 가중치 표현이 학습속도와 수렴능력에서 우수함을 나타낸다.

• IEIE Transactions on Smart Processing and Computing
• /
• 제4권1호
• /
• pp.35-43
• /
• 2015

Over the past couple of years, tremendous progress has been made in applying deep learning (DL) techniques to computer vision. Especially, deep convolutional neural networks (DCNNs) have achieved state-of-the-art performance on standard recognition datasets and tasks such as ImageNet Large-Scale Visual Recognition Challenge (ILSVRC). Among them, GoogLeNet network which is a radically redesigned DCNN based on the Hebbian principle and scale invariance set the new state of the art for classification and detection in the ILSVRC 2014. Since there exist various deep learning techniques, this review paper is focusing on techniques directly related to DCNNs, especially those needed to understand the architecture and techniques employed in GoogLeNet network.

• 전자공학회논문지C
• /
• 제34C권6호
• /
• pp.71-78
• /
• 1997

In this paper, a new neural network training algorithm will be devised for function approximator with good generalization characteristics and tested with the time series prediction problem using santaFe competition data sets. To enhance the generalization ability a constraint term of hidden neuraon activations is added to the conventional output error, which gives the curvature smoothing characteristics to multi-layer neural networks. A hybrid learning algorithm of the error-back propagation and Hebbian learning algorithm with weight decay constraint will be naturally developed by the steepest decent algorithm minimizing the proposed cost function without much increase of computational requriements.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제31권9호
• /
• pp.1171-1179
• /
• 2004

본 논문에서는 음성인식의 전처리 단계로서 음성 영역과 비음성 영역 사이의 경계를 검출하는 음성경계 추출에 대하여 기술한다. 본 논문에서는 음성경계 추출을 위해 두 가지의 특징벡터를 사용한다. 첫 번째는 백색잡음(white noise)에 강건한 시간 영역의 정보인 정규화된 RMS이고, 두 번째는 주파수 영역의 정보인 정규화된 멜주파수 대역 최대 에너지(met-frequency band maximum energy)이다. 본 논문에서 사용하는 음성경계 추출 알고리즘은 학습을 통해 규칙을 생성하고 음성의 시간 정보를 적용하기 위해 순환노드를 추가한 순환 퍼지연상기억장치이다. 퍼지부의 가중치 학습은 헤비안 학습 방법을 사용하고, 순환부의 가중치 학습을 위해서는 오류 역전파(error back-propagation) 알고리즘을 사용한다. 실험에서는 KAIST에서 제공한 연령과 성별로 구분된 음성 자료를 사용하였다.

• Journal of the Korean Data and Information Science Society
• /
• 제7권1호
• /
• pp.113-118
• /
• 1996

주성분 분석은 자료압축, 특징추출, 통신이론, 패턴인식 그리고 화상처리등의 컴퓨터 공학분야에서 중요하게 사용되고 있다. Oja(1982,1989,1992)는 확률적 경사 강하법(SGA:Stochastic Gradient Ascent)을 이용한 제한된 헵규칙을 제안하여 주성분 분석에 사용하였다. 그러나, 이 규칙은 이상치에 민감하므로 이상치의 영향을 줄이기 위해, Xu & Yuille(1995)는 통계물리 방법을 이용한 로버스트 에너지함수를 생성하여 로버스트 주성분 분석방법을 제안하였다. 또한 Devlin et.al(1981)은 M-추정량을 이용하여 주성분 분석을 하였다. 본 논문에서는 Oja(1992)의 규칙과 Xu & Yuille(1995)의 로버스트 에너지함수를 이용하여 신경망을 구성하였다. 그리고, Devlin et.al(1981)이 제안한 시뮬레이션조건하에서 실험을 하였다. 실험한 결과와 Devlin et.al(1981)의 결과를 비교, 분석함으로써, 신경망의 성능을 확인하고자 한다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2001년도 추계학술대회 학술발표 논문집
• /
• pp.181-184
• /
• 2001

인간 두뇌의 연상과 기억 작용의 모델링을 통한 구현의 일부분으로, 본 논문에서는 Hebb 의 학습방법과 non-cloning template를 사용하여 discrete-time cellular neural networks의 연상메모리 기능을 구현한다. 본 논문에서 사용된 학습방법은 각 셀의 인접한 셀과의 연결상태에 따라 하중값 메트릭스를 구현한다. 이러한 방법은 새로운 패턴의 추가 학습과 삭제가 쉽고, 또한 쉽게 구현 할 수 있는 장점이 있다. 이 방법으로 모의 실험에서는 교통표지판의 분류에 사용한다.