• Journal of the Korean Institute of Intelligent Systems
• /
• v.10 no.3
• /
• pp.203-210
• /
• 2000

In this paper, we propose a new unsupervised learning network and competitive learning algorithm for pattern classification. The proposed network is based on relative similarity, which is similarity measure between input data and cluster group. So, the proposed network and algorithm is called relative similarity network(RSN) and learning algorithm. According to definition of similarity and learning rule, structure of RSN is designed and pseudo code of the algorithm is described. In general pattern classification, RSN, in spite of deletion of learning rate, resulted in the identical performance with those of WTA, and SOM. While, in the patterns with cluster groups of unclear boundary, or patterns with different density and various size of cluster groups, RSN produced more effective classification than those of other networks.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2007.11a
• /
• pp.223-226
• /
• 2007

지식 발견 (knowledge discovery)의 관점에서, 단기간 동안 취득된 데이터 패턴을 학습하고자 하는 경우 데이터에 비일관적인(inconsistent) 패턴이 포함되어 있다면 확률적 퍼지 룰(probabilistic fuzzy rule) 기반의 지식 표현 방법 및 적절한 학습 알고리즘을 이용하여 효과적으로 다룰 수 있다. 하지만 장기간 동안 지속적으로 얻어진 데이터 패턴을 다루고자 하는 경우, 데이터가 시변(time-varying) 특성을 가지고 있으면 기존에 추출된 지식을 변화된 데이터에 활용하기 어렵게 된다. 때문에 이러한 데이터를 다루는 학습 시스템에는 패턴의 변화에 맞추어 갈 수 있는 지속적인 적응력(adaptivity)이 요구된다. 본 논문에서는 이러한 적응성의 측면을 고려하여 평생 학습(life-long learning)의 관점 에 서 확률적 퍼지 룰 기반의 학습 시스템에 적용될 수 있는 두 가지 형태의 적응 방법에 대해서 설명하도록 한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04c
• /
• pp.483-485
• /
• 2003

구문분석 말뭉치는 통계적 구문분석 분야의 필수적인 항목으로 많은 유용성을 가지지만, 말뭉치를 구축할 때 막대한 시간과 비용이 요구되기 때문에 구축자의 수작업을 감소시키는 방법에 대한 연구가 필요하다. 본 논문에서는 대량의 신뢰도 있는 구문분석 말뭉치를 구축하기 위해 신경망을 사용하는 반자동 구문 분석 말뭉치 구축도구에 대해서 설명한다. 개발된 도구는 구문패턴 추골, 신경망 학습, 반자동 구축의 세 단계로 구성된다. 구문패턴 추출 단계에서는 사용자가 정의한 자질집합을 사용하여 기존에 구축된 말뭉치에서 구문패턴들을 추출하고, 신경망 학습의 단계에서는 추출된 구문패턴들을 사용하여 신경망을 학습한다. 그리고, 반자동 구축 단계에서는 학습된 신경망을 사용하여 반자동으로 구문분석 말뭉치를 구축한다. 본 논문에서 제안하는 방법은 다양한 자질집합을 조합하여 사용할 수 있고, 학습을 사용하기 때문에 학습 집합에 나타나지 않은 경우에 대해서도 합리적인 결정을 내릴 수 있다. 소량의 구문분석 말뭉치를 대상으로 실험한 결과, 본 논문에서 제안하는 방법이 약 42.5%의 수작업 횟수 감소율을 보였음을 알 수 있었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.05a
• /
• pp.415-418
• /
• 2007

본 논문에서는 일반화된 퍼지 최대-최소 신경망 모델에서 학습 패턴의 빈도요소를 고려하여 개선된 활성화 함수와 학습 방법을 제안한다. 특징공간상에서 하이퍼박스의 활성화를 위한 새로운 기준과 방법을 제시하며, 학습 패턴의 빈도요소가 학습효과에 미치는 영향을 분석한다. 또한 제안된 모델에서 개별 특징값과 하이퍼박스간의 상대적인 연관성을 고려하여 이득치를 계산함으로써, 기존 모델의 하이퍼박스 축소 기법을 대체한 학습효과에 관하여 고찰한다. 실험을 통하여 학습 패턴의 순서 변화와 왜곡된 정보에 안정된 분류기의 성능을 확인한다.

• The KIPS Transactions:PartB
• /
• v.8B no.4
• /
• pp.327-334
• /
• 2001

본 논문에서는 기울기하강과 동적터널링이 조합된 학습알고리즘의 다층신경망을 이용한 고신회성의 회귀분석 모델을 제안하였다. 기울기하강은 빠른 수렴속도의 최적화가 가능하도록 하기 위함이고, 동적터널링은 국소최적해를 만났을 때 이를 벗어난 새로운 연결가중치를 설정하여 전역최적해로 수렴되도록 하기 위함이다. 또한 대용량의 입력 데이터를 통계적으로 독립인 특징들의 집합으로 변환시키는 주요성분분석 기법의 속성을 살려 학습데이터의 차원을 감소시킴으로서 고차원의 학습데이터에 따른 회귀분석 모델의 제약도 동시에 해결하였다. 제안된 기법의 신경망을 3개의 독립변수 패턴을 가진 암모니아 제조공정문제와 10개의 독립변수 패턴을 가진 자동차 연비문제에 각각 적용하여 시뮬레이션한 결과, 기존의 역전과 알고리즘의 신경망이나 주요성분분석에 의한 차원을 감소시키지 않은 학습패턴을 이용한 신경망보다 각각 더욱 우수한 학습성능과 회귀성능이 있음을 확인할 수 있었다. 또한 학습패턴의 영평균 정규화로 회귀용 신경망의 성능을 더욱 더 개선하였다.

• The Transactions of the Korea Information Processing Society
• /
• v.3 no.3
• /
• pp.429-438
• /
• 1996

An incremental learning algorithm is presented that constructs a multilayer perceptron whose size is optimal for solving a given problem. Unlike conventional algorithms in which a fixed size training set is processed repeat-edly, the method uses an increasing number of critical examples to find a necessary and sufficient number of hidden units for learning the entire data. Experimental results in hand- writtern digit recognition shows that the network size optimization combined with incremental pattern selection generalizes significantly better and converges faster than conventional methods.

• The Journal of the Korea Contents Association
• /
• v.8 no.5
• /
• pp.44-51
• /
• 2008

Pattern matching and pattern searching in time series data have been active issues in a number of disciplines. This paper suggests a novel pattern matching technology which can be used in the field of stock market analysis as well as in forecasting stock market trend. First, we define conceptual patterns, and extract data forming each pattern from given time series, and then generate learning model using Hidden Markov Model. The results show that the context-based pattern matching makes the matching more accountable and the method would be effectively used in real world applications. This is because the pattern for new data sequence carries not only the matching itself but also a given context in which the data implies.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.10b
• /
• pp.538-540
• /
• 2004

이 논문에서 제안된 인간행동패턴 결정을 위한 상황인식 미들웨어는 Intelligent Home환경에서 인간과 Home환경과의 지능적인 Agent로써의 역할을 담당한다. 우리는 제시된 논문에서 인간행동패턴 결정을 위한 상황인식 미들웨어의 아키텍처를 제안하고 상황인식 미들웨어 내에서 동작하는 인간행동패턴 학습 및 결정 프로세서에 대한 구조와 구현내용에 대한 설명을 한다. 인간행동패턴을 결정하기 위한 기본 컨텍스트들을 환경 컨텍스트와 생체 컨텍스트로 크게 두 그룹으로 분리하였고 각 그룹은 세 개의 컨텍스트를 포함하고 있다. 환경과 생체로 나뉘어진 총 6개의 컨텍스트들을 정의하고 그 구성에 대하여 설명한다. 또한 컨텍스트는 9단계로 정규화 되어 상황인식 미들웨어에서의 다음 단계인 인간행동패턴 학습 및 결정 프로세서로 정규화 된 값을 전달된다. 인간행동패턴 학습 및 결정 프로세서에서는 패턴인식에 대한 세부사항을 설명한다.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2000.05a
• /
• pp.118-121
• /
• 2000

본 논문에서는 FNNs(feedforwad neural networks)구현을 위한 새로운 학습 방안을 제안하였다. 제안된 방식은 온 칩 학습이 가능하도록 FNNs와 학습회로 사이에 스위칭 회로를 추가하여 단일패턴과 다중패턴 학습이 가능하도록 구현하였다. 학습 회로는 MEBP(modified error back-propagation) 학습 규칙을 적용하였고 간단한 비선형 시냅스 회로를 이용하여 구현하였다. 제안된 방식은 표준 CMOS 공정으로 구현되었고, MOSIS AMI $1.5\mu\textrm{m}$공정 HSPICE 파라메터를 이용하여 그 동작을 검증하였다. 제안된 학습방안 및 비선형 회로는 향후 학습 기능을 가진 대규모의 FNNs 구현에 매우 적합하리라 예상된다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.12 no.9
• /
• pp.1682-1688
• /
• 2008

The Counterpropagation algorithm(CP) is a combination of Kohonen competition network as a hidden layer and the outstar structure of Grossberg as an output layer. CP has been used in many real applications for pattern matching, classification, data compression and statistical analysis since its learning speed is faster than other network models. However, due to the Kohonen layer's winner-takes-all strategy, it often causes instable learning and/or incorrect pattern classification when patterns are relatively diverse. Also, it is often criticized by the sensitivity of performance on the learning rate. In this paper, we propose an enhanced CP that has multiple Kohonen layers and dynamic controlling facility of learning rate using the frequency of winner neurons and the difference between input vector and the representative of winner neurons for stable learning and momentum learning for controlling weights of output links. A real world application experiment - pattern recognition from passport information - is designed for the performance evaluation of this enhanced CP and it shows that our proposed algorithm improves the conventional CP in learning and recognition performance.