• Proceedings of the Korean Information Science Society Conference
• /
• 1998.10c
• /
• pp.333-335
• /
• 1998

에러 역전파 신경망에서 학습속도와 수렴률은 초기 가중의 분포에 따라 크게 영향을 받는다. 본 연구에서는 이를 위하여 비교사 학습 신경망(Hebbian learning rule)을 이용한 새로운 초기 가중치 결정 방법을 제안한다. 또는 비교사 학습 신경망이 에러 역전파 신경망 학습에 적당하도록 은닉층의 각 뉴런과 연결된 가중치의 norm을 이용하여 학습하였다. 시뮬레이션을 통하여 기존 에러 역전파 신경망 학습과 그 성능을 비교한 결과 제안한 초기 가중치 표현이 학습속도와 수렴능력에서 우수함을 나타낸다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10b
• /
• pp.78-80
• /
• 2000

클러스터링이란 주어진 데이터들을 유사한 성질을 가지는 군집으로 나누는 것으로 많은 분야에서 응용되고 있으며, 특히 최근 관심의 대상인 데이터 마이닝의 중요한 기술로서 활발히 응용되고 있다. 클러스터링에 있어서 기존의 알고리즘들은 지역적 최적해에 수렴하는 것과 사전에 클러스터 개수를 미리 결정해야 하는 문제점을 가지고 있다. 본 논문에서는 병렬 탐색을 통해 최적해를 찾는 진화알고리즘을 사용하여 지역적 최적해에 수렴되는 문제점을 개선하였으며, 자동으로 적절한 클러스터 개수를 결정할 수 있게 하였다. 또한 진화알고리즘의 단점인 탐색공간의 확대에 따른 탐색시간의 증가는 휴리스틱 연산을 정의하여 개선하였다. 제안한 알고리즘의 성능 및 타당성을 보이기 위해 가우시안 분포 데이터를 사용하여 제안한 알고리즘의 성능이 우수함을 보였다.

• The Journal of the Acoustical Society of Korea
• /
• v.7 no.4
• /
• pp.54-76
• /
• 1988

In Part Ⅰ of the paper, we have developed various block least mean-square (BLMS) adaptive digital filters (ADF's) based on a unified matrix treatment. In Part Ⅱ we analyze the convergence behaviors of the self-orthogonalizing frequency-domain BLMS (FBLMS) ADF and the unconstrained FBLMS (UFBLMS) ADF both for the overlap-save and overlap-add sectioning methods. We first show that, unlike the FBLMS ADF with a constant convergence factor, the convergence behavior of the self-orthogonalizing FBLMS ADF is governed by the same autocorrelation matrix as that of the UFBLMS ADF. We then show that the optimum solution of the UFBLMS ADF is the same as that of the constrained FBLMS ADF when the filter length is sufficiently long. The mean of the weight vector of the UFBLMS ADF is also shown to converge to the optimum Wiener weight vector under a proper condition. However, the steady-state mean-squared error(MSE) of the UFBLMS ADF turns out to be slightly worse than that of the constrained algorithm if the same convergence constant is used in both cases. On the other hand, when the filter length is not sufficiently long, while the constrained FBLMS ADF yields poor performance, the performance of the UFBLMS ADF can be improved to some extent by utilizing its extended filter-length capability. As for the self-orthogonalizing FBLMS ADF, we study how we can approximate the autocorrelation matrix by a diagonal matrix in the frequency domain. We also analyze the steady-state MSE's of the self-orthogonalizing FBLMS ADF's with and without the constant. Finally, we present various simulation results to verify our analytical results.

• Proceedings of the Korea Institute of Convergence Signal Processing
• /
• 2005.11a
• /
• pp.317-320
• /
• 2005

기존의 블라인드 등화(blind equalization) 알고리즘의 step-size는 임의의 값을 알고리즘에 적용하여 수렴속도와 정상 상태의 특성을 고려하여 최적한 step-size를 결정하였다. step-size를 크게 하면 수렴속도는 빠른 반면에 정상 상태에서 에러가 크고, step-size를 작게 하면 수렴속도는 느린 반면에 정상 상태에서 에러가 작아진다. 그렇기 때문에 수렴속도와 정상 상태를 고려해서 step-size를 결정해야 되고, 특별하게 정해지는 기준이 없기 때문에 연구자의 판단에 의해서 다르게 선택된다. 본 논문에서는 등화기 출력의 잔류 심벌간 간섭에 따라 step-size를 가변함으로서 수렴속도 및 정상 상태 성능을 개선한 가변 step-size를 갖는 블라인드 등화 알고리즘을 제안한다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.11 no.4
• /
• pp.325-330
• /
• 2001

It has been realized that the results of circuit level simulation of neural networks, used for optimization problems, arc much different from those of algorism level simulation. In other words, the outputs converges asymptotically as time elapes, however, the input convergence depends on the value of parasitic conductance connected between input node and ground. Also, this conductance affects system performance. This paper discusses the influence of input conductance on the convergece of the continuous Hopfield neural networks. The convergence has been analyzed for the input and output nodes of neurons. Also, the characteristics of equilibrium points has been analyzed depending on different values of the input conductance.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.8 no.3
• /
• pp.71-79
• /
• 1998

This paper introduces a new optimization algorithm which is combined with genetic algorithm and random tabu search method. Genetic algorithm is a random search algorithm which can find the global optimum without converging local optimum. And tabu search method is a very fast search method in convergent speed. The optimizing ability and convergent characteristics of a new combined optimization algorithm is identified by using a test function which have many local optimums and an optimum allocation of pipe support. The caculation results are compared with the existing genetic algorithm.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.21 no.9
• /
• pp.2349-2354
• /
• 1996

Convergence analysis on Godard's quartic (GQ) algorithm used forblind equalization is accomplished in this paper. The first main result is an explanation of the lacal behavior of the GQ algorithm around the global minimum point of the average performance functio, from which we can determine the adaptation gain. It is show that the normalized adaptation gain of the GQ algorithm should be smaller than that of the decision directed (DD) algorithm. In addition, it is observed that the GQ algorithm converges faster than the DD equalization algorithm.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04a
• /
• pp.553-555
• /
• 2001

블라인드 등화기법은 별도의 훈련신호없이 효율적인 데이터 전송을 위한 등화기 탭 수정을 수행하는 방법이다. 본 논문에서는 이중 모드를 갖는 SCS-MMA 방법을 제안한다. 기존의 CMA와 MMA 기법들은 자승평균 오차함수(mean squared error function)를 기반으로 하는 포물선을 이루지 않는 비용함수를 사용하므로, 부적절한 국부 최소값으로 수렴할 수 있다. 제안하는 방법은 정규화된 MMA 등화 방법을 기반으로 수렴 속도의 개선과 요구되지 않은 국부 최소값으로의 수렴진행을 방지위해 SCS(soft constraint satisfaction) 알고리듬을 구현하였다. 또한, 입력 신호에 신뢰도를 주어 결정지향 알고리듬으로 자동 전환하는 방법을 적용한다. 이를 통해, 보다 빠른 수렴과 정상상태에서 결정지향 알고리듬에서와 같은 평균 오차값을 보장할 수 있다. 실험 결과 제안된 알고리듬이 기존의 방법들보다 수렴속도와 안정성에 있어 우수한 성능을 갖음을 볼 수 있다.

• The Journal of the Acoustical Society of Korea
• /
• v.12 no.5
• /
• pp.47-53
• /
• 1993

능동소음제어를 위하여 수렴속도가 빠르면서 정상상태오차를 최소화하는 오차보상 NLMS 알고리듬인 CNLMS 알고리듬을 제안하였다. 이 CNLMS 알고리듬에서는 수렴속도를 빠르게 하기 위하여 입력소음과 오차소음의 전력에 따라 수렴인자를 가변시킨 NLMS 알고리듬을 사용하였다. 도한 정상상태오차를 최소화하기 위하여 소음발생기를 사용하지 않고 오차경로에서 발생하는 소음오차를 더욱 작아지도록 보상하는 보조시스템을 사용하여 안정된 능동소음제어가 되도록 하였다. 이와 같은 시스템의 성능을 기존의 적응디지틀필터인 LMS 및 NLMS 알고리듬을 이용한 필터의 그 성능과 비교하였다. 각 알고리듬에 대한 시뮬레이션을 행한 결과, 제안한 CNLMS 알고리듬의 소음레벨은 LMS 및 NLMS 알고리듬의 것보다 각각 평균 14dB 및 6dB 정도 더 큰 감쇄효과가 있음을 확인하였다.

• The KIPS Transactions:PartB
• /
• v.14B no.7
• /
• pp.523-530
• /
• 2007

This paper proposes a new stochastic optimization algorithm for hidden Markov models (HMMs) used as a recognizer of automatic lipreading. The proposed method combines a global stochastic optimization method, the simulated annealing technique, and the local optimization method, which produces fast convergence and good solution quality. We mathematically show that the proposed algorithm converges to the global optimum. Experimental results show that training HMMs by the method yields better lipreading performance compared to the conventional training methods based on local optimization.