• 정보처리학회논문지B
• /
• 제8B권3호
• /
• pp.237-242
• /
• 2001

고전적인 GLA 알고리즘과 마찬가지로 Kohonen 학습법은 경도 강하법으로 오차함수의 해에 접근해 나간다. 따라서 KLA의 이러한 문제를 극복하기 위해 모의 담금질법의 일종인 Cauchy 학습법을 응용을 제안한다. 그러나 이 방법은 학습시간이 느리다고 하는 단점이 있다. 본 논문 이 점을 개선시키기 위해 Cauchy 학습법과 Kohonen 학습법을 순차 결합시킨 또 다른 학습법을 제안한다. 그 결과 코시 학습법과 마찬가지로 국부최적 문제를 극복하면서도 삭습시간을 단축할 수 있었다.

• 한국음향학회지
• /
• 제13권1호
• /
• pp.5-13
• /
• 1994

본 논문은 음소인식을 위한 신경회로망에 관한 연구로서, 시간 지연 신경회로망을 이용하여 음소인식을 수행하였다. 또한, 본 논문은 대규모 시간지연 신경망에도 적합한 음성 인식 신경망의 학습 방법에 제안한다. 연속 음성의 인식을 위해 반드시 선행되어야 하는 음소의 정확한 인식을 위하여 우수한 성능을 보이고 있는 시간지연 신경망을 사용하였으며, 인식 대상 음소수가 증가하여도 신경망을 최적으로 수렴시킬 수 있는 시간지연 신경망의 새로운 알고리즘을 제시하였다. 확률론적 접근법인 코우쉬 알고리즘을 에러 역전파 알고리즘에 결합하는 시간지연 신경망의 새로운 학습 알고리즘을 사용한 실험이 수행되었다. 화자 2인을 대상으로 한 3분류의 음소군 인식 실험에서 $98.1\%$의 인식률을 얻었으며, 제안된 알고리즘이 시간지연 신경망의 더욱 우수한 인식률과 수렴 시간의 단축에 효율적이었음을 보였다.

• 응용통계연구
• /
• 제32권5호
• /
• pp.693-702
• /
• 2019

딥러닝은 대용량의 데이터의 분류 및 예측하는 방법으로 각광받고 있다. 데이터의 양이 많아지면서 신경망의 구조는 더 깊어 지고 있다. 이때 초기값이 지나치게 클 경우 층이 깊어 질수록 활성화 함수의 기울기가 매우 작아지는 포화(Saturation)현상이 발생한다. 이러한 포화현상은 가중치의 학습능력을 저하시키는 현상을 발생시키기 때문에 초기값의 중요성이 커지고 있다.이런 포화현상 문제를 해결하기 위해 Glorot과 Bengio (2010)과 He 등 (2015) 층과 층 사이에 데이터가 다양하게 흘러야 효율적인 신경망학습이 가능하고 주장했다. 데이터가 다양하게 흐르기 위해서는 각 층의 출력에 대한 분산과 입력에 대한 분산이 동일해야 한다고 제안했다. Glorot과 Bengio (2010)과 He 등 (2015)는 각 층별 활성화 값의 분산이 같다고 가정해 초기값을 설정하였다. 본 논문에서는 절단된 코쉬 분포와 절단된 정규분포를 활용하여 초기값을 설정하는 방안을 제안한다. 출력에 대한 분산과 입력에 대한 분산의 값을 동일하게 맞춰주고 그 값이 절단된 확률분포의 분산과 같게 적용함으로써 큰 초기값이 나오는 걸 제한하고 0에 가까운 값이 나오도록 분포를 조정하였다. 제안된 방법은 MNIST 데이터와 CIFAR-10 데이터를 DNN과 CNN 모델에 각각 적용하여 실험함으로써 기존의 초기값 설정방법보다 모델의 성능을 좋게 한다는 것을 보였다.