• Proceedings of the KIEE Conference
• /
• 1999.07g
• /
• pp.2830-2832
• /
• 1999

신경망은 선형 시스템 뿐 만 아니라 비선형 시스템에 있어서도 탁월한 모델링 및 예측 성능을 갖고 있다. 하지만 좋은 성능을 갖는 신경망을 구현하기 위해서는 최적화 해야할 파라미터들이 있다. 은닉층의 뉴런의 수, 학습율, 모멘텀, 학습오차 등이 그것인데 이러한 파라미터들은 경험에 의해서, 또는 문헌들에서 제시하는 값들을 선택하여 사용하는 것이 일반적인 경향이다. 하지만 신경망의 전체적인 성능은 이러한 파라미터들의 값에 의해서 결정되기 때문에 이 값들의 선택은 보다 체계적인 방법을 사용하여 구하여야 한다. 본 논문은 유전 알고리즘을 이용하여 이러한 신경망 파라미터들의 최적 값을 찾는데 목적이 있다. 유전 알고리즘을 이용하여 찾은 파라미터들을 사용하여 학습된 신경망의 학습오차와 예측오차들을 심플렉스 알고리즘을 이용하여 찾은 파라미터들을 사용하여 학습된 신경망의 오차들과 비교하여 본 결과 유전 알고리즘을 이용하여 찾을 파라미터들을 이용했을 때의 신경망의 성능이 더욱 우수함을 알 수 있다.

• Proceedings of the KIEE Conference
• /
• 2005.07d
• /
• pp.2879-2881
• /
• 2005

본 논문에서는 뉴로-퍼지 모델의 전제부 소속함수의 새로운 학습방법을 통한 모델링 기법을 제안한다. 모델의 크기와 학습시간을 줄이는 기법으로 클러스터링 기법을 이용한 모델의 초기 파라미터 결정 방법이 있다. 이는 클러스터링 후 이들 파라미터를 다시 모델에 적용하여 모델을 학습하는 순차적 방법으로써 모델의 학습이 끝난 후의 전제부 파라미터가 클러스터링 파라미터와 연관성을 가지지 못하는 경우가 발생하였다. 또한 오차미분 기반 학습에서는 전제부 초기치가 국부적 최적해에서 벋어나지 못하는 문제점을 가지고 있다. 본 논문에서는 자율적으로 클러스터의 수를 추정하며 이들 파라미터를 최적화하며 이를 이용하여 뉴로-퍼지 모델의 학습을 실시하는 학습기법을 제안하였다. 제안된 방법에서는 기존의 오차미분 기반 학습을 클러스터링 기반 학습으로 확장하였으며 이를 이용한 모델의 성능을 기존의 연구결과와 비교하여 우수성을 보인다.

• Annual Conference of KIPS
• /
• 2020.11a
• /
• pp.881-882
• /
• 2020

최근 딥 러닝 (deep learning) 기술의 큰 발전으로 기존 기계 학습 분야의 기술들이 성공적으로 해결하지 못하던 많은 문제들을 해결할 수 있게 되었다. 이러한 딥 러닝의 학습 과정은 매우 많은 연산을 요구하기에 다수의 노드들로 모델을 학습하는 분산 학습 (distributed training) 기술이 연구되었다. 대표적인 분산 학습 기법으로 파라미터 서버 기반의 분산 학습 기법들이 있으며, 이 기법들은 파라미터 서버 노드가 학습의 병목이 될 수 있다는 한계를 갖는다. 본 논문에서는 이러한 파라미터 서버 병목 문제를 해결하는 파라미터 샤딩 기법에 대해 소개하고, 각 기법 별 학습 성능을 비교하고 그 결과를 분석하였다.

• Journal of the Korea Society of Computer and Information
• /
• v.15 no.4
• /
• pp.57-63
• /
• 2010

The damping parameter of Levenberg-Marquardt algorithm switches between error backpropagation and Gauss-Newton learning and affects learning speed. Fixing the damping parameter induces some oscillation of error and decreases learning speed. Therefore, we propose the way of a variable damping parameter with referring to the alternation of error. The proposed method makes the damping parameter increase if error rate is large and makes it decrease if error rate is small. This method so plays the role of momentum that it can improve learning speed. We tested both iris recognition and wine recognition for this paper. We found out that this method improved learning speed in 67% cases on iris recognition and in 78% cases on wine recognition. It was also showed that the oscillation of error by the proposed way was less than those of other algorithms.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2005.04a
• /
• pp.289-292
• /
• 2005

본 논문에서는 클러스터링과 뉴로-퍼지 모델링을 동시에 실시하는 학습 기법을 제안하였다. 클러스터링을 이용하여 뉴로-퍼지 모델링을 실시하는 일반적인 경우, 클러스터링 학습을 실시한 후 학습된 파라미터를 뉴로-퍼지 모델의 초기 파라미터로 설정하고 모델을 다시 학습하는 방법을 취한다. 즉 클러스터링에서 클러스터의 수를 구하고 파라미터를 최적화함으로써 초기 구조동정과 파라미터 동정을 실시하며 이를 다시 뉴로-퍼지 모델에서 세부적인 파라미터 동정을 실시하는 것이다. 또한 모델에서의 학습은 출력데이터의 오차를 이용한 오차미분기반 학습으로 전제부 소속함수 파라미터를 수정하는 방법을 이용한다. 이 경우 클러스터링의 영향과 모델의 영향이 각각 별개로 고려될 수 있다. 따라서 본 논문에서는 클러스터링을 전제부 소속함수로 부여하고 클러스터링의 학습에 뉴로-퍼지 모델을 이용하면서 또한 모델의 학습에 클러스터링을 직접 적용하는 클러스터링 기반 뉴로-퍼지 모델링을 제안하였으며 이 경우 클러스터링의 학습과 모델의 학습이 동시에 이루어지며 뉴로-퍼지 모델에서 클러스터링의 효과를 직접적으로 확인할 수 있다. 제안된 방법의 유용성을 시뮬레이션을 통하여 보이고자 한다.

• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2002.12a
• /
• pp.391-394
• /
• 2002

진화 연산(Genetic Algorithm)은 최적화 분야에서 사용되는 강력하면서도 일반적인 방법이다. 이러한 진화 연산의 일반성은 진화 연산에서 사용되는 기본 연산자들이 문제에 대한 정보를 필요로 하지 않는 것에 기인하고 있기에, 실제 구현시에는 여러 파라미터들을 문제에 맞게 정해 줌으로써 성능 향상을 죄할 수 있다. 이러한 파라미터의 조절은 보통 시행착오를 거쳐 행해지나, 실행시에 동적으로 파라미터를 학습하는 적응적 진화 연산도 연구되어 왔다. 본 논문에서는 진화 연산에서의 파라미터 학습 과정을 강화 학습 과정으로 공식화하고 강화 학습을 사용한 적응적 진화 연산 구현을 제안한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2018.07a
• /
• pp.360-363
• /
• 2018

본 논문에서는 계층적 RNN의 성능 향상을 위하여 강화학습을 통한 계층적 RNN 내 파라미터를 효율적으로 찾는 방법을 제안한다. 계층적 RNN 내 임의의 파라미터에서 학습을 진행하고 얻는 분류 정확도를 보상으로 하여 간소화된 강화학습 네트워크에서 보상을 최대화하도록 강화학습 내부 파라미터를 수정한다. 기존의 강화학습을 통한 내부 구조를 찾는 네트워크는 많은 자원과 시간을 소모하므로 이를 해결하기 위해 간소화된 강화학습 구조를 적용하였고 이를 통해 적은 컴퓨터 자원에서 학습속도를 증가시킬 수 있었다. 간소화된 강화학습을 통해 계층적 RNN의 파라미터를 수정하고 이를 행동 인식 데이터 세트에 적용한 결과 기존 알고리즘 대비 높은 성능을 얻을 수 있었다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2012.07a
• /
• pp.33-34
• /
• 2012

토석류 퇴적 모델은 토석류에 의한 피해지 예측을 위해 그 효용성이 입증된 모델이지만 이를 이용하기 위해서는 몇 가지 파라미터를 필요로 한다. 파라미터를 자동으로 추정하기 위한 방법은 여러 가지가 있지만 토석류에 의한 피해지 예측을 위한 데이터는 충분히 양을 확보하기가 어려우므로 기존의 학습 기법을 적용하는데 어려움이 있다. 본 논문에서는 인공 신경망을 학습시키는 과정에서 기존 샘플로부터 의사 샘플을 생성하고 이를 학습에 사용함으로써 보다 안정적인 학습이 가능한 의사 샘플 신경망을 제안하였다. 제안한 의사 샘플 신경망은 해공간을 평탄화시킴으로써 잘못된 국부 최적해에 빠질 확률을 줄여주고 따라서 보다 안정적인 파라미터 추정이 가능하다는 사실을 실험을 통해 확인할 수 있다.

• Proceedings of the IEEK Conference
• /
• 2003.07d
• /
• pp.1259-1262
• /
• 2003

퍼지 최소 최대 신경망(Fuzzy Max Neural Network)은 많은 장점을 가진 분류기로 널리 사용되고 있다. 그러나 최초의 퍼지 최소 최대 신경망은 몇 가지 단점을 가지고 있으며 그 중에 학습 결과가 학습 파라 미터에 민감한 점을 들 수 있다. 본 논문에서는 퍼지 최소 최대 신경망의 학습에 영향을 주는 학습 파라 미터를 사용하지 않고 강화 학습을 이용하여 신경망을 학습하는 방법을 제안한다. 이 방법에서는 학습 파라 미터 없이 하이퍼 박스의 수와 잘못 분류된 결과에 따라 보답(reward)을 주는 강화 학습을 이용하여 퍼지 최소 최대 신경망을 학습시킨다 결과로는 학습 데이터에 대해 오분류가 없고 최초의 학습 방법의 결과 보다 작은 하이퍼 박스 수를 갖는 퍼지 최소 최대 신경망이 얻어졌다. 이는 학습 파라미터를 이용한 학습 방법으로 생긴 많은 수의 하이퍼 박스로 인한 일반화 능력의 감소를 막고 하드웨어 구현 시 많은 하이퍼 박스로 인한 어려움을 덜어 줄 수 있다.

• Broadcasting and Media Magazine
• /
• v.25 no.2
• /
• pp.27-35
• /
• 2020

최근 많은 연구 결과물에서 빅데이터를 이용하여 학습된 뉴럴 네트워크가 영상 내 노이즈를 제거하는데 매우 효과적임이 입증되었다. 여기에서 한 걸음 더 나아가, 입력으로 주어진 노이즈가 있는 영상의 특징을 분석하여, 사전에 학습된 네트워크의 파라미터를 테스트 타임에 동적으로 업데이트함으로써 주어진 입력 영상을 더욱 잘 처리할 수 있도록 하는 연구들이 시도되고 있다. 본 원고에서는 이와 같이 테스트 타임에 주어지는 입력 영상을 네트워크 학습에 사용하는(self-supervision) 이미지 복원 기법들을 소개한다. 다음으로, 기존의 self-supervision을 이용하는 기법들 대비 학습 효율성과 정확도를 더욱 향상시킬 수 있는 새로운 형태의 네트워크 파라미터 업데이트 기법을 설명하고, 제안하는 기법의 우수성을 다양한 실험 결과를 통해 분석 및 입증한다.