• 한국콘텐츠학회논문지
• /
• 제4권3호
• /
• pp.99-105
• /
• 2004

이 논문은 다층퍼셉트론의 학습을 빠르게 하기 위한 최적 학습률을 제안한다. 이 학습률은 한 뉴런에 연결된 가중치들에 대한 학습률과, 중간층에 가상의 목표값을 설정하기 위한 학습률로 나타난다. 그 결과, 중간층 가중치의 최적 학습률은 가상의 중간층 목표값 할당 성분과 중간층 오차함수를 최소화 시키고자하는 성분의 곱으로 나타난다. 제안한 방법은 고립단어인식과 필기체 숫자 인식 문제의 시뮬레이션으로 효용성을 확인하였다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2001년도 춘계학술대회 학술발표 논문집
• /
• pp.257-260
• /
• 2001

일반적으로 기계학습은 교사신호의 유무에 따라 교사학습과 비교사학습, 그리고 간접교사에 의한 강화학습으로 분류할 수 있다. 강화학습이란 용어는 원래 실험 심리학에서 동물의 학습방법 연구에서 비롯되었으나, 최근에는 공학 특히 인공생명분야에서 뉴럴 네트워크의 학습 알고리즘으로 많은 관심을 끌고 있다. 강화학습은 제어기 또는 에이전트의 행동에 대한 보상을 최대화하는 상태-행동 규칙이나 행동발생 전략을 찾아내는 것이다. 본 논문에서는 최근 많이 연구되고 있는 강화학습의 방법과 연구동향을 소개하고, 특히 인공생명 연구에 있어서 강하학습의 중요성을 역설한다.

• 전자공학회논문지CI
• /
• 제38권1호
• /
• pp.1-6
• /
• 2001

본 논문에서는 Hebb 학습법에 기초한 Kohonen의 LVQ 학습법을 퍼셉트론 학습에 사용되는 경도 강하 (Gradient descent) 학습법에 의해 재해석한다. Kohonen의 LVQ는 학습법에 따라 두 가지로 나뉠 수 있는데 하나는 자율학습 LVQ(ULVQ)이며 다른 하나는 타율학습 LVQ(SLVQ)이다. 두 경우 모두 출력뉴런의 목표 값을 적당히 생성할 경우 타율학습 경도 강하학습법으로 표현될 수 있다. 결과적으로 LVQ학습법은 타율학습 경도 강하 학습법의 특수한 형태임을 알 수 있으며 또한 LVQ는 보다 일반화된 '퍼셉트론 형태의 LVQ(PLVQ)'알고리즘으로 표현될 수 있음을 알 수 있다. 본 논문에서는 이를 증명하고 결론을 맺는다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제26권4호
• /
• pp.546-556
• /
• 1999

다층 퍼셉트론은 다양한 응용 분야에 성공적으로 적용되고 있는 대표적인 신경회로망 모델이다. 그러나 다층 퍼셉트론의 학습에 사용되는 오류역전파 알고리즘으로 알려진 기울기 강하 학습법은 느린 수렴속도로 인해 실시간 처리가 요구되거나 시간에 따라 환경이 변하는 문제에의 적용이 불가능하다. 이러한 느린 수렴속도는 기울기 강하법을 사용한 학습과정에서의 오차함수의 기울기 변화가 극히 적어 오차의 감소가 거의 일어나지 않는 부분인 플라토에 기인하는 것으로 알려져있다. 본 논문에서는 정보기하이론의 관점에서 기존의 학습법에 사용되는 기울기의 이론적 문제를 지적하고, 그로부터 플라토 문제의 원인을 밝힌다. 또한 이를 바탕으로 정보기하이론에 의해 새롭게 정의되는 자연 기울기를 이용한 학습법을 제시하고, 이를 이용한 플라토 문제가 문제해결의 가능성을 분석적으로 고찰하고 실험을 통해 확인한다.

• 정보처리학회논문지B
• /
• 제8B권4호
• /
• pp.343-350
• /
• 2001

백터 양자화기 설계는 다차원의 목적함수를 최소화하는 학습 알고리즘을 필요로 한다. 일반화된 Lloyd 방법(GLA)은 벡터 양자화기 설계를 위해 오늘날 가장 널리 사용되는 알고리즘이다. GLA 는 일괄처리(batch) 방식으로 코드북을 생성하며 목적함수를 단조 감소시키는 강하법(descent algorithm)의 일종이다. 한편 Kohonen 학습법(KLA)은 학습벡터가 입력되는 동안 코드북이 갱신되는 온라인 벡터 양자화기 설계 알고리즘 이다. KLA는 원래 신경망 학습을 위해 Kohonen에 의해 제안되었다. KLA 역시 GLA와 마찬가지로 강하법의 일종이라 할 수 있다. 따라서 이들 두 알고리즘은, 비록 사용하기 편리하고 안정적으로 동작을 하지만, 극소(local minimum) 점으로 수렴하는 문제를 안고 있다. 우리는 이 문제와 관련하여 simulated annealing(SA) 방법의 응용을 논하고자 한다. SA는 현재까지 극소에 빠지지 않고 최소(global minimum)로 수렴하면서, 해의 수렴이 (통계적으로) 보장되는 유일한 방법이라 할 수 있다. 우리는 먼저 GLA에 SA를 응용한 그 동안의 연구를 개괄한다. 다음으로 온라인 방식의 벡터 양자화가 설계에 SA 방법을 응용함으로써 SA 방법에 기초한 새로운 온라인 학습 알고리즘을 제안한다. 우리는 이 알고리즘을 OLVQ-SA 알고리즘이라 부르기로 한다. 가우스-마코프 소스와 음성데이터에 대한 벡터양자화 실험 결과 제안된 방법이 KLA 보다 일관되게 우수한 코드북을 생성함을 보인다.

• 정보처리학회논문지B
• /
• 제8B권3호
• /
• pp.237-242
• /
• 2001

고전적인 GLA 알고리즘과 마찬가지로 Kohonen 학습법은 경도 강하법으로 오차함수의 해에 접근해 나간다. 따라서 KLA의 이러한 문제를 극복하기 위해 모의 담금질법의 일종인 Cauchy 학습법을 응용을 제안한다. 그러나 이 방법은 학습시간이 느리다고 하는 단점이 있다. 본 논문 이 점을 개선시키기 위해 Cauchy 학습법과 Kohonen 학습법을 순차 결합시킨 또 다른 학습법을 제안한다. 그 결과 코시 학습법과 마찬가지로 국부최적 문제를 극복하면서도 삭습시간을 단축할 수 있었다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 1998년도 추계학술대회 학술발표 논문집
• /
• pp.90-93
• /
• 1998

입？출력 데이터 쌍만을 이용하여 규칙 및 소속 함수를 자동적으로 결정하는 자기 학습 퍼지 알고리즘 중에서, 가장 이해하기 용이하고 퍼지 규칙 및 소속 함수 생성이 빠른 방법으로 기울기 강하를 이용한 방법들이 있다. 기울기 강하를 이용한 방법중에서 가장 대표적인 Araki가 제안한 방법은 퍼지 조건부가 퍼지 집합 형태이고 결론부는 단일값으로 구성된 알고리즘으로써 입력 퍼지 공간을 세분화하면서 시스템을 규명해나가는 간단하면서도 효율적인 알고리즘이다. 그러나 이 방법은 퍼지 입력 변수가 증가하면 퍼지 공간이 세분화 되면서 소속 함수 및 규칙 생성 개수가 급격히 제곱배로 증가하는 문제점을 가지고 있다. 따라서, 본 논문에서는 퍼지 입력 변수가 증가함에 따라 급격히 퍼지 규칙 및 소속 함수의 수가 증가하는 Araki 알고리즘의 문제점을 분석하여 소속 함수 및 규칙 수의 급격한 증가를 억제하고 Araki 방법에 비해 학습속도가 현저히 향상된 새로운 방안을 제안한다. 연구 결과, Arki 방법이 입력 변수의 개수가 증가 할수록 규칙 수가 기하 급수적으로 많이 필요하였던 것에 비해 제안한 방법은 훨씬 적은 규칙 수로 우수한 성능을 얻을 \ulcorner 있었다.

• 한국음향학회:학술대회논문집
• /
• 한국음향학회 1994년도 제11회 음성통신 및 신호처리 워크샵 논문집 (SCAS 11권 1호)
• /
• pp.138-141
• /
• 1994

기존의 HMM을 이용한 음성인식기는 대부분 ML 추정에 기초한 Baum-Welch 알고리듬으로 학습되었다. ML학습은 기본적으로 무한한 양의 학습 데이터가 주어지고, 각 모델들이 서로 독립이라는 가정에 기초한다. 하지만 실제적인 학습의 경우에 각 모델들이 서로 독립이라고 보기 어렵고, 학습 데이터의 양도 상당히 제한되어 있어서 인식기의 변별력을 저하시키는 주된 원인이 되고 있다. 본 논문에서는 전통적인 패턴분류기법인 Bayes 결정이론에 따라 최소오차율분류를 위한 MAP 수식화를 유도하고, 그에 기초한 HMM의 변별력 있는 학습 알고리듬을 제안한다. 최소오차율분류를 근사화한 사후확률로 표현된 비용함수를 정의하고, 그 비용함수에 조건부 경사강하법을 적용한다. 제안된 알고리듬을 분류하기 어려운 한국어 단음절 인식에 적용한 결과, 기존의 ML 알고리듬으로 학습한 경우 발생한 오인식 개수의 약 10% 가량이 개선되었다.

• 한국정보교육학회:학술대회논문집
• /
• 한국정보교육학회 2006년도 동계학술대회
• /
• pp.51-56
• /
• 2006

초등학교 수학과의 학습은 학습자의 구체적인 조작을 통해서 개념을 학습하여야 한다. 웹에서 구현되는 콘텐츠들은 개념 학습을 위한 정의나 정적인 것이다. 이린 정적인 콘텐츠는 상호작용의 제약 조건이 많다. 이런 제약 조건을 극복하고 학생들의 인지적인 단계에 적합한 동적인 상호작용을 위한 콘텐츠 개발이 필요하다. 이에 본 연구에서는 수와 연산 영역의 교육과정을 분석을 통하여 객체와 클래스를 분석 설계한 이전의 연구에 이어 '수 클래스'를 구현하고 구현한 클래스를 활용하여 학생들의 자유로운 조작과 탐구활동을 통해 수와 연산의 개념과 원리를 학습할 수 있는 프로그램인 '수와 연산 학습 애플릿'을 개발하였다. 이것은 학생들의 동적인 상호 작용을 강하할 수 있다.

• 한국소음진동공학회:학술대회논문집
• /
• 한국소음진동공학회 1995년도 추계학술대회논문집; 한국종합전시장, 24 Nov. 1995
• /
• pp.280-283
• /
• 1995

계층형 신경회로망은 학습능력이나 비선형사상능력을 가지고 있고, 그 특징을 이용하여 패턴인식이나 동정 및 제어 등에의 적용이 시도되어 성과를 올리고 있다. 현재, 그 학습법으로 널리 이용되고 있는 것이 역전파학습법으로 최급 강하법이나 공액경사법 등의 최적화 방법이 적용되고 있지만, 학습에 많은 시간이 걸리는 점, 국소적 최적해(local minima)에 해의 수렴이 이루어져 오차가 충분히 작게 되지 않는 점 등이 문제점으로 지적되고 있다. 본 논문에서는 Hu에 의해 고안된 random 탐색법과 조합된 random tabu 탐색법으로 최적결합계수를 구하는 학습알고리즘으로, 국소적 최적해에 수렴하는 것을 방지하고, 수렴정도를 개선하는 새로운 방법을 이용하여 회전기계의 이상진동진단에 적용가능성을 검토하고 오차역전파법에 의한 진단결과와 비교검토한다.