• 제목/요약/키워드: 기울기 강하

검색결과 23건 처리시간 0.021초

다층 퍼셉트론 학습의 플라토 문제에 대한 정보기하 이론적 접근 (An Information Geometrical Approach on Plateau Problems in Multilayer Perceptron Learning)

  • 박혜영;아마리?이치;이일병
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권4호
    • /
    • pp.546-556
    • /
    • 1999
  • 다층 퍼셉트론은 다양한 응용 분야에 성공적으로 적용되고 있는 대표적인 신경회로망 모델이다. 그러나 다층 퍼셉트론의 학습에 사용되는 오류역전파 알고리즘으로 알려진 기울기 강하 학습법은 느린 수렴속도로 인해 실시간 처리가 요구되거나 시간에 따라 환경이 변하는 문제에의 적용이 불가능하다. 이러한 느린 수렴속도는 기울기 강하법을 사용한 학습과정에서의 오차함수의 기울기 변화가 극히 적어 오차의 감소가 거의 일어나지 않는 부분인 플라토에 기인하는 것으로 알려져있다. 본 논문에서는 정보기하이론의 관점에서 기존의 학습법에 사용되는 기울기의 이론적 문제를 지적하고, 그로부터 플라토 문제의 원인을 밝힌다. 또한 이를 바탕으로 정보기하이론에 의해 새롭게 정의되는 자연 기울기를 이용한 학습법을 제시하고, 이를 이용한 플라토 문제가 문제해결의 가능성을 분석적으로 고찰하고 실험을 통해 확인한다.

다 입력 퍼지 변수를 위한 자기 학습 퍼지 알고리즘 (A Self Learning Fuzzy Algorithm for Multi-Input Fuzzy Variables)

  • 김광용;윤호섭;소정;민병우
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 1998년도 추계학술대회 학술발표 논문집
    • /
    • pp.90-93
    • /
    • 1998
  • 입?출력 데이터 쌍만을 이용하여 규칙 및 소속 함수를 자동적으로 결정하는 자기 학습 퍼지 알고리즘 중에서, 가장 이해하기 용이하고 퍼지 규칙 및 소속 함수 생성이 빠른 방법으로 기울기 강하를 이용한 방법들이 있다. 기울기 강하를 이용한 방법중에서 가장 대표적인 Araki가 제안한 방법은 퍼지 조건부가 퍼지 집합 형태이고 결론부는 단일값으로 구성된 알고리즘으로써 입력 퍼지 공간을 세분화하면서 시스템을 규명해나가는 간단하면서도 효율적인 알고리즘이다. 그러나 이 방법은 퍼지 입력 변수가 증가하면 퍼지 공간이 세분화 되면서 소속 함수 및 규칙 생성 개수가 급격히 제곱배로 증가하는 문제점을 가지고 있다. 따라서, 본 논문에서는 퍼지 입력 변수가 증가함에 따라 급격히 퍼지 규칙 및 소속 함수의 수가 증가하는 Araki 알고리즘의 문제점을 분석하여 소속 함수 및 규칙 수의 급격한 증가를 억제하고 Araki 방법에 비해 학습속도가 현저히 향상된 새로운 방안을 제안한다. 연구 결과, Arki 방법이 입력 변수의 개수가 증가 할수록 규칙 수가 기하 급수적으로 많이 필요하였던 것에 비해 제안한 방법은 훨씬 적은 규칙 수로 우수한 성능을 얻을 \ulcorner 있었다.

  • PDF

신경망 ALE를 사용한 QRS complex의 증대 (Enhancement of QRS Complex using a Neural Network based ALE)

  • 최한고;심은보
    • 대한의용생체공학회:의공학회지
    • /
    • 제21권5호
    • /
    • pp.487-494
    • /
    • 2000
  • 본 논문에서는 배경잡음이 섞여 있는 QRS 파의 증대를 위해 신경망에 근거한 적응라인증대기(ALE) 적용을 다루고 있다. Elman과 Jordan RNN 구조의 합성형태를 갖는 수정된 완전연결 리커런트 신경망이 ALE의 비션형 적응필터로 사용되고 있다. 신경망 노드사이의 연결계수와 이득, 기울기, 지연과 같은 노드 활성함수의 변수들이 기울기 강하 알고리즘을 사용하여 학습이 반복될 때마다 갱신된다. 수정된 신경망은 먼저 미지의 선형과 비선형 시스템 identification을 수행함으로써 평가하였다. 그리고 미약한 QRS를 증대시키기 위해서 적당한 크기의 잡음과 매우 심한 잡음이 포함된 실제의 ECG 신호를 비선형 신경망 적응필처를 사용하는 ALE에 입력하였다. 수정된 신경망은 시스템 identification에 사용하기가 적합함을 확인하였으며, 시뮬레이션 결과에 의하면 신경망 ALE는 잡음 ECG 신호로부터 QRS 파를 증대를 잘 수행하였다.

  • PDF

금산지역 균열암반 대수층에서의 수리이방성 해석

  • 강철희;이철우;김용제;김구영;조용찬
    • 한국지하수토양환경학회:학술대회논문집
    • /
    • 한국지하수토양환경학회 2003년도 총회 및 춘계학술발표회
    • /
    • pp.221-224
    • /
    • 2003
  • 이 연구는 국내의 균열암반에 대한 지하수 유동 연구가 대수층이 등방이라는 가정하에 진행피고 있는 방법에서 벗어나 대수층이 이방성을 띤다는 가정하에 대수층의 수리적 이방성을 해석하는데 중점을 두었다. 수리시험은 30.91 $m^3$/day로 BH-1공에서 300분간 양수였으며, 각각의 관측공 BH-2, BH-3, BH-4, 및 BH-5공에서 시간에 따른 수위강하를 관측하였다. 수리시험에 의해 얻어진 시간별 수위강하 자료를 이용하여 Jacob(1950)의 직선법에 의해서 직선의 기울기(m)와 수위강하가 영이 되는 지점에서의 시간( $t_{0}$)을 계산하였다. 대수층의 수리학적 이방성 텐서 (tensor) 즉, 최대투수량계수텐서 ( $T_{ξξ}$)와 최소투수량계수텐서 ( $T_{ηη}$)를 산출하기 위해서 Stewart(1973)에 의해서 정립된 정규최소제곱(Ordinary least-square)방법을 적용하였으며, 이 방법은 관측공이 최소한 4개를 필요로 한다. 그 결과로, $T_{ξξ}$는 12.21 $m^2$/day이고 $T_{ηη}$는 10.47 $m^2$/day로 산출되었다. 최대투수량계수텐서의 방향은 Nl9.13$^{\circ}$E 이고 이방성율은 1.17로 산출되었다. BH-1공에서 수리시험시 대수층의 이방성은 등방성에 가깝게 표현되었다. 이는 연구지역 대수층이 다수의 균열에 의해서 수리적 상호연결성이 고루 분포된 것으로 판단된다.

  • PDF

소속 함수 학습을 이용한 퍼지 분류의 성능 개선 (Improving the Performance of Fuzzy Classification Using Membership Function Learning)

  • 곽동헌;김명원
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2004년도 춘계학술대회 학술발표 논문집 제14권 제1호
    • /
    • pp.462-465
    • /
    • 2004
  • 수치적인 데이터를 분류하기 위한 대표적인 방법은 퍼지 규칙을 사용하는 것이다. 하지만, 이러한 방법은 퍼지 소속 함수를 어떻게 정의하느냐에 따라 퍼지 분류의 성능이 크게 영향을 받는다는 문제점과 퍼지 규칙을 쉽게 이해하기 위해 가능한 퍼지 규칙의 수를 적게 유지해야한다는 문제점이 있다. 본 논문에서는 효과적이며 이해하기 쉬운 퍼지 규칙을 생성하기 위해 기울기 강하법을 기반으로 하는 소속 함수 학습 방법을 제안한다. 에러율을 감소하기 위해 Penalty 연산과 Reward 연산을 통해 소속 함수가 반복적으로 조절된다. 새로운 소속 함수는 Coverage 연산에 의해 생성된다. 또한 이해하기 쉬운 퍼지 규칙을 최적화하기 위해 학습된 소속 함수를 퍼지 결정 트리에 적용한다. 본 논문에서 제안한 알고리즘의 타당성을 확인하기 위해 벤치 마크 데이터인 Iris, Wisconsin Breast Cancer, Pima. Bupa 데이터를 이용하여 실험 결과를 보인다. 실험 결과를 통해 제안한 알고리즘이 기존의 C4.5와 FID 3.1 알고리즘보다 더 효과적이거나 비슷한 성능을 보임을 알 수 있다.

  • PDF

엔트로피 최대화를 이용한 새로운 밀도추정자의 설계 (Design of New Density Estimator with Entropy Maximization)

  • 김웅명;이현수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (2)
    • /
    • pp.796-798
    • /
    • 2005
  • 본 연구에서는 엔트로피 이론을 사용하여 ICA(Independent Component Analysis) 점수함수를 생성하는 새로운 밀도추정자(Density Estimator)를 제안한다. 원 신호에 대한 밀도함수의 추정은 적당한 점수함수를 생성하기 위해 필요하고, 미분 가능한 밀도함수인 커널을 이용한 밀도추정법(Kernel Density Estimation)을 이용하여 점수함수를 생성하였다. 보다 빠른 점수함수의 생성을 위해서 식의 형태를 convolution 형태로 표현하였으며, ICA 학습을 위해서 결합엔트로피를 최대화(Joint Entropy Maximization)하는 방향으로 커널의 폭을 학습하였다. 이를 위해서 기울기 강하법(Gradient descent method)를 사용하였으며, 이러한 제약 사항은 새로운 밀도 추정자를 설계하기 위한 기본적인 개념을 나타낸다. 실험결과, 커널의 폭을 담당하는 smoothing parameters들이 일정한 값으로 학습함을 알 수 있었다.

  • PDF

전산유체역학을 이용한 아이스하버식 어도 내 월류부의 흐름특성에 관한 연구 (A Study on Hydraulic Characteristics of rollway of Ice-Harbor Type Fishway Using Computational Fluid Dynamics)

  • 고선호
    • EDISON SW 활용 경진대회 논문집
    • /
    • 제4회(2015년)
    • /
    • pp.618-622
    • /
    • 2015
  • 어도(fishway)란 강이 댐과 같은 인공물로 막혀있을 때 물고기가 지나갈 수 있도록 만든 통로이다. 본 연구에서는 전산유체해석 프로그램인 EDISON_CFD 시스템을 활용하여 아이스하버식 어도 내 월류부(rollway)에서 유체의 수직흐름특성을 분석하였다. 어류는 소상과 강하시 어도 내의 흐름에 민감하므로, 흐름에 영향을 주는 요인을 분석하는 것은 중요한 문제이다 어도는 2차원으로 간략화하여 모델링하였으며, 강의 유속, 어도의 기울기, 월류부 높이를 변화시키며 이들이 어도 내의 흐름특성과 어떤 관계가 있는지 분석하였다. 또 속도 증가에 따른 수면파의 파장 변화를 프로우드수와 연관지어 설명하였고, 레이놀즈수가 어도 내의 흐름특성과 밀접한 관련이 있음을 확인하였으며 기 설치된 어도의 문제점을 보완할 수 있는 방법을 제시하였다.

  • PDF

소속 함수 학습을 이용한 퍼지 분류의 성능 개선 (Improving the Performance of Fuzzy Classification Using Membership Function Learning)

  • 곽동헌;류정우;김명원
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
    • /
    • pp.613-615
    • /
    • 2004
  • 수치적인 데이터를 분류하기 위한 대표적인 방법은 퍼지 규칙을 사용하는 것이다. 하지만 퍼지 규칙을 이용하는 방법은 퍼지 소속 함수를 어떻게 정의하느냐에 따라 퍼지 분류의 성능이 크게 영향을 받는다는 문제점이 있다. 따라서 퍼지 규칙을 쉽게 이해하기 위해서는 가능한 퍼지 규칙의 수를 적게 유지하는 것이 필요하다. 본 논문에서는 효과적이며 이해하기 쉬운 퍼지 규칙을 생성하기 위해 기울기 강하법을 기반으로 하는 소속 함수 학습 방법을 제안한다 에러율을 감소하기 위해 Penalty 연산과 Reward 연산을 통해 소속 함수가 반복적으로 조절된다 새로운 소속 함수는 Coverage 연산에 의해 생성된다. 또한 이해하기 쉬운 퍼지 규칙을 최적화하기 위해 학습된 소속 함수골 퍼지 결정 트리에 적용한다. 본 논문에서 제안한 알고리즘의 타당성을 확인하기 위해 벤치 마크 데이터인 Iris, Wisconsin Breast Cancer, Plma, Bupa 데이터를 이용하여 실험 결과를 보인다. 실험 결과를 통해 제안한 알고리즘이 기존의 C4.5와 FID 3.1 알고리즘보다 더 효과적이거나 비슷한 성능을 보임을 알 수 있다.

  • PDF

상주시 임곡리 굴착공의 적정양수량 결정 (Optimal Pumping Rate of a Water Well at Imgokri, Sangju City)

  • 조병욱;윤욱;문상호;이병대;조수영;김용철;황세호;신제현;하규철
    • 지질공학
    • /
    • 제27권3호
    • /
    • pp.255-265
    • /
    • 2017
  • 상주시 임곡리에 굴착된 심도 100 m 지하수공(PW-2)의 적정양수량을 산정하였다. 시추코아와, 물리검층 자료에 의하면 지하수 산출 심도는 26.1~26.5, 28.0~30.0, 33, 58, 71 m로 해석된다. 단계양수시험에 의하면 40, 55, 70, 90, $132m^3/d$의 양수량으로 70일간 양수시 수위강하량은 각각 6.48, 11.56, 18.07, 28.99, 60.26 m로 예상되었다. $117m^3/d$으로 250분간 실시한 일정량양수시험에서는 양수 경과시간 120~150분에 영향추가 불투수층 경계조건에 도달하여 급격한 수위강하가 일어나 PW-2의 한계채수량은 $90m^3/d$로 산정하였으며 이때의 수위강하량은 28.82~31.27 m이다. 적정양수량은 한계채수량의 범위내의 정류상태여야 하기 때문에 PW-2의 적정양수량은 $70{\sim}90m^3/d$로 제시하였다. 불투수층 경계조건에서 직선의 기울기가 급해지며 지하수의 DO와 ORP가 증가하는 것으로 보아 PW-2를 중심으로 한 기반암지하수의 발달은 제한적인 것으로 추정된다.

빅데이터 기반 추천시스템을 위한 협업필터링의 최적화 규제 (Regularized Optimization of Collaborative Filtering for Recommander System based on Big Data)

  • 박인규;최규석
    • 한국인터넷방송통신학회논문지
    • /
    • 제21권1호
    • /
    • pp.87-92
    • /
    • 2021
  • 빅데이터 기반의 추천시스템 모델링에서 바이어스, 분산, 오류 및 학습은 성능에 중요한 요소이다. 이러한 시스템에서는 추천 모델이 설명도를 유지하면서 복잡도를 줄여야 한다. 또한 데이터의 희소성과 시스템의 예측은 서로 반비례의 속성을 가지기 마련이다. 따라서 희소성의 데이터를 인수분해 방법을 활용하여 상품간의 유사성을 학습을 통한 상품추천모델이 제안되어 왔다. 본 논문에서는 이 모델의 손실함수에 대한 최적화 방안으로 max-norm 규제를 적용하여 모델의 일반화 능력을 향상시키고자 한다. 해결방안은 기울기를 투영하는 확률적 투영 기울기 강하법을 적용하는 것이다. 많은 실험을 통하여 데이터가 희박해질수록 기존의 방법에 비해 제안된 규제 방법이 상대적으로 효과가 있다는 것을 확인하였다.