• 제목/요약/키워드: 하강법

검색결과 176건 처리시간 0.031초

데이터 예측 모델 최적화를 위한 경사하강법 교육 방법 (Gradient Descent Training Method for Optimizing Data Prediction Models)

  • 허경
    • 실천공학교육논문지
    • /
    • 제14권2호
    • /
    • pp.305-312
    • /
    • 2022
  • 본 논문에서는 기초적인 데이터 예측 모델을 만들고 최적화하는 교육에 초점을 맞추었다. 그리고 데이터 예측 모델을 최적화하는 데 널리 사용되는 머신러닝의 경사하강법 교육 방법을 제안하였다. 미분법을 적용하여 데이터 예측 모델에 필요한 파라미터 값들을 최적화하는 과정에 사용되는 경사하강법의 전체 동작과정을 시각적으로 보여주며, 수학의 미분법이 머신러닝에 효과적으로 사용되는 것을 교육한다. 경사하강법의 전체 동작과정을 시각적으로 설명하기위해, 스프레드시트로 경사하강법 SW를 구현한다. 본 논문에서는 첫번째로, 2변수 경사하강법 교육 방법을 제시하고, 오차 최소제곱법과 비교하여 2변수 데이터 예측모델의 정확도를 검증한다. 두번째로, 3변수 경사하강법 교육 방법을 제시하고, 3변수 데이터 예측모델의 정확도를 검증한다. 이후, 경사하강법 최적화 실습 방향을 제시하고, 비전공자 교육 만족도 결과를 통해, 제안한 경사하강법 교육방법이 갖는 교육 효과를 분석하였다.

수학적 귀납법의 역사에서 하강법의 역할 및 교수학적 논의 (The Role of Regression in the History of Mathematical Induction and Its Didactical Implications)

  • 박선용;장혜원
    • 한국수학사학회지
    • /
    • 제20권4호
    • /
    • pp.23-48
    • /
    • 2007
  • 본 연구는 학교 수학에서 다루어지는 수학적 귀납법의 형식적 도입에 대한 문제 제기로부터 출발한다. 학생들이 수학적 귀납법의 의미와 구조를 충분히 인식하지 못한 채 단지 증명의 도구로서 도구적 이해 수준에서 형식적으로 다루어지는 수학교육 현실의 개선을 위하여, 수학적 귀납법의 역사적 발생 과정을 고대 그리스의 재귀적 무한을 통한 암묵적 사용으로부터 17세기 Pascal과 Format의 추상적 형식화의 단계에 이르기까지 고찰함으로써 그 과정에 포함된 다양한 사고 유형의 본질을 규명하고 특히 중요한 역할을 한 것으로 추정되는 하강법에 주목함으로써 교육적 논의를 통해 학교 수학에 시사점을 제공하고자 한다.

  • PDF

두 이종 혼합 모형에서의 수정된 경사 하강법 (Adaptive stochastic gradient method under two mixing heterogenous models)

  • 문상준;전종준
    • Journal of the Korean Data and Information Science Society
    • /
    • 제28권6호
    • /
    • pp.1245-1255
    • /
    • 2017
  • 온라인 학습은 자료가 실시간으로 혹은 배치 단위로 축적되는 상황에서 주어진 목적함수의 해를 계산하는 방법을 말한다. 온라인 학습 알고리즘 중 배치를 이용한 확률적 경사 하강법 (stochastic gradient decent method)은 가장 많이 사용되는 방법 중 하나다. 이 방법은 구현이 쉬울 뿐만 아니라 자료가 동질적인 분포를 따른다는 가정 하에서 그 해의 성질이 잘 연구되어 있다. 하지만 자료에 특이값이 있거나 임의의 배치가 확률적으로 이질적 성질을 가질 때, 확률적 경사 하강법이 주는 해는 큰 편이를 가질 수 있다. 본 연구에서는 이러한 비정상 배치 (abnormal batch) 있는 자료 하에서 효과적으로 온라인 학습을 수행할 수 있는 수정된 경사 하강 알고리즘 (modified gradient decent algorithm)을 제안하고, 그 알고리즘을 통해 계산된 해의 수렴성을 밝혔다. 뿐만 아니라 간단한 모의실험을 통해 제안한 방법의 이론적 성질을 실증하였다.

딥러닝을 위한 경사하강법 비교 (Comparison of Gradient Descent for Deep Learning)

  • 강민제
    • 한국산학기술학회논문지
    • /
    • 제21권2호
    • /
    • pp.189-194
    • /
    • 2020
  • 본 논문에서는 신경망을 학습하는 데 가장 많이 사용되고 있는 경사하강법에 대해 분석하였다. 학습이란 손실함수가 최소값이 되도록 매개변수를 갱신하는 것이다. 손실함수는 실제값과 예측값의 차이를 수치화 해주는 함수이다. 경사하강법은 오차가 최소화되도록 매개변수를 갱신하는데 손실함수의 기울기를 사용하는 것으로 현재 최고의 딥러닝 학습알고리즘을 제공하는 라이브러리에서 사용되고 있다. 그러나 이 알고리즘들은 블랙박스형태로 제공되고 있어서 다양한 경사하강법들의 장단점을 파악하는 것이 쉽지 않다. 경사하강법에서 현재 대표적으로 사용되고 있는 확률적 경사하강법(Stochastic Gradient Descent method), 모멘텀법(Momentum method), AdaGrad법 그리고 Adadelta법의 특성에 대하여 분석하였다. 실험 데이터는 신경망을 검증하는 데 널리 사용되는 MNIST 데이터 셋을 사용하였다. 은닉층은 2개의 층으로 첫 번째 층은 500개 그리고 두 번째 층은 300개의 뉴런으로 구성하였다. 출력 층의 활성화함수는 소프트 맥스함수이고 나머지 입력 층과 은닉 층의 활성화함수는 ReLu함수를 사용하였다. 그리고 손실함수는 교차 엔트로피 오차를 사용하였다.

최급 하강법 및 위너 방법을 Bartlett알고리즘에 적용한 무인 이동체 탐지 방법에 대한 연구 (A Study on Unmanned Vehicles Estimation using Steepest Descent, Wiener and Bartlett Algorithm)

  • 이관형;송우영
    • 한국정보전자통신기술학회논문지
    • /
    • 제10권2호
    • /
    • pp.154-160
    • /
    • 2017
  • 본 연구에서는 Bartlett방법으로 무인체의 목표물을 정확히 추정하는 방법에 대해서 연구하였다. Bartlett 방법은 배열안테나에 입사하는 수신신호에 이득을 일정하게 하여 원하는 신호를 추정한다. 본 연구는 정확한 무인체를 예측하기 위해서 Bartlett방법의 가중치를 위너 와 최급 하강법을 적용하여 갱신한다. 갱신된 가중치는 배열안테나에 수신되는 모든 수신신호에 최적 가중치를 적용하여 기존 Bartlett방법의 분해능을 향상시킨다. 모의실험을 이용하여 본 연구에서 제안한 Bartlett방법의 성능을 분석한다. 성능분석은 Bartlett 방법에 위너와 최강 하급법을 각각 적용시킨 두 방법과 기존의 Bartlett방법을 비교분석한다. 모의실험결과, 본 연구에서 제안한 방법이 기존의 Bartlett보다 분해능이 우수하였고, 최급 하강법이 위너방법보다 분해능이 향상됨을 나타내었다.

대학수학 경사하강법(gradient descent method) 교수·학습자료 개발 (A Study on the Development of Teaching-Learning Materials for Gradient Descent Method in College AI Mathematics Classes)

  • 이상구;남윤;이재화
    • 한국수학교육학회지시리즈E:수학교육논문집
    • /
    • 제37권3호
    • /
    • pp.467-482
    • /
    • 2023
  • 본 논문에서는 인공지능 알고리즘에서 많이 사용되는 경사하강법(gradient descent method)을 대학수학 강좌에서 인공지능 활용사례로 사용할 수 있도록 연구한 교수·학습 기초자료를 소개한다. 특히 대학 미적분학 수준에서도 가르칠 수 있도록 자세한 개념 설명과 함께 복잡한 함수에 관해서도 쉽게 계산할 수 있도록 파이썬(Python) 기반의 SageMath 코드를 제공한다. 그리고 실제 인공지능 응용과 연계하여 선형회귀에서 발생하는 최소제곱문제를 경사하강법을 활용하여 풀이한 예시도 함께 소개한다. 본 연구는 대학 미적분학 뿐만 아니라 공학수학, 수치해석, 응용수학 등과 같은 고급 수학 과목을 지도하는 다양한 교수자들에게 도움이 될 수 있다.

시화호 조류 생태계의 변화 분석 및 경사 하강법을 이용한 시화호 환경 지수 고안 (Analysis of Changes in the Algal Ecosystem of Sihwa Lake and Design of Sihwa-Ecosystem-Index (SEI) Based on Gradient Descent)

  • 김동훈;장하경;이관우;정경록
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2021년도 추계학술대회
    • /
    • pp.143-145
    • /
    • 2021
  • 시화호는 초기 목적인 담수호 개발을 심각한 환경 오염으로 달성하지 못한 채 해수로 복구되었다. 파괴와 복원의 시간 동안 시화호의 생태계는 변화를 겪어왔는데, 특히나 철새가 많이 지나는 곳이었기 때문에 조류 생태계에 가시적인 변화가 나타났다. 이에 따라 본 연구는 총 8가지 Ecosystem Index를 바탕으로 시화호 조류 생태계의 변화를 분석하였다. 그리고 더 나아가, 경사 하강법을 적용하여 그간 환경 오염의 척도로도 이용되었던 COD (Chemical Oxegen Demand, 화학적 산소 요구량)지수가 앞서 언급한 8가지 중 3가지 Ecosystem Index의 함수로 표현하였다. 이는 직접적인 환경에 대한 측정 및 정보 수집 없이 생태계의 정보만으로 환경 자체의 상태를 파악할 수 있다는 점에서 큰 가치가 있으며, 더 쉽게 구해낼 수 있기에 그 범용성이 넓다.

  • PDF

강우시 습윤전선 및 지하수위를 고려한 사면의 안정성 해석 (Analysis of Slope Stability with Consideration of the Wetting Front and Groundwater Level During Rainfall)

  • 송영석;홍원표
    • 지질공학
    • /
    • 제21권1호
    • /
    • pp.25-34
    • /
    • 2011
  • 본 연구에서는 도로시공을 위한 사면절개시 발생된 산사태 현장을 대상으로 강우시 침투를 고려한 사면안정해석 방법을 적용하였다. 강우시 침투를 고려한 사면안정해석법은 크게 세가지로 구분할 수 있다. 첫 번째는 지반내 습윤전선이 하강을 고려하여 해석하는 방법, 두 번째는 지반내 지하수위의 상승을 고려하여 해석하는 방법, 그리고 세 번째는 지반내 습윤전선 하강 및 지하수위 상승을 고려하여 해석하는 방법이다. Bishop의 간편법을 이용하여 해석한 결과, 강우시 습윤전선 하강으로 인한 사면안전율 감소가 지하수위 상승으로 인한 사면안전율 감소보다 빠르게 진행됨을 알 수 있다. 또한, 습윤전선 하강 및 지하수위 상승이 동시에 일어날 경우 사면안전율은 매우 급속하게 감소함을 알 수 있다. 따라서, 강우시 사면안정해석법은 지반내 지하수위 상승과 습윤전선 하강을 동시에 고려하여 해석하는 것이 보다 바람직하다.

연속 프리플렉스 거더교의 개선된 시공법과 설계식의 개발 (The Development of Improved Construction and Design Method on Continuous Preflex Girder Bridge)

  • 구민세;박영제;김훈희
    • 한국강구조학회 논문집
    • /
    • 제17권2호통권75호
    • /
    • pp.183-194
    • /
    • 2005
  • 기존의 연속 프리플렉스 거더교는 내측지점부 바닥판 콘크리트에 압축력을 도입시키기 위해 내측지점을 상승시키고 부모멘트 구간만큼의 바닥판 콘크리트를 타설하고 하강시키는 시공법을 사용하였다. 그러나 상기의 시공법은 장시간의 내측지점 상승 작업과 종곡선의 굴곡 문제 등 여러 가지 시공상 문제점을 가지고 있다. 따라서 본 논문은 이러한 문제점을 해소하기 위해 내측지점 및 외측지점을 하강시키는 공정만을 이용한 개선된 연속 프리플렉스 합성형 거더교의 시공법을 제시하였으며, 특정화된 연속 프리플렉스 거더교의 설계 프로그램에만 의존하지 않고 프리플렉스 거더교의 단면을 쉽게 추정할 수 있는 체계화된 설계식을 제시하였다.

지하수위 예측을 위한 경사하강법과 화음탐색법의 결합을 이용한 다층퍼셉트론 성능향상 (Improvement of multi layer perceptron performance using combination of gradient descent and harmony search for prediction of groundwater level)

  • 이원진;이의훈
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.186-186
    • /
    • 2022
  • 강수 및 침투 등으로 발생하는 지하수위의 변동을 예측하는 것은 지하수 자원의 활용 및 관리에 필수적이다. 지하수위의 변동은 지하수 자원의 활용 및 관리뿐만이 아닌 홍수 발생과 지반의 응력상태 등에 직접적인 영향을 미치기 때문에 정확한 예측이 필요하다. 본 연구는 인공신경망 중 다층퍼셉트론(Multi Layer Perceptron, MLP)을 이용한 지하수위 예측성능 향상을 위해 MLP의 구조 중 Optimizer를 개량하였다. MLP는 입력자료와 출력자료간 최적의 상관관계(가중치 및 편향)를 찾는 Optimizer와 출력되는 값을 결정하는 활성화 함수의 연산을 반복하여 학습한다. 특히 Optimizer는 신경망의 출력값과 관측값의 오차가 최소가 되는 상관관계를 찾는 연산자로써 MLP의 학습 및 예측성능에 직접적인 영향을 미친다. 기존의 Optimizer는 경사하강법(Gradient Descent, GD)을 기반으로 하는 Optimizer를 사용했다. 하지만 기존의 Optimizer는 미분을 이용하여 상관관계를 찾기 때문에 지역탐색 위주로 진행되며 기존에 생성된 상관관계를 저장하는 구조가 없어 지역 최적해로 수렴할 가능성이 있다는 단점이 있다. 본 연구에서는 기존 Optimizer의 단점을 개선하기 위해 지역탐색과 전역탐색을 동시에 고려할 수 있으며 기존의 해를 저장하는 구조가 있는 메타휴리스틱 최적화 알고리즘을 이용하였다. 메타휴리스틱 최적화 알고리즘 중 구조가 간단한 화음탐색법(Harmony Search, HS)과 GD의 결합모형(HS-GD)을 MLP의 Optimizer로 사용하여 기존 Optimizer의 단점을 개선하였다. HS-GD를 이용한 MLP의 성능검토를 위해 이천시 지하수위 예측을 실시하였으며 예측 결과를 기존의 Optimizer를 이용한 MLP 및 HS를 이용한 MLP의 예측결과와 비교하였다.

  • PDF