• 제목/요약/키워드: 최소제곱

검색결과 502건 처리시간 0.025초

단순 선형회귀 모형에서 자기공분산에 근거한 최적 추정 방법 (An estimation method based on autocovariance in the simple linear regression model)

  • 박철용
    • Journal of the Korean Data and Information Science Society
    • /
    • 제20권2호
    • /
    • pp.251-260
    • /
    • 2009
  • 이 논문에서는 단순 선형회귀 모형에서 회귀 계수의 최적 추정량을 구할 수 있는 자기공분산에 근거한 추정 방법을 제시하였다. 이 방법이 직관적으로 매혹적이지는 않지만 이 최적 추정량이 해당 회귀 계수의 불편추정량이 된다. 설명변수가 0과 1사이의 균등간격의 값을 가지면, 오차가 자기회귀 이동평균 모형을 따르면 성립하는 조건 하에서 이 최적 추정량이 최소제곱 추정량과 점근적으로 통일한 분포를 가진다는 것을 보였다. 추가적으로 똑같은 조건 하에서 이 최적 추정량이 해당 회귀 계수에 확률상 수렴한다는 것을 자체적으로 입증하였다.

  • PDF

다항회귀모형에 대한 최소편의 실험계획 (Minimum Bias Design for Polynomial Regression)

  • 장대흥;김영일
    • 응용통계연구
    • /
    • 제28권6호
    • /
    • pp.1227-1234
    • /
    • 2015
  • 전통적으로 최적실험을 위한 실험기준들은 기본적으로 가정된 모형에 의존한다. 따라서 모형에 대한 완벽한 정보를 가지지 않는 경우 실험자는 곤란에 빠질 수 밖애 없다. Box와 Draper (1959) 이런 상황에 대비해 적분된 평균제곱오차의 편의부분에 해당하는 적분된 편의를 최소화하는 실험기준을 제안하고 필요충분조건을 명시하였다. 그러나 간단한 예제를 제외하고는 문헌에서는 이러한 필요충분조건을 만족하는 실험에 대한 구채적인 예제는 계산상의 문제로 예상외로 많이 연구가 되어 있지 않다. 비록 수치적인 해이긴 하지만 다항회귀모형을 중심으로 최소편의를 만족하는 실험의 성격을 파악하였는데 결론적으로 양극단에서 안쪽 방향으로 이탈되는 위치에서 받힘점이 형성되는 것을 알 수 있었다.

선형회귀 모형에서 자기공분산 기반 추정 (Autocovariance based estimation in the linear regression model)

  • 박철용
    • Journal of the Korean Data and Information Science Society
    • /
    • 제22권5호
    • /
    • pp.839-847
    • /
    • 2011
  • 이 연구에서는 다중 선형회귀 모형에서 자기공분산에 근거한 회귀 계수의 추정량을 도출하였다. 자기공분산에 근거한 방법은 Park (2009)에 제시된 방법으로 직관적으로 매혹적이지는 않지만, 이것에 근거한 추정량이 회귀 계수의 불편추정량이 된다. 설명변수 벡터가 어떤 정칙조건을 만족한다면, 오차가 자기회귀이동평균 모형을 따르면 만족되는 약한 조건 하에서 이 추정량이 최소제곱 추정량과 점근적으로 동일한 분포를 가지며 또한 회귀 계수에 확률 상 수렴한다는 것을 보였다. 마지막으로 모의실험을 통해 이 성질들이 소표본에서도 성립하는 것을 보였다.

대학수학 경사하강법(gradient descent method) 교수·학습자료 개발 (A Study on the Development of Teaching-Learning Materials for Gradient Descent Method in College AI Mathematics Classes)

  • 이상구;남윤;이재화
    • 한국수학교육학회지시리즈E:수학교육논문집
    • /
    • 제37권3호
    • /
    • pp.467-482
    • /
    • 2023
  • 본 논문에서는 인공지능 알고리즘에서 많이 사용되는 경사하강법(gradient descent method)을 대학수학 강좌에서 인공지능 활용사례로 사용할 수 있도록 연구한 교수·학습 기초자료를 소개한다. 특히 대학 미적분학 수준에서도 가르칠 수 있도록 자세한 개념 설명과 함께 복잡한 함수에 관해서도 쉽게 계산할 수 있도록 파이썬(Python) 기반의 SageMath 코드를 제공한다. 그리고 실제 인공지능 응용과 연계하여 선형회귀에서 발생하는 최소제곱문제를 경사하강법을 활용하여 풀이한 예시도 함께 소개한다. 본 연구는 대학 미적분학 뿐만 아니라 공학수학, 수치해석, 응용수학 등과 같은 고급 수학 과목을 지도하는 다양한 교수자들에게 도움이 될 수 있다.

광학설계의 최적화과정에서 Lagrange 부정승수를 이용한 능동적 제어 (Active Control of Optimization Process in Lens Design by Using Lagrange's Undetermined Multipliers)

  • 조용주;이종웅
    • 한국광학회:학술대회논문집
    • /
    • 한국광학회 2000년도 하계학술발표회
    • /
    • pp.40-41
    • /
    • 2000
  • 광학설계의 최적화에서는 최소자승법과 감쇠최소자승법이 주로 사용되고 있다. 최소자승법은 error의 제곱의 합을 최소화하는 방법으로, 이 방법은 최적점 부근에서의 불안정성이 발생하는 문제점이 있다. 감쇠최소자자승법은 최소자승법에 적절한 감쇠항을 부가함으로써 최적점 부근에서의 불안정성을 줄여주고 있다. 본 연구에서는 광학설계의 제한조건을 Lagrange 부정승수$^{(1)}$ 를 사용하여 감쇠최소자승법의 정규방정식에 결합하여 제한조건을 유지하면서 merit function을 줄이는 방법에 대하여 연구하였다. 이 방법에서는 제한조건이 merit function의 error 함수보다 우선적으로 보정되며, 이를 이용하여 매 iteration 마다 merit function에서 절대값이 큰 error를 감쇠최소자승법의 정규방정식에서 제거하고 이 보정조건을 제한조건에 추가함으로서 다른 error항 보다 우선적으로 보정되도록 하였다. 이 때 이 error를 한번에 보정하는 경우에는 merit function의 진동이 심하고 광학계가 사용불가능한 형태로 변화하는 경우가 많아 적절한 target ratio를 설정하여 반복과정을 통하여 점진적으로 보정되도록 하였으며, 이를 통하여 최적화의 안정성을 개선할 수 있었다. (중략)

  • PDF

AI Technology Analysis using Partial Least Square Regression

  • Choi, JunHyeog;Jun, Sunghae
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권3호
    • /
    • pp.109-115
    • /
    • 2020
  • 본 논문에서는 부분 최소 제곱(PLS) 회귀 모형을 이용한 인공지능(AI) 기술 분석을 제안한다. AI 기술은 이제 우리 사회의 대부분의 영역에 영향을 미치고 있다. 따라서 이 기술에 대한 정확한 이해가 필요하게 된다. AI 기술을 분석하기 위하여 전 세계 특허 데이터베이스로부터 AI 관련 특허 문서를 수집하고 텍스트 마이닝 기법을 사용하여 수집된 특허 문서에서 AI 기술 키워드를 추출한다. 본 연구에서는 추출된 AI 키워드 데이터를 PLS 회귀 모형으로 분석한다. 바이오정보학, 사회과학 및 공학 등 다양한 분야에서 고급 데이터 분석을 위하여 사용되는 PLS 회귀 모형은 부분 최소 제곱 기법을 기반으로 한다. 제안 방법의 성능을 확인하기 위하여 AI 특허 문서를 사용하여 분석 실험을 수행하고 제안하는 연구가 실제 문제에 어떻게 적용될 수 있는지 보여 준다. 본 논문은 AI 기술뿐만 아니라 다른 기술 분야에도 적용 할 수 있다.

로버스트 회귀추정에 의한 신뢰구간 구축 (On Confidence Intervals of Robust Regression Estimators)

  • 이동희;박유성;김기환
    • 응용통계연구
    • /
    • 제19권1호
    • /
    • pp.97-110
    • /
    • 2006
  • 대부분의 자료는 여러가지 원인으로 인한 특이치로 오염되어 있으며, 이러한 상황에서 신뢰성 있는 추정량을 얻어내고 이에 대한 통계적 추론을 시행하는 것은 중요한 문제이다. 그러나 이제까지 제안된 로버스트 회귀추정량들은 계산상의 어려움과 정규오차모형에서 최소제곱추정량에 비하여 떨어지는 효율성때문에 통계적 추론의 정확성을 확신할 수 없었다. 최근 제안된 Lee(2004)의 가중자기조율회귀추정량(weighted self-tuning estimator, WSTE)은 다른 로버스트 회귀추정량에 비하여 정확한 계산과정과 그에 따른 추정량의 점근적 정규성 및 고붕괴점을 갖는다. 그러나 통계적 추론을 위하여 이제까지 널리 사용해왔던 로버스트 추정량에 기반한 가중최소제곱추정방법(weighted least squares estimator)은 WSTE에서조차 정규오차모형하에서 최소제곱추정량과 동일한 수준의 효율성을 제공해주지 는 못한다. 본 논문에서는 WSTE에 기반한 또다른 통계적 추론 방법을 제안하고, 이 방법을 사용함으로써 정규오차모형 및 대표본에서 보다 정확한 결과를 얻을 수 있음을 몬테칼로 모의실험을 통해 제시하였다.

Shrinkage Structure of Ridge Partial Least Squares Regression

  • Kim, Jong-Duk
    • Journal of the Korean Data and Information Science Society
    • /
    • 제18권2호
    • /
    • pp.327-344
    • /
    • 2007
  • 다중공선성의 데이터에 사용되는 대표적인 편향회귀방법은 능형회귀(RR), 주성분회귀(PCR), 부분최소제곱회귀(PLS) 등이다. 이 회귀방법들은 계수베거 추정량의 놈(norm)이 모두 보통 최소제곱회귀(OLS)의 추정량의 놈보다 작아진다는 의미에서 축소회귀라 부른다. 새로운 회귀방법으로 RR과 PCR을 결합한 능형주성분회귀(RPCR)가 있고 RR과 PLS를 결합한 능형부분최소제곱회귀(RPLS)가 있으며 이들도 또한 축소회귀이다. 이들 추정량은 X'X의 고유벡터들의 선형결합으로 나타낼 수 있고 따라서 각 고유방향에서 OLS에 비해 얼마나 축소되는지를 연구할 수 있다. 본 논문에서는 먼저 이들 추정량을 일반적인 축소인자의 식으로 나타내고 이를 이용하여 MSE의 일반식을 구하였으며 PLS 추정량의 MSE 식도 구하였다. 그리고 RPLS의 축소인자 식을 두 가지 다른 형태로 유도하였다. RPLS의 경우도 이 축소인자 식을 MSE의 일반식에 대입하면 MSE 식이 바로 얻어진다. 그러나 PLS나 RPLS의 축소인자는 y의 복잡한 비선형이 되어 결정적이 아니므로 이들 추정량의 MSE는 근사적인 식이라 할 수 있다. 따라서 PLS나 RPLS를 평가하기 위해 이 MSE를 사용하는 것은 제한적이며, 경험적인 방법으로 이들 회귀의 수행성을 평가하는 것이 필요하다. 다중공선성의 대표적인 데이터인 근적외선 분광 데이터를 이용하여 이 유도된 회귀의 축소인자 값이 인자수에 따라 어떻게 변화하는지와 전체적인 축소 비율도 살펴보았다. 이들의 축소 형태를 잘 이해하면 회귀방법들의 예측력과 안정성을 파악하는데 많은 도움이 되리라 판단된다.

  • PDF

커널 백피팅 알고리즘 기반의 가중 β-지수승 최소평균제곱오차 추정방식을 적용한 보컬음 분리 기법 (Vocal separation method using weighted β-order minimum mean square error estimation based on kernel back-fitting)

  • 조혜승;김형국
    • 한국음향학회지
    • /
    • 제35권1호
    • /
    • pp.49-54
    • /
    • 2016
  • 본 논문에서는 커널 백피팅 알고리즘에 가중 ${\beta}$-지수승 최소평균제곱오차 추정방식(weighted ${\beta}$-order minimum mean square error: WbE)을 적용한 보컬음 분리 방식에 대해 제안한다. 음성 향상 방식에서, WbE는 진폭 성분 기반 MMSE(Minimum Mean Square Error) 추정방식, 로그 스펙트럼 진폭 기반 MMSE 추정방식 등과 같은 기존의 베이지안(Bayesian) 기반의 추정방식들 보다 객관적 및 주관적 측면에서 모두 보다 높은 성능을 나타내는 방식으로 잘 알려져 있다. 이에 본 논문에서는 기본적인 반복적 커널 백피팅 알고리즘에 WbE를 적용하여 음악 신호에서의 보컬음 분리 성능을 향상시키고자 하였다. 실험결과는 본 논문에서 제안한 방식이 기존의 분리 방식보다 분리 성능이 더 뛰어나다는 것을 보인다.