• Communications for Statistical Applications and Methods
• /
• 제8권3호
• /
• pp.589-601
• /
• 2001

Probabilities of overfilling for model selection criteria are derived for several different situations. First, one candidate model with one extra variable is compared to the current model. This is expanded to m candidate models. We show that these comparisons are not independent and discuss ovefitting probabilities. Correlation between two F-tests is derived. Finally, probabilities are computed using the dependent F distributions and F distributions based on order statistics of independent Chi-squares.

• 한국통계학회:학술대회논문집
• /
• 한국통계학회 2005년도 추계 학술발표회 논문집
• /
• pp.187-192
• /
• 2005

For the problem of variable selection in linear models, we consider the errors are correlated with V covariance matrix. Hocking's theorems on the effects of the overfitting and the undefitting in linear model are extended to the less than full rank and correlated error model, and to the ANCOVA model

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
• /
• pp.681-682
• /
• 2021

본 논문에서는 소규모 데이터 셋의 이미지 분류 작업에서 모델 과적 합 및 비 수렴을 해결하고 분류의 정확도를 높이는 데 주로 사용되는 few-shot 학습을 기반으로 한 새로운 이미지 분류 방법을 제안합니다.

• 전자공학회논문지CI
• /
• 제42권4호
• /
• pp.43-50
• /
• 2005

본 논문에서는 유전자 알고리즘을 이용한 새로운 적응적 특징 가중치 방식과 클래스별로 적용된 KNN(Nearest -Neighbor) 규칙을 이용한 새로운 패턴 인식 시스템을 제안한다. 패턴 인식 시스템의 성능을 향상시키기 위하여, 새로운 연산자를 갖는 유전자 알고리즘으로 가중치의 중간값을 결정함으로써 과잉 맞춤(overfitting)을 피하면서, 데이터의 분포에 따라 적절한 특징의 가중치를 찾는 새로운 특징 가중치 알고리즘을 제안한다. 또한, 제안하는 방법은 각각의 클래스를 가장 잘 표현하는 특징 공간들을 개별적으로 찾는다. KNN분류기는 클래스별로 찾은 특징 공간들을 이용하여 클래스에 따라 특징 공간을 변화시켜 미지 패턴의 클래스를 예측한다. 제안된 알고리즘은 Concordia대학의 handwritten numeral database에 적용시켜 그 성능을 확인하였다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제14권5호
• /
• pp.527-531
• /
• 2008

스캐너를 이용해 스캔한 데이타는 오차를 포함하고 있으며, 이러한 오차는 통계적인 성질을 갖는 경우가 많다. 이러한 이유에서 통계적인 방법은 오차 처리를 위해 매우 효과적인 방법이며, 최근 많은 연구가 이루어지고 있다. 이러한 통계적인 방법 중 대표적인 방법인 점 추정 방법은 데이타의 여러 성질을 나타내지 못하고 단지 확률이 최대가 되는 부분의 성질만을 나타내는 한계가 있으며, 이러한 한계로 인하여 오버피팅 문제가 발생하게 된다. 이러한 한계를 극복하고 오버피팅 문제를 해결하기 위해서 본 논문에서는 변분 베이지안 방법을 이용한다. 점집합의 오차를 제거하기 위해 지역적 근사곡면을 사용하고, 높이함수를 이용해서 근사곡면을 나타낸다. 변분 베이지안 방법을 사용하여 오차가 제거된 근사곡면을 구하고, 주어진 점들을 근사곡면으로 매핑하여 오차를 제거한다. 제시된 방법은 계량적 실험과 실제 스캔된 자료를 이용한 실험을 통하여 검증된다.

• 정보과학회 논문지
• /
• 제44권7호
• /
• pp.668-673
• /
• 2017

최근 몇 년간 딥러닝(deep learning)은 음성 인식, 영상 인식, 물체 검출을 비롯한 다양한 패턴인식 분야에서 혁신적인 성능 발전을 거듭해왔다. 그에 비해 네트워크가 어떻게 작동하는지에 대한 깊은 이해는 잘 이루어지지 않고 있다. 본 논문은 효과적인 신경망 네트워크를 구성하기 위해 네트워크 파라미터들이 신경망 내부에서 어떻게 작동하고, 어떤 역할을 하고 있는지 분석하였다. Faster R-CNN 네트워크를 기반으로 하여 신경망의 과적합(overfitting)을 막는 드랍아웃(dropout) 확률과 앵커 박스 크기, 그리고 활성 함수를 변화시켜 학습한 후 그 결과를 분석하였다. 또한 드랍아웃과 배치 정규화(batch normalization) 방식을 비교해보았다. 드랍아웃 확률은 0.3일 때 가장 좋은 성능을 보였으며 앵커 박스의 크기는 최종 물체 검출 성능과 큰 관련이 없다는 것을 알 수 있었다. 드랍아웃과 배치 정규화 방식은 서로를 완전히 대체할 수는 없는 것을 확인할 수 있었다. 활성화 함수는 음수 도메인의 기울기가 0.02인 leaky ReLU가 비교적 좋은 성능을 보였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제6권3호
• /
• pp.155-160
• /
• 2017

최근 컴퓨터를 이용한 다양한 인식 문제를 해결하기 위해 딥 러닝을 적용하는 사례가 늘어나고 있다. 딥 러닝은 학습에 필요한 요소를 학습데이터를 통해 스스로 도출해내기 때문에, 수작업(hand-craft)을 통해 특징을 도출하던 기존의 기계학습 방법보다 더 많은 장점을 갖는다. 행동인식을 위한 기존의 심층 신경망은 비디오 데이터를 일정 프레임의 이미지로 분할한 후, 분할된 각 이미지 사이의 시간적 연계성 분석을 통해 행동을 분류한다. 그러나 이러한 신경망은 소규모 행동 클래스를 갖는 분류 문제에서 학습 데이터의 부족 문제 및 과적합(overfitting) 문제로 인해 이를 실제 문제에 적용하기 어려운 경우가 많다. 이에 본 논문에서는 5가지의 소규모 행동 클래스를 정의하고, 기존 행동 인식 신경망의 최적화를 통해 이를 분류하였다. 700개의 비디오데이터를 통해 행동 데이터베이스를 구성하였고, 약 74.00%의 분류 정확도를 얻을 수 있었다.

• 응용통계연구
• /
• 제32권6호
• /
• pp.899-908
• /
• 2019

수 많은 모수들을 가지고 있는 방대한 심층신경망은 매우 강력한 기계학습 방법이지만 모형의 과도한 융통성으로 인하여 과적합문제를 내포하고 있다. 드롭아웃 방법은 크기가 큰 신경망의 과적합 문제를 해결하는 다양한 방법들 중 하나이며 매우 효과적인 방법으로 알려져 있다. 드롭아웃 방법은 훈련과정에서 각각의 표본에 다른 모형을 적용하는데 이들 모형은 입력과 은닉층의 노드들을 무작위로 제거한 모형들 중에 임의로 선택된다. 본 연구에서는 임의로 선택된 모형에 둘 이상의 표본을 적용하여 모형의 가중치들에 대한 추정치의 안정성을 높이는 하이브리드 드롭아웃 방법을 제시하였다. 실제 자료를 이용한 시뮬레이션 결과 노드의 선택확률과 모형의 적합에 사용되는 표본의 수를 적절하게 선택하여 기존의 방법에 비하여 추정치의 변동성이 감소시킬 수 있었으며 동시에 검증자료에 대한 최저오차도 줄일 수 있음을 보였다.

• 대한전자공학회논문지SP
• /
• 제42권6호
• /
• pp.121-132
• /
• 2005

사진기에서 고품질의 영상을 획득하기 위해서는 적절히 노출 시간을 조절하게 되는데 이로 인해 각각 독립적으로 얻어진 영상들의 노출 시간은 서로 달라진다. 이는 여러 영상의 열을 정렬하는 과정 등에서 부정확한 결과를 초래할 수 있으므로 영상들의 노출 시간을 동일하게 맞추어 줄 필요가 있다. 그런데, 노출 시간을 알지 못하는 경우에는, 하나의 영상을 기준으로 다른 영상들의 상대적 노출 시간을 추정하고 보정하는 알고리즘에 대한 연구가 필요하다. 본 논문에서는, 사진기의 모델 함수를 고려할 필요 없는, 최소 오류 개념에서 최적의 예측기인 conditional expectation을 사용하여 노출 보정을 시도하였다. 나아가서, 불규칙한 노출 또는 히스토그램 특성을 위한 적응 노출 보정 기법을 제안하였다. 이때 blocking artifact 및 overfitting 등의 문제를 완화시키기 위한 인접의 화소를 사용하는 기법을 도입하였다. 디지털 사진기 및 투과전자현미경을 통하여 얻어진 실제 영상을 사용한 모의실험을 통하여 성공적인 노출 보정 수행을 확인할 수 있었다.

• 한국지능시스템학회논문지
• /
• 제18권4호
• /
• pp.572-578
• /
• 2008

본 논문에서는 대규모 베이지안 망 구조 학습을 위해 제안되었던 R-CORE 방법의 탐색 공간의 크기에 대한 개략적인 분석과 실제 문제에 적용하였을 경우의 효과에 대한 실험적 결과를 제시한다. R-CORE 방법은 베이지안 망 구조 학습의 탐색 공간을 축소하기 위해 제안된 확률변수들의 재귀적 군집화와 오더 제한 방법이다. 알려진 벤치마크 베이지안 망을 이용한 분석을 통해, 제안되었던 R-CORE 방법이 worst case에는 기존의 방법과 유사한 탐색 공간을 가지나 평균적으로 기존방법보다 훨씬 적은 탐색 공간만을 고려한다는 것을 보인다. 또한 평균적으로 훨씬 적은 탐색 공간만을 고려하는 결과, 구조 탐색에서 기존 방법에 비해 상대적으로 적은 overfitting이 일어남을 실험적으로 보인다.