• 대한전자공학회논문지SP
• /
• 제44권1호
• /
• pp.40-48
• /
• 2007

이 논문은 다중 스케일 베이지안 관점에서 다층 퍼셉트론과 마코프 랜덤 필드를 사용한 새로운 결 분할 방법을 제안한다. 다층 퍼셉트론의 출력은 사후 확률을 모델링하므로 본 논문에서는 다중 스케일 웨이블릿 계수들을 다층 퍼셉트론의 입력으로 사용한다. 다층 퍼셉트론으로부터 구한 사후 확률과 MAP (maximum a posterior) 분류를 이용하여 각 스케일에서 결 분류를 수행한다. 또한 가장 섬세한 스케일에서 더 개선된 분할 결과를 얻기 위하여 모든 스케일에서 MAP 분류 결과들을 거친 스케일에서 섬세한 스케일까지 차례로 융합한다. 이런 과정은 한 스케일에서의 분류 정보와 그 인접한 보다 거친 스케일에서 얻어지는 문맥과 관련한 연역적 정보를 이용하여 MAP 분류를 행함으로써 이루어진다. 이 융합 과정에서, MRF (Markov random fields) 사전 모델이 평탄화 제한자로서 동작하고, 깁스 샘플러 (Gibbs sampler)는 MAP 분류기로서 동작한다. 제안한 분할 방법은 HMT (Hidden Markov Trees) 모델과 HMTseg 알고리즘을 이용한 결 분할 방법보다 더 좋은 성능을 보인다.

• 한국정보통신학회논문지
• /
• 제10권5호
• /
• pp.956-961
• /
• 2006

키스트로크 시간간격은 컴퓨터사용자의 검증 및 인식에서 분별적인 특징이 될 수 있다. 본 논문은 키스트로크 시간간격을 특징으로, 신경망의 역전파 알고리즘과 Bayesian 분류기, 그리고 k-NN을 이용한 분류기의 사용자 인식 성능을 비교 실험하였다. 실험 결과, 사용자당 샘플의 개수가 작을 경우에는 k-NN 알고리즘이 가장 성능이 좋았고, 사용자당 샘플의 개수가 많을 경우에는 Bayesian 분류기의 성능이 가장 뛰어난 결과를 보였다. 따라서 웹기반 온라인 사용자인식을 위해서는 사용자별 키스트로크 샘플의 수에 따라 k-NN이나 Bayesian 분류기를 선택적으로 사용하는 것이 바람직할 것으로 보인다.

• 한국통계학회:학술대회논문집
• /
• 한국통계학회 2000년도 추계학술발표회 논문집
• /
• pp.135-140
• /
• 2000

베이지안 신경망 모형(Bayesian Neural Networks Models)에서 주어진 입력값(input)은 블랙 박스(Black-Box)와 같은 신경망 구조의 각 층(layer)을 거쳐서 출력값(output)으로 계산된다. 새로운 입력 데이터에 대한 예측값은 사후분포(posterior distribution)의 기대값(mean)에 의해 계산된다. 주어진 사전분포(prior distribution)와 학습데이터에 의한 가능도함수(likelihood functions)를 통해 계산되어진 사후분포는 매우 복잡한 구조를 갖게 됨으로서 기대값의 적분계산에 대한 어려움이 발생한다. 이때 확률적 추정에 의한 근사 방법인 몬테칼로 적분을 이용한다. 이러한 방법으로서 Hybrid Monte Carlo 알고리즘은 우수한 결과를 제공하여준다(Neal 1996). 본 논문에서는 Hybrid Monte Carlo 알고리즘과 기존에 많이 사용되고 있는 Gibbs sampling, Metropolis algorithm, 그리고 Slice Sampling등의 몬테칼로 방법들을 비교한다.

• 대한수학회지
• /
• 제59권2호
• /
• pp.217-233
• /
• 2022

Although machine learning shows state-of-the-art performance in a variety of fields, it is short a theoretical understanding of how machine learning works. Recently, theoretical approaches are actively being studied, and there are results for one of them, margin and its distribution. In this paper, especially we focused on the role of margin in the perturbations of inputs and parameters. We show a generalization bound for two cases, a linear model for binary classification and neural networks for multi-classification, when the inputs have normal distributed random noises. The additional generalization term caused by random noises is related to margin and exponentially inversely proportional to the noise level for binary classification. And in neural networks, the additional generalization term depends on (input dimension) × (norms of input and weights). For these results, we used the PAC-Bayesian framework. This paper is considering random noises and margin together, and it will be helpful to a better understanding of model sensitivity and the construction of robust generalization.

• 한국농공학회지
• /
• 제45권2호
• /
• pp.45-57
• /
• 2003

An artificial neural network model was developed to analyze and forecast Short-term river runoff from the Naju watershed, in Korea. Error back propagation neural networks (EBPN) of hourly rainfall and runoff data were found to have a high performance In forecasting runoff. The number of hidden nodes were optimized using total error and Bayesian information criterion. Model forecasts are very accurate (i.e., relative error is less than 3% and $R^2$is greater than 0.99) for calibration and verification data sets. Increasing the time horizon for application data sets, thus mating the model suitable for flood forecasting. decreases the accuracy of the model. The resulting optimal EBPN models for forecasting hourly runoff consists of ten rainfall and four runoff data(ANN0410 model) and ten rainfall and ten runoff data(ANN1010 model). Performances of the ANN0410 and ANN1010 models remain satisfactory up to 6 hours (i.e., $R^2$is greater than 0.92).

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 1998년도 학술발표회 논문집
• /
• pp.7-13
• /
• 1998

본 연구에서는 공간적으로 분포되어 있는 연강우량 자료를 이용한 지역 기상학 적인 가뭄을 정의하고 해석하는 모형을 제시한다. 비선형, 비매변수법에 기초한 공간 해석 신경망 (Spatial Analysis Neural Network:SANN)모형을 이용하여, 각 년에 대하여 공간의 임의 점에 서 의 극심, 심, 경심, 및 비 가뭄 확률을 전 대상 지역에 대하여 산출을 통하여 가뭄확률도를 작성 하며, Bayesian 가뭄 심도 지수 (BDSI)를 통하여 전 대상 지역을 가장 적절하게 극심, 심, 경심, 미 가뭄 지역으로 분류하는 방법을 제시한다. 또한, 각 년의 대표적인 가뭄의 형태를 제시 하여 줄 수 있는 지역 가뭄확률과 지역 가뭄 확률 지수를 소개한다. 이 모든 시공간의 가뭄 해석의 방법 은 실제로 우리나라(남한) 전역에 대하여 실시하여, 과거 1967년부터 1996년 까지 의 공간적이고 시간적인 가뭄의 발생 현황과 그 특징을 조사한다. 이는 우리나라 장기 수자원 개발 및 유역 관 리를 더욱 정량적인 가뭄정보에 의해 수행하게하여 줄 수 있을 것이다.

• 한국융합학회논문지
• /
• 제9권4호
• /
• pp.47-55
• /
• 2018

본 논문에서는 얼굴인식 성능 향상을 위해 얼굴 지역 영역 영상들로 학습된 다중개의 심층 합성곱 신경망(Deep Convolutional Neural Network)으로부터 추출된 심층 지역 특징들(Deep local features)을 가중치를 부여하여 결합하는 방법을 제안한다. 제안 방법에서는 지역 영역 집합으로 학습된 다중개의 심층 합성곱 신경망으로부터 추출된 심층 지역 특징들과 해당 지역 영역의 중요도를 나타내는 가중치들을 결합한 특징표현인 '가중치 결합 심층 지역 특징'을 형성한다. 일반화 얼굴인식 성능을 극대화하기 위해, 검증 데이터 집합(validation set)을 사용하여 지역 영역에 해당하는 가중치들을 계산하고 가중치 집합(weight set)을 형성한다. 가중치 결합 심층 지역 특징은 조인트 베이시안(Joint Bayesian) 유사도 학습방법과 최근접 이웃 분류기(Nearest Neighbor classifier)에 적용되어 테스트 얼굴영상의 신원(identity)을 분류하는데 활용된다. 제안 방법은 얼굴영상의 자세, 표정, 조명 변화에 강인하고 기존 최신 방법들과 비교하여 얼굴인식 성능을 향상시킬 수 있음이 체계적인 실험을 통해 검증되었다.

• Structural Engineering and Mechanics
• /
• 제26권3호
• /
• pp.251-262
• /
• 2007

This paper examines the application of artificial neural networks (ANN) to the response prediction of geometrically nonlinear truss structures. Two types of analysis (deterministic and probabilistic analyses) are considered. A three-layer feed-forward backpropagation network with three input nodes, five hidden layer nodes and two output nodes is firstly developed for the deterministic response analysis. Then a back propagation training algorithm with Bayesian regularization is used to train the network. The trained network is then successfully combined with a direct Monte Carlo Simulation (MCS) to perform a probabilistic response analysis of geometrically nonlinear truss structures. Finally, the proposed ANN is applied to predict the response of a geometrically nonlinear truss structure. It is found that the proposed ANN is very efficient and reasonable in predicting the response of geometrically nonlinear truss structures.

• 응용통계연구
• /
• 제15권2호
• /
• pp.251-267
• /
• 2002

Kohonen이 제안한 자기조직화 지도(Self Organizing Maps : SOM)는 매우 빠른 신경망 모형이다. 하지만 다른 신경망 모형과 마찬가지로 학습 결과에 대한 명확한 규칙을 제시하지 못할 뿐만 아니라 지역적 최적값으로 빠지는 경우가 종종 있다. 본 논문에서는 이러한 자기조직화 지도의 모형에 대한 설명력을 부여하고 전역 최적값으로 수렴할 수 있는 예측 성능을 갖는 모형으로서 자율학습 신경망에 베이지안 추론을 결합한 자기조직화 지도를 위한 베이지안 학습(Bayesian Learning for Self Organizing Maps ; BLSOM)을 제안한다. 이 방법은 기존의 자기조직화 지도가 지역적 해에 머물러 있는 것에 비해서 언제든지 전역적 해로 수렴함이 실험을 통하여 밝혀졌다.

• 한국지능시스템학회논문지
• /
• 제17권5호
• /
• pp.660-667
• /
• 2007

본 논문은 확률특성을 갖는 네트워크 기반 제어시스템(NCS; Networked Control Systems)을 위하여 동적 베이시안 네트워크(DBN; Dynamic Bayesian Networks)와 신경회로망 기법을 이용한 지능제어기법을 제안한다. 신경회로망은 시변 시간지연을 갖는 비선형 시스템의 실시간 오차를 보상하기 위한 제어기의 최적화에 적용된다. 모듈화 신경회로망이 구성되며 이것은 제어기의 파라미터를 출력한다 가장 간단한 DBN 구조인 마코브 체인(MC; Markov Chain)이 구성되며 NCS의 랜덤 관측값을 모델링에 적용되며 예측 제어기의 구성에 또한 사용된다. 제안한 제어기법은 위성시스템의 자세제어에 적용하여 컴퓨터 시뮬레이션을 통해 성능을 검증하였다.