• Journal of Advanced Marine Engineering and Technology
• /
• 제21권1호
• /
• pp.66-70
• /
• 1997

In this paper a new learning algorithm for curvature smoothing and improved generalization for multi-layer neural networks is proposed. To enhance the generalization ability a constraint term of hidden neuron activations is added to the conventional output error, which gives the curvature smoothing characteristics to multi-layer neural networks. When the total cost consisted of the output error and hidden error is minimized by gradient-descent methods, the additional descent term gives not only the Hebbian learning but also the synaptic weight decay. Therefore it incorporates error back-propagation, Hebbian, and weight decay, and additional computational requirements to the standard error back-propagation is negligible. From the computer simulation of the time series prediction with Santafe competition data it is shown that the proposed learning algorithm gives much better generalization performance.

• 한국측량학회:학술대회논문집
• /
• 한국측량학회 2010년 춘계학술발표회 논문집
• /
• pp.19-21
• /
• 2010

In this study, regarding to the generalization of the map, we analyze how the different tolerances influence on the performances of linear generalization operators. For the analysis, we apply the generalization operators, especially two simplification algorithms provided in the commercial GIS software, to 1:1000 digital topographic map for analyzing the aspect of the changes in positional error depending on the tolerances. And we evaluate the changes in positional error with the quantitative assessments. The results show that the analysis can be used as the criteria for determining proper tolerance in linear generalization.

• 응용통계연구
• /
• 제17권1호
• /
• pp.75-88
• /
• 2004

서포트 벡터 기계(Support Vector Machines, SVMs) 알고리즘은 표본 점들과 분리 초평면 사이의 최소 거리를 최대화하는 것에 관심을 가져왔다. 본 논문은 모든 데이터 점들과 분리 초평면 사이의 거리들을 고려하는 total margin을 제안한다. 본 논문에서 제안하는 방법은 기존의 서포트 벡터 기계 알고리즘을 확장하고, 일반화 오차 경계를 개선하게 된다. 새롭게 제안하는 total margin알고리즘이 기존 방법들과의 비교를 통하여 더욱 우수한 수행능력을 가지고 있음을 수치 예제들을 통하여 확인할 수 있다.

• 대한수학교육학회지:학교수학
• /
• 제15권2호
• /
• pp.459-479
• /
• 2013

본 연구의 목적은 초등수학영재와 일반학생들의 대수에서의 패턴 일반화 방법은 어떠한지 알아보고, 패턴을 일반화하는 과정에서 나타나는 오류를 조사하는 것이다. 본 연구에서는 초등학교 6학년 수학영재 78명과 일반학생 78명을 대상으로 증가패턴인 x+a, ax, ax+c, $ax^2$, $ax^2+c$, $a^x$ 형태의 6개 문항으로 이루어진 검사지를 활용하여 조사하였다. 연구 결과에 의하면 두 집단 모두 ax 유형에서 상징적 일반화를 가장 잘 하였고, $a^x$ 유형은 상징적 일반화를 한 학생이 가장 적었다. 또 시각적인 패턴으로 도형이 등장하는 경우 도형 하나하나가 개수로서의 의미라면 문제를 이해하는 데 큰 혼란이 없지만, 도형의 변이나 둘레 등 구성 요소의 의미를 파악해야 하는 문제라면 혼란을 겪는 것으로 나타났다. 학생들이 흔히 범하는 오류의 유형에서는 처리 기술의 오류가 초등수학영재(10.9%)와 일반학생(17.1%) 모두에서 가장 높게 나타났다.

• 한국측량학회:학술대회논문집
• /
• 한국측량학회 2009년도 춘계학술발표회 논문집
• /
• pp.29-34
• /
• 2009

Map update is required to provide up-to-date information. In update process, the most adequate generalization is to be applied to all scales of maps simultaneously. Most of existing maps are composed of 2D data and represented in 2D space. However, maps for next generation are to be generated with 3D spatial information including ortho-images and DEMs. Therefore, 3D generalization is necessary for 3D digital map update. This paper proposes methods for 3D generalization and correction for logical errors possibly accompanied with generalization.

• 한국지능시스템학회논문지
• /
• 제11권4호
• /
• pp.293-301
• /
• 2001

본 논문은 신경회로망과 같은 경험적 모델에서 출력별로 신뢰 구간을 추정하는 세 가지 대표적인 방법을 검토하고, 검토한 방법을 뉴로-퍼지 모델에 적용하여 장단점을 비교 분석한다. 본 논문에서 고려한 출력별 신뢰 구간 계산 방법은 cross-validation을 이용한 stacked generalization, 회귀 모델에서 유도된 predictive error bar, 지역 표현하는 신경회로망의 특성에 기반한 local reliability measure이다. 간단한 함수 근사화 문제와 혼돈 시계열 예측 문제를 이용하여 모의 실험을 수행하고, 세 가지 신뢰도 추정 방법의 성능을 정량적, 정성적으로 비교 분석한다. 분석 결과를 기초로 각 방법의 장단점 및 특성을 고찰하고, 모델링 문제에서 모델의 출력별 신뢰 구간 계산 방법의 실제 적용 가능성을 탐색한다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제28권9호
• /
• pp.603-611
• /
• 2001

본 논문은 학습 속도가 계층별 학습처럼 빠르며, 일반화 성능이 우수한 학습 방법을 제안한다. 제안한 방법은 최소 제곡법을 통해 구한 은닉층의 목표값을 이용하여 은닉층의 가중치를 조정하는 방법으로, 은닉층 경사 벡터의 크기가 작아 학습이 지연되는 것을 막을 수 있다. 필기체 숫자인식 문제를 대상으로 실험한 결과, 제안한 방법의 학습 속도는 오류역전파 학습과 수정된 오차 함수의 학습보다 빠르고, Ooyen의 방법과 계층별 학습과는 비슷했다. 또한, 일반화 성능은 은닉노드의 수에 관련없이 가장 좋은 결과를 얻었다. 결국, 제안한 방법은 계층별 학습의 학습 속도와 오류역전파 학습과 수정된 오차 함수의 일반화 성능을 장점으로 가지고 있음을 확인하였다.

• 한국측량학회:학술대회논문집
• /
• 한국측량학회 2010년 춘계학술발표회 논문집
• /
• pp.5-6
• /
• 2010

Needs for the methodology of segmentation of linear feature according to the shape characteristics of line feature are increasing in cartographic linear generalization. In this study, the line segmentation method using expansible moving window is presented. This method analyzes the generalization effect of line simplification algorithms depend on the line characters of linear feature and extracts the sections which show exclusively low positional error due to a specific algorithm. The description measurements of these segments are calculated and the target line data are segmented based on the measurements. For segmenting the linear feature to a homogeneous section, expansible moving window is applied. This segmentation method is expected to be used in the cartographic map generalization considering the shape characteristics of linear feature.

• 지능정보연구
• /
• 제5권1호
• /
• pp.95-101
• /
• 1999

In this paper, a comparison between different methods to combine predictions from neural networks will be given. These methods are bagging, bumping, and balancing. Those are based on the analysis of the ensemble generalization error into an ambiguity term and a term incorporating generalization performances of individual networks. Neural Networks and AI machine learning models are prone to overfitting. A strategy to prevent a neural network from overfitting, is to stop training in early stage of the learning process. The complete data set is spilt up into a training set and a validation set. Training is stopped when the error on the validation set starts increasing. The stability of the networks is highly dependent on the division in training and validation set, and also on the random initial weights and the chosen minimization procedure. This causes early stopped networks to be rather unstable: a small change in the data or different initial conditions can produce large changes in the prediction. Therefore, it is advisable to apply the same procedure several times starting from different initial weights. This technique is often referred to as training ensembles of neural networks. In this paper, we presented a comparison of three statistical methods to prevent overfitting of neural network.

• International Journal of Advanced Culture Technology
• /
• 제5권2호
• /
• pp.74-81
• /
• 2017

Recently, there are many companies that use systems based on artificial intelligence. The accuracy of artificial intelligence depends on the amount of learning data and the appropriate algorithm. However, it is not easy to obtain learning data with a large number of entity. Less data set have large generalization errors due to overfitting. In order to minimize this generalization error, this study proposed DGA(Dropout Genetic Algorithm) which can expect relatively high accuracy even though data with a less data set is applied to machine learning based genetic algorithm to deep learning based dropout. The idea of this paper is to determine the active state of the nodes. Using Gradient about loss function, A new fitness function is defined. Proposed Algorithm DGA is supplementing stochastic inconsistency about Dropout. Also DGA solved problem by the complexity of the fitness function and expression range of the model about Genetic Algorithm As a result of experiments using MNIST data proposed algorithm accuracy is 75.3%. Using only Dropout algorithm accuracy is 41.4%. It is shown that DGA is better than using only dropout.