• Proceedings of the Korean Institute of Intelligent Systems Conference
• /
• 2007.04a
• /
• pp.85-88
• /
• 2007

본 연구에서는 베이지안 망 구조 학습에서, 학습 데이터의 특정 부분집합이 학습된 망의 각연결 구조(edge)의 형성에 기여하는 정도를 정량화하는 방법을 제안한다. 생물학 정보의 분석 등에 베이지안 망 학습을 이용하는 경우, 제안된 방법은 망의 각 연결 구조의 형성에 특정 군집 데이터가 기여하는 정도의 정량화가 가능하다. 제안된 방법의 유효성을 보이기 위해, 벤치마크 베이지안 망을 이용하여 제안된 방법이 망 연결 구조에 대한 데이터 군집별 기여도를 효과적으로 정량화 할 수 있음을 보인다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.17 no.3
• /
• pp.316-321
• /
• 2007

We propose a quatitative annotation method for edges in Bayesian networks using given sets of condition-specific data. Bayesian network model has been used widely in various fields to infer probabilistic dependency relationships between entities in target systems. Besides the need for identifying dependency relationships, the annotation of edges in Bayesian networks is required to analyze the meaning of learned Bayesian networks. We assume the training data is composed of several condition-specific data sets. The contribution of each condition-specific data set to each edge in the learned Bayesian network is measured using the ratio of likelihoods between network structures of including and missing the specific edge. The proposed method can be a good approach to make quantitative annotation for learned Bayesian network structures while previous annotation approaches only give qualitative one.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.700-702
• /
• 2005

본 논문에서는 대규모 베이지안 망을 빠른 시간 안에 학습하기 위한 방법으로, 클러스터링을 이용한 방법을 제안한다. 제안하는 방법은 베이지안 구조 학습에 있어서 DAG(Directed Acyclic Graph)를 탐색하는 영역을 제한하기 위해 클러스터링을 사용한다. 기존의 베이지안 구조 학습 방법들이 고려하는 후보 DAG의 수가 전체 노드 수에 의해 제한되는 데 반해, 제안되는 방법에서는 미리 정해진 클러스터의 최대 크기에 의해 제한된다. 실험 결과를 통해, 제안하는 방법이 기존의 대규모 베이지안 망 학습에 활용되었던 SC(Sparse Candidate) 방법 보다 훨씬 적은 수의 후보 DAG만을 고려하였음에도 불구하고, 비슷한 정도의 정확도를 나타냄을 보인다.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.18 no.4
• /
• pp.572-578
• /
• 2008

We analyze the search space considered by the previously proposed R-CORE method for learning Bayesian network structures of large scale. Experimental analysis on the search space of the method is also shown. The R-CORE method reduces the search space considered for Bayesian network structures by recursively clustering the random variables and restricting the orders between clusters. We show the R-CORE method has a similar search space with the previous method in the worst case but has a much less search space in the average case. By considering much less search space in the average case, the R-CORE method shows less tendency of overfitting in learning Bayesian network structures compared to the previous method.

• Journal of Digital Convergence
• /
• v.11 no.11
• /
• pp.409-414
• /
• 2013

Naive Bayesian classifiers are a powerful and well-known type of classifiers that can be easily induced from a dataset of sample cases. However, the strong conditional independence assumptions can sometimes lead to weak classification performance. Normally, naive Bayesian classifiers use Gaussian distributions to handle continuous attributes and to represent the likelihood of the features conditioned on the classes. The probability density of attributes, however, is not always well fitted by a Gaussian distribution. Another eminent type of classifier is the neuro-fuzzy classifier, which can learn fuzzy rules and fuzzy sets using supervised learning. Since there are specific structural similarities between a neuro-fuzzy classifier and a naive Bayesian classifier, the purpose of this study is to apply learning distribution graphs constructed by a neuro-fuzzy network to naive Bayesian classifiers. We compare the Gaussian distribution graphs with the fuzzy distribution graphs for the naive Bayesian classifier. We applied these two types of distribution graphs to classify leukemia and colon DNA microarray data sets. The results demonstrate that a naive Bayesian classifier with fuzzy distribution graphs is more reliable than that with Gaussian distribution graphs.

• Proceedings of the Korean Information Science Society Conference
• /
• 2006.06a
• /
• pp.1-3
• /
• 2006

대사증후군은 당뇨병, 고혈압, 복부 비만, 고지혈증 등의 질병이 한 개인에게 동시에 발현하는 것을 말하며, 최근 경제여건의 향상 및 식생활 습관의 변화와 함께 우리나라에서도 심각한 문제가 되고 있다. 한편 불확실성의 처리를 위해 많이 사용되는 베이지안 네트워크는 사람이 분석 가능한 확률 기반의 모델로 최근 의학분야에서 질병의 진단이나 예측모델을 구성하기 위한 방법으로 유용하게 사용되고 있다. 베이지안 네트워크의 구조를 학습하는 대표적인 알고리즘인 K2 알고리즘은 속성이 입력되는 순서의 영향을 받으며, 따라서 이 또한 하나의 주제로써 연구되어 왔다. 본 논문에서는 유전자 알고리즘을 이용하여 베이지안 네트워크에 입력되는 속성 순서를 최적화하며 이 과정에서 의학지식을 적용해 효율적인 최적화가 가능하도록 하였다. 제안하는 모델을 통해 1993년의 데이터를 가지고 1995년의 상태를 예측하는 분류 실험을 수행한 결과 속성 순서 최적화 후에 이전보다 향상된 예측율을 보였으며 또한 다층 신경망, k-최근접 이웃 등을 이용한 다른 모델보다 더 높은 예측율을 보였다.

• Proceedings of the Korean Statistical Society Conference
• /
• 2000.11a
• /
• pp.135-140
• /
• 2000

베이지안 신경망 모형(Bayesian Neural Networks Models)에서 주어진 입력값(input)은 블랙 박스(Black-Box)와 같은 신경망 구조의 각 층(layer)을 거쳐서 출력값(output)으로 계산된다. 새로운 입력 데이터에 대한 예측값은 사후분포(posterior distribution)의 기대값(mean)에 의해 계산된다. 주어진 사전분포(prior distribution)와 학습데이터에 의한 가능도함수(likelihood functions)를 통해 계산되어진 사후분포는 매우 복잡한 구조를 갖게 됨으로서 기대값의 적분계산에 대한 어려움이 발생한다. 이때 확률적 추정에 의한 근사 방법인 몬테칼로 적분을 이용한다. 이러한 방법으로서 Hybrid Monte Carlo 알고리즘은 우수한 결과를 제공하여준다(Neal 1996). 본 논문에서는 Hybrid Monte Carlo 알고리즘과 기존에 많이 사용되고 있는 Gibbs sampling, Metropolis algorithm, 그리고 Slice Sampling등의 몬테칼로 방법들을 비교한다.

• The KIPS Transactions:PartB
• /
• v.8B no.3
• /
• pp.231-236
• /
• 2001

일반적인 다층 신경망에서 가중치의 갱신 알고리즘으로 사용하는 오류 역전과 방식은 가중치 갱신 결과를 고정된(fixed) 한 개의 값으로 결정한다. 이는 여러 갱신의 가능성을 오직 한 개의 값으로 고정하기 때문에 다양한 가능성들을 모두 수용하지 못하는 면이 있다. 하지만 모든 가능성을 확률적 분포로 표현하는 갱신 알고리즘을 도입하면 이런 문제는 해결된다. 이러한 알고리즘을 사용한 베이지안 신경망 모형(Bayesian Neural Networks Models)은 주어진 입력값(Input)에 대해 블랙 박스(Black-Box)와같은 신경망 구조의 각 층(Layer)을 거친 출력값(Out put)을 계산한다. 이 때 주어진 입력 데이터에 대한 결과의 예측값은 사후분포(posterior distribution)의 기댓값(mean)에 의해 계산할 수 있다. 주어진 사전분포(prior distribution)와 학습데이터에 의한 우도함수(likelihood functions)에 의해 계산한 사후확률의 함수는 매우 복잡한 구조를 가짐으로 기댓값의 적분계산에 대한 어려움이 발생한다. 따라서 수치해석적인 방법보다는 확률적 추정에 의한 근사 방법인 몬테 칼로 시뮬레이션을 이용할 수 있다. 이러한 방법으로서 Hybrid Monte Carlo 알고리즘은 좋은 결과를 제공하여준다(Neal 1996). 본 논문에서는 Hybrid Monte Carlo 알고리즘을 적용한 신경망이 기존의 CHAID, CART 그리고 QUEST와 같은 여러 가지 분류 알고리즘에 비해서 우수한 결과를 제공하는 것을 나타내고 있다.

• The Journal of the Acoustical Society of Korea
• /
• v.42 no.4
• /
• pp.329-344
• /
• 2023

In this study, we comprehensively analyze the generalization performance of various deep learning-based active sonar target classifiers when applied to small and imbalanced active sonar datasets. To generate the active sonar datasets, we use data from two different oceanic experiments conducted at different times and ocean. Each sample in the active sonar datasets is a time-frequency domain image, which is extracted from audio signal of contact after the detection process. For the comprehensive analysis, we utilize 22 Convolutional Neural Networks (CNN) models. Two datasets are used as train/validation datasets and test datasets, alternatively. To calculate the variance in the output of the target classifiers, the train/validation/test datasets are repeated 10 times. Hyperparameters for training are optimized using Bayesian optimization. The results demonstrate that shallow CNN models show superior robustness and generalization performance compared to most of deep CNN models. The results from this paper can serve as a valuable reference for future research directions in deep learning-based active sonar target classification.