• Title/Summary/Keyword: Bayesian Rule

Search Result 95, Processing Time 0.026 seconds

베이지안 확률 및 폐쇄 순차패턴 마이닝 방식을 이용한 설명가능한 로그 이상탐지 시스템 (An Interpretable Log Anomaly System Using Bayesian Probability and Closed Sequence Pattern Mining)

  • 윤지영;신건윤;김동욱;김상수;한명묵
    • 인터넷정보학회논문지
    • /
    • 제22권2호
    • /
    • pp.77-87
    • /
    • 2021
  • 인터넷과 개인용 컴퓨터가 발달하면서 다양하고 복잡한 공격들이 등장하기 시작했다. 공격들이 복잡해짐에 따라 기존에 사용하던 시그니처 기반의 탐지 방식으로 탐지가 어려워졌으며 이를 해결하기 위해 행위기반의 탐지를 위한 로그 이상탐지에 대한 연구가 주목 받기 시작했다. 최근 로그 이상탐지에 대한 연구는 딥러닝을 활용해 순서를 학습하는 방식으로 이루어지고 있으며 좋은 성능을 보여준다. 하지만 좋은 성능에도 불구하고 판단에 대한 근거를 제공하지 못한다는 한계점을 지닌다. 판단에 대한 근거 및 설명을 제공하지 못할 경우, 데이터가 오염되거나 모델 자체에 결함이 발생해도 이를 발견하기 어렵다는 문제점을 지닌다. 결론적으로 사용자의 신뢰성을 잃게 된다. 이를 해결하기 위해 본 연구에서는 설명가능한 로그 이상탐지 시스템을 제안한다. 본 연구는 가장 먼저 로그 파싱을 진행해 로그 전처리를 수행한다. 이후 전처리된 로그들을 이용해 베이지안 확률 기반 순차 규칙추출을 진행한다. 결과적으로 "If 조건 then 결과, 사후확률(θ)" 형식의 규칙집합을 추출하며 이와 매칭될 경우 정상, 매칭되지 않을 경우, 이상행위로 판단하게 된다. 실험으로는 HDFS 로그 데이터셋을 활용했으며, 그 결과 F1score 92.7%의 성능을 나타내었다.

베이지안 추론법을 이용한 부식된 배관의 통계적 수명예측 (Statistical Life Prediction of Corroded Pipeline Using Bayesian Inference)

  • 노유정
    • 한국산학기술학회논문지
    • /
    • 제16권4호
    • /
    • pp.2401-2406
    • /
    • 2015
  • 배관은 대형기계설비에서 다양한 작동유체를 운반하는데 사용되는데, 대형시스템의 성능을 유지하기 위해서는 부식된 배관의 잔존 수명을 정확히 예측될 필요가 있다. 하지만, 배관 형상, 물성치, 부식률 등 배관의 수명에 영향을 미치는 요인들의 불확실성이 크기 때문에 부식 잔존 수명을 정확히 예측하기 힘들다. 본 연구에서는 통계적인 접근방법인 베이지안 추론법을 이용하여 부식 잔존 수명을 예측하는 방법을 제안하였다. 여기서, 배관의 파손 확률은 베이지안 법칙을 기반으로 시간에 따른 배관 파손 압력에 관한 사전 정보와 실험데이터를 이용하여 계산되고, 부식 잔존 수명은 10%의 파손 확률을 갖는 경과시간으로 계산되었다. 예제에서는 부식에 영향을 미치는 주요인자로부터 10개와 50개의 데이터를 생성하여 배관의 파손 확률 및 배관의 잔존수명을 예측하였으며 가정한 실제 잔존수명과의 비교를 통해 제안한 방법을 검증하였다.

DSGE 모형 추정을 이용한 2000년 이후 한국의 거시경제 분석 (Analysis on Korean Economy with an Estimated DSGE Model after 2000)

  • 김태봉
    • KDI Journal of Economic Policy
    • /
    • 제36권2호
    • /
    • pp.1-64
    • /
    • 2014
  • 본고는 소규모 개방경제를 상정한 동태확률모형을 통해 2000년 이후의 한국 거시경제의 변동요인들과 금융위기 기간의 통화정책과 재정정책의 변화요인을 추정하였다. 실증분석을 위해 동태확률모형은 경제성장률을 결정하는 두 가지 다른 추세요인과 다양한 구조충격요인 그리고 다양한 형태의 마찰을 포함시킴으로써, 거시변수들이 어떠한 요인에 의해 변화했는지를 정량적으로 분석하였다. 실증분석 결과, 금융위기 기간 동안 통화정책은 주로 테일러 준칙을 따른 것으로 나타난 반면, 재정정책의 반응은 재정준칙보다는 상대적으로 큰 폭의 재정충격요인에 의해서 설명된 것으로 추정되었다.

  • PDF

A Review of Machine Learning Algorithms for Fraud Detection in Credit Card Transaction

  • Lim, Kha Shing;Lee, Lam Hong;Sim, Yee-Wai
    • International Journal of Computer Science & Network Security
    • /
    • 제21권9호
    • /
    • pp.31-40
    • /
    • 2021
  • The increasing number of credit card fraud cases has become a considerable problem since the past decades. This phenomenon is due to the expansion of new technologies, including the increased popularity and volume of online banking transactions and e-commerce. In order to address the problem of credit card fraud detection, a rule-based approach has been widely utilized to detect and guard against fraudulent activities. However, it requires huge computational power and high complexity in defining and building the rule base for pattern matching, in order to precisely identifying the fraud patterns. In addition, it does not come with intelligence and ability in predicting or analysing transaction data in looking for new fraud patterns and strategies. As such, Data Mining and Machine Learning algorithms are proposed to overcome the shortcomings in this paper. The aim of this paper is to highlight the important techniques and methodologies that are employed in fraud detection, while at the same time focusing on the existing literature. Methods such as Artificial Neural Networks (ANNs), Support Vector Machines (SVMs), naïve Bayesian, k-Nearest Neighbour (k-NN), Decision Tree and Frequent Pattern Mining algorithms are reviewed and evaluated for their performance in detecting fraudulent transaction.

Boundary Extraction Using Statistical Edge and Curvature Model

  • Park, Hae-Chul;Lee, J. S.;H. C. Shin;J. H. Cho;Kim, S. D.
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2001년도 제14회 신호처리 합동 학술대회 논문집
    • /
    • pp.403-406
    • /
    • 2001
  • We propose an algorithm for extracting the boundary of an object. In order to take full advantage of global shape, our approach uses global shape parameters derived from Point Distribution Model (PDM). Unlike PDM, the proposed method models global shape using curvature as well as edge. The objective function of applying the shape model is formulated using Bayesian rule. We can extract the boundaries of an object by evaluating iteratively the solution maximizing the objective function. Experimental results show that the proposed method can reduce computation cost than the PDM and it is robust to noise, pose variation, and some occlusion.

  • PDF

Transformation of Mass Function and Joint Mass Function for Evidence Theory

  • Suh, Doug. Y.;Esogbue, Augustine O.
    • 한국지능시스템학회논문지
    • /
    • 제1권2호
    • /
    • pp.16-34
    • /
    • 1991
  • It has been widely accepted that expert systems must reason from multiple sources of information that is to some degree evidential - uncertain, imprecise, and occasionally inaccurate - called evidential information. Evidence theory (Dempster/Shafet theory) provides one of the most general framework for representing evidential information compared to its alternatives such as Bayesian theory or fuzzy set theory. Many expert system applications require evidence to be specified in the continuous domain - such as time, distance, or sensor measurements. However, the existing evidence theory does not provide an effective approach for dealing with evidence about continuous variables. As an extension to Strat's pioneeiring work, this paper provides a new combination rule, a new method for mass function transffrmation, and a new method for rendering joint mass fuctions which are of great utility in evidence theory in the continuous domain.

  • PDF

Convergence Diagnostics for the Gibbs Sampler

  • Sohn, Joong-Kweon;Kim, Heon-Joo;Kang, Sang-Gil
    • Journal of the Korean Data and Information Science Society
    • /
    • 제7권1호
    • /
    • pp.1-12
    • /
    • 1996
  • The Gibbs sampler is a substantially powerful tool in Bayesian analysis. However, it is necerssary to choose the numbert of iterations and the size of random samples. This problem has been studied by many researchers. The proposed procedures by them are generally difficult to apply to a practical problem. The attraction of the sampling based approaches is their conceptual simplicity and ease of implementation for users with available computing resources but without numerical analytic efforts. In this paper we consider the problem of determining the number of iterations t, which is simple to application.

  • PDF

K-means Clustering for Environmental Indicator Survey Data

  • Park, Hee-Chang;Cho, Kwang-Hyun
    • 한국데이터정보과학회:학술대회논문집
    • /
    • 한국데이터정보과학회 2005년도 춘계학술대회
    • /
    • pp.185-192
    • /
    • 2005
  • There are many data mining techniques such as association rule, decision tree, neural network analysis, clustering, genetic algorithm, bayesian network, memory-based reasoning, etc. We analyze 2003 Gyeongnam social indicator survey data using k-means clustering technique for environmental information. Clustering is the process of grouping the data into clusters so that objects within a cluster have high similarity in comparison to one another. In this paper, we used k-means clustering of several clustering techniques. The k-means clustering is classified as a partitional clustering method. We can apply k-means clustering outputs to environmental preservation and environmental improvement.

  • PDF

군집화를 위한 베이지안 학습 기반의 퍼지 규칙 추출 (Bayesian Learning based Fuzzy Rule Extraction for Clustering)

  • 한진우;전성해;오경환
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (B)
    • /
    • pp.389-391
    • /
    • 2003
  • 컴퓨터 학습의 군집화는 주어진 데이터를 서로 유사한 몇 개의 집단으로 묶는 작업을 수행한다. 군집화를 위한 유사도 결정을 위한 측도는 많은 기법들에서 매우 다양한 측도들이 사용되고 또한 연구되어 왔다. 하지만 군집화의 결과에 대한 성능측정에 대한 객관적인 기준 설정이 어렵기 때문에 군집화 결과에 대한 해석은 매우 주관적이고 애매한 경우가 많다. 퍼지 군집화는 이러한 애매한 군집화 문제에 있어서 융통성 있는 군집 결정 방안을 제시해 준다. 각 개체들이 특정 군집에 속하게 될 퍼지 멤버 함수값을 원소로 하는 유사도 행렬을 통하여 군집화를 수행한다. 본 논문에서는 베이지안 학습을 통하여 군집화를 위한 퍼지 멤버 함수값을 구하였다. 본 연구에서는 최적의 퍼지 군집화 수행을 위하여 베이지안 학습 기반의 퍼지 규칙을 추출하였다. 인공적으로 만든 데이터와 기존의 기계 학습 데이터를 이용한 실험을 통하여 제안 방법의 성능을 확인하였다.

  • PDF

나이브 베이지안 분류자와 메세지 규칙을 이용한 스팸메일 필터링 시스템 (Spam-mail Filtering System Using Naive Bayesian Classifier and Message Rule)

  • 조한철;조근식
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 봄 학술발표논문집 Vol.29 No.1 (B)
    • /
    • pp.223-225
    • /
    • 2002
  • 인터넷의 급속한 성장과 함께 E-Mail은 대표적인 통신수단의 하나가 되어버렸다. 편리하다는 점을 이용해서 엄청난 양의 스팸메일이 매일같이 쏟아져 오고 , 그 문제점의 심각성에 정보통신부에서 정보통신망 이용촉진 및 정보보호 등에 관한 법률이라는 새로운 법률까지 생겨났다. 본 논문에서는 이 법률에서 요구하는 '광고'라는 문구를 걸러내는 등의 메시지 규칙을 갖는 시스템과 기존의 문서 분류에 널리 쓰이던 나이브 베이지안 분류자(Naive Baesian Classifier)를 결합한 스팸 메일 필터링 시스템(Spam-mail Fitering System)을 제안한다. 제안된 시스템에서는 사용자가 직접 규칙을 작성할 필요없이 학습한 데이터를 갖고 자동으로 스팸메일을 분류할 수가 있다. 들어온 메일은 메시지 규칙 기반 필터가 먼저 적용되고, 메세지 규칙 기반 필터에서 분류되지 않으면 나이브 베이지안 필터에서 분류된다. 실험에서는 제안된 시스템의 성능을 평가하기 위해서 메시지 규칙을 사용한 시스템 및 나이브 베이지만 분류자 시스템과 비교 평가하였다. 또한 임계치를 변경함으로써 제안된 시스템의 성능을 높일 수있도록 하였다.

  • PDF