• 제목/요약/키워드: naive bayesian

검색결과 118건 처리시간 0.033초

관계 기반 특징을 이용한 트위터 스패머 탐지 (Spammer Detection using Features based on User Relationships in Twitter)

  • 이찬식;김준태
    • 정보과학회 논문지
    • /
    • 제41권10호
    • /
    • pp.785-791
    • /
    • 2014
  • 트위터는 페이스북과 더불어 전 세계적으로 인기 있는 SNS(Social Network Service)이다. 트위터에서 이메일 인증 방식을 악용하여 대량 생성된 스패머 계정은 유해한 콘텐츠로 트위터 사용자들에게 불편함을 준다. 본 논문에서는 이러한 문제를 해결하고자 관계 기반 특징을 이용한 스패머 탐지 기법을 제안한다. 관계 기반 특징이란 사용자의 호감 정도를 표현할 수 있는 친구 관계 특징과 사용자 간의 유사성을 나타낼 수 있는 유형 관계 특징들을 의미한다. 기존의 스패머 탐지 기법과 본 논문에서 제안하는 탐지 기법의 성능을 스패머의 비율을 3%에서 30%까지 변화시키면서 비교 실험한 결과, 본 논문에서 제안하는 기법이 Naive Bayesian Classifier와 Decision Tree 모두에서 더 우수한 성능을 보였다.

다채널 마이크 환경에서 Naive Bayesian Network의 Decision에 의한 음성인식 성능향상 (Performance Improvement in Distant-Talking Speech Recognition by an Integration of N-best results using Naive Bayesian Network)

  • 지미경;김희린
    • 대한음성학회:학술대회논문집
    • /
    • 대한음성학회 2005년도 추계 학술대회 발표논문집
    • /
    • pp.151-154
    • /
    • 2005
  • 원거리 음성인식에서 인식률의 성능향상을 위해 필수적인 다채널 마이크 환경에서 방 안의 도처에 분산되어있는 원거리 마이크를 사용하여 TV, 조명 등의 주변 환경을 음성으로 제어하고자 한다. 이를 위해 각 채널의 인식결과를 통합하여 최적의 결과를 얻고자 채널의N-best 결과와 N-best 결과에 포함된 hypothesis의 frame-normalized likelihood 값을 사용하여 Bayesian network을 훈련하고 인식결과를 통합하여 최선의 결과를 decision 하는데 사용함으로써 원거리 음성인식의 성능을 향상시키고 또한 hands-free 응용을 현실화하기위한 방향을 제시한다.

  • PDF

나이브베이즈 문서분류시스템을 위한 선택적샘플링 기반 EM 가속 알고리즘 (Accelerating the EM Algorithm through Selective Sampling for Naive Bayes Text Classifier)

  • 장재영;김한준
    • 정보처리학회논문지D
    • /
    • 제13D권3호
    • /
    • pp.369-376
    • /
    • 2006
  • 본 논문은 온라인 전자문서환경에서 전통적 베이지안 통계기반 문서분류시스템의 분류성능을 개선하기 위해 EM(Expectation Maximization) 가속 알고리즘을 접목한 방법을 제안한다. 기계학습 기반의 문서분류시스템의 중요한 문제 중의 하나는 양질의 학습문서를 확보하는 것이다. EM 알고리즘은 소량의 학습문서집합으로 베이지안 문서분류 알고리즘의 성능을 높이는데 활용된다. 그러나 EM 알고리즘은 최적화 과정에서 느린 수렴성과 성능 저하 현상을 나타내는데, EM 알고리즘의 기본 가정을 따르지 않는 온라인 전자문서환경에서 특히 그러하다. 제안 기법의 주요 아이디어는 전통적 EM 알고리즘을 개선하기 위해 불확정성도 기반 선택적 샘플링 기법을 활용한 것이다. 성능평가를 위해 Reuter-21578 문서집합을 사용하여, 제안 알고리즘의 빠른 수렴성을 보이고 전통적 베이지안 알고리즘의 분류 정확성을 향상시켰음을 보인다.

계층적인 가버 특징들과 베이지안 망을 이용한 필기체 숫자인식 (Hierarchical Gabor Feature and Bayesian Network for Handwritten Digit Recognition)

  • 성재모;방승양
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권1호
    • /
    • pp.1-7
    • /
    • 2004
  • 본 논문에서는 필기체 숫자인식을 위해서 계층적으로 서로 다른 레벨의 정보를 표현할 수 있는 구조화된 특징들의 추출 방법과 특징들 사이에 의존도를 이용하여 분류하는 베이지안 망을 제안한다. 이러한 계층적 특징들을 추출하기 위해서 레벨 단위로 가버 필터들을 정의하고, FLD(Fisher Linear Discriminant) 척도를 이용하여 최적화된 가버 필터들을 선택한다. 계층적 가버 특징들은 최적화된 가버 특징들을 이용하여 추출되며, 하위 레벨일수록 더욱 국부적인 정보를 표현한다. 추출된 계층적 가버 특징들의 분류성능 향상을 위해서 가버 특징들 사이의 계층적 의존도를 이용하는 베이지안 망을 생성한다. 본 논문에서 제안하는 방법은 naive Bayesian 분류기, k-nearest neighbor 분류기, 그리고 신경망 분류기들과 함께 필기체 숫자인식에 적용되어 계층적 가버 특징들의 효율성과 계층적 의존도를 이용하는 베이지안 망은 분류성능을 향상시킬 수 있다는 것을 보여준다.

Relation Based Bayesian Network for NBNN

  • Sun, Mingyang;Lee, YoonSeok;Yoon, Sung-eui
    • Journal of Computing Science and Engineering
    • /
    • 제9권4호
    • /
    • pp.204-213
    • /
    • 2015
  • Under the conditional independence assumption among local features, the Naive Bayes Nearest Neighbor (NBNN) classifier has been recently proposed and performs classification without any training or quantization phases. While the original NBNN shows high classification accuracy without adopting an explicit training phase, the conditional independence among local features is against the compositionality of objects indicating that different, but related parts of an object appear together. As a result, the assumption of the conditional independence weakens the accuracy of classification techniques based on NBNN. In this work, we look into this issue, and propose a novel Bayesian network for an NBNN based classification to consider the conditional dependence among features. To achieve our goal, we extract a high-level feature and its corresponding, multiple low-level features for each image patch. We then represent them based on a simple, two-level layered Bayesian network, and design its classification function considering our Bayesian network. To achieve low memory requirement and fast query-time performance, we further optimize our representation and classification function, named relation-based Bayesian network, by considering and representing the relationship between a high-level feature and its low-level features into a compact relation vector, whose dimensionality is the same as the number of low-level features, e.g., four elements in our tests. We have demonstrated the benefits of our method over the original NBNN and its recent improvement, and local NBNN in two different benchmarks. Our method shows improved accuracy, up to 27% against the tested methods. This high accuracy is mainly due to consideration of the conditional dependences between high-level and its corresponding low-level features.

심전도 패턴 판별을 위한 빈발 패턴 베이지안 분류 (Frequent Pattern Bayesian Classification for ECG Pattern Diagnosis)

  • 노기용;김원식;이헌규;이상태;류근호
    • 정보처리학회논문지D
    • /
    • 제11D권5호
    • /
    • pp.1031-1040
    • /
    • 2004
  • 심장의 활동을 기록한 심전도는 심장의 상태에 대한 가치 있는 임상 정보를 제공한다. 지금까지 심전도를 이용한 심장 질환 진단 알고리즘에 대한 많은 연구가 진행되어 왔으나, 심장 질환에 대한 진단 결과의 부 정확성으로 인해 심전계에서는 외국의 진단 알고리즘을 사용하고 있다. 이 논문에서는 심전도 데이터의 수집에서부터 전 처리 과정 그리고 데이터마이닝을 이용한 심장 질환 패턴 분류 기법을 제안한다. 이 패턴 분류기법은 빈발 패턴 베이지안이며 기존의 나이브 베이지안과 빈발 패턴 마이닝의 통합이다. 빈발 패턴 베이지안은 훈련단계에서 탐사된 빈발 패턴들을 사용하여 Product Approximation 구성하므로써 클래스 조건 독립 가정을 가진 나이브 베이지안의 단점을 해결한다.

나이브 베이지안 학습법에 기초한 북마크 분류 에이전트 (Bookmark Classification Agent Based on Naive Bayesian Learning Method)

  • 최정민;김인철
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2000년도 춘계학술발표논문집
    • /
    • pp.405-408
    • /
    • 2000
  • 최근 인터넷의 발전으로 많은 정보와 지식을 우리는 인터넷에서 제공받을 수 있게되었다. 인터넷에 존재하는 정보는 수많은 웹서버에 산재되어 있으며, 정보의 위치는 주소(URL)를 가지고 존재하게 되는데 사용자는 자신이 관심있는 정보의 주소를 저장하기 위하여 웹브라우저 북마크(Bookmark)기능을 사용한다. 그러나 북마크 기능은 웹문서의 주소 저장에 일차적인 목적을 두고 있으며, 이후 북마크의 개수가 증가하면, 사용자는 북마크관리가 어렵게되므로 사용자 북마크 파일을 자동으로 분류하여 관리할수 있는 에이전트 기술을 사용하고자 한다. 대표적인 분류에이전트 시스템으로는 전자우편 분류 에이전트인 Maxims, 뉴스기사 분류 에이전트인 NewT, 엔터테인먼트(Entertainment) 선별 에이전트인 Ringo 등이 있다. 이러한 시스템들은 분류할 대상에 따라 조금씩 다른 모습의 에이전트 기능을 보이고 있으며, 본 논문은 기계학습 이론중 교사학습 알고리즘인 나이브 베이지안 학습방법(Naive Bayesian Learning method)을 사용하여 사용자가 분류하지 못한 북마크를 자동으로 분류하는 단일 에이전트 기반 북마크 분류기를 설계, 구현하고자한다.

  • PDF

베이지안 학습을 이용한 문서의 자동분류 (An Automatic Document Classification with Bayesian Learning)

  • 김진상;신양규
    • Journal of the Korean Data and Information Science Society
    • /
    • 제11권1호
    • /
    • pp.19-30
    • /
    • 2000
  • 정보통신기술의 비약적인 발전은 온라인으로 생성되는 전자문서의 양을 폭발적으로 증가시키고 있다. 따라서 수동으로 문서를 분류하던 종래의 방법 대신 문서의 자동분유 기술 개발이 특별히 요구되고 있다. 본 논문에서는 베이지안 학습 기법을 이용하여 문서를 자동으로 분류하는 방법을 연구하고, 20개의 유즈넷 뉴스그룹 문서들을 분류하도록 시험하였다. 사용한 알고리즘은 Naive Bayes Classifier이며, 구현한 시스템을 이용해 유즈넷 문서를 대상으로 자동분류를 실험한 결과 분류의 정확률이 약 77%로 나타났다.

  • PDF

기계학습 방법을 이용한 MOOC 학습자의 중도 포기 예측 성능 비교 연구 (A Study of Performance Comparison of MOOC Dropout Prediction utilizing Machine Learning)

  • 허윤아;임희석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.323-326
    • /
    • 2016
  • 웹 서비스를 기반으로 이루어진 MOOC(Massive Open Online Course)는 대규모 학습자에게 공개된 온라인 교육이다. MOOC는 교수와 학습자 사이 커뮤니티를 통해 상호 참여적으로 수업을 진행한다. 그러나 무료로 강의를 들을 수 있고 성적을 내지 않기 때문에 학습자들에게 큰 동기 부여가 되지 않아 등록하는 학습자는 많지만 수료하는 학습자는 현저히 적게 나타났다. 본 논문은 이러한 문제 해결 방안 마련을 위해 KDD Cup 2015에서 제공한 MOOC 데이터를 통해 중도 포기와 관련된 변수들을 선정하였으며, Decision Tree, KNN, Logistic Regression, Naive Bayesian, SVM, Neural Network인 6가지 머신 러닝 알고리즘을 통해 데이터 예측의 정확률을 확인하였다. 그 결과 Naive Bayesian이 89.3%로 가장 높은 정확률을 보였다. 본 연구를 통해 중도포기를 정확히 예측하며, 향후 학습자들에게 특정 동기부여의 효과로 학습을 수료하는 결과를 기대할 수 있다.

전자메일 자동관리 시스템을 위한 전자메일 분류기의 개발 (Development of e-Mail Classifiers for e-Mail Response Management Systems)

  • 김국표;권영식
    • 한국IT서비스학회지
    • /
    • 제2권2호
    • /
    • pp.87-95
    • /
    • 2003
  • With the increasing proliferation of World Wide Web, electronic mail systems have become very widely used communication tools. Researches on e-mail classification have been very important in that e-mail classification system is a major engine for e-mail response management systems which mine unstructured e-mail messages and automatically categorize them. in this research we develop e-mail classifiers for e-mail Response Management Systems (ERMS) using naive bayesian learning and centroid-based classification. We analyze which method performs better under which conditions, comparing classification accuracies which may depend on the structure, the size of training data set and number of classes, using the different data set of an on-line shopping mall and a credit card company. The developed e-mail classifiers have been successfully implemented in practice. The experimental results show that naive bayesian learning performs better, while centroid-based classification is more robust in terms of classification accuracy.