• 제목/요약/키워드: 베이지안 분류

검색결과 200건 처리시간 0.025초

나이브 베이지안 분류기 모델 기반의 소용량 파일 그룹화 시스템 설계 (A Design of the Small File Grouping System Based on Naive Bayesian Classifier Model)

  • 김민재;김경태;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2014년도 제50차 하계학술대회논문집 22권2호
    • /
    • pp.221-222
    • /
    • 2014
  • 빠른 웹의 성장으로 대용량 데이터를 효과적으로 처리할 수 있는 플랫폼 기술에 대한 관심이 높아지고 있다. 특히, HDFS는 이상적인 분산 파일 시스템으로 각광받고 있으며 대용량 파일의 처리를 목적으로 개발되었다. 하지만, 실제 파일들의 집합에서 소용량 파일이 차지하는 비중은 높은 편이다. 많은 수의 소용량 파일은 HDFS 성능 감소에 치명적인 원인이 된다. 많은 수의 소용량 파일들이 HDFS에 저장된다면 NameNode의 메모리 소비량이 증가하게 되며 많은 수의 소용량 파일은 많은 수의 DataNode와 NameNode를 요구하므로 상대적으로 처리시간이 많이 소모된다. 따라서 본 논문에서는 HDFS에서 소용량 파일의 저장과 액세스 효율성을 향상시키기 위하여 나이브 베이지안 분류기 알고리즘을 적용한 파일 그룹화 시스템을 설계하였다.

  • PDF

문서의 주제어별 가중치 부여와 단어 군집을 이용한 한국어 문서 자동 분류 시스템 (An Automatic Classification System of Korean Documents Using Weight for Keywords of Document and Word Cluster)

  • 허준희;최준혁;이정현;김중배;임기욱
    • 정보처리학회논문지B
    • /
    • 제8B권5호
    • /
    • pp.447-454
    • /
    • 2001
  • 새로운 문서를 기존에 존재하는 클래스들에 할당하는 방법을 문서의 자동 분류라고 한다. 문서의 자동 분류는 뉴스 그룹의 기사분류, 웹 문서의 범주화, 전자 메일의 순서화, 사용자의 관심을 학습하여 보다 정확한 정보 검색을 제시하는데 사용될수 있다. 본 논문에서는 한국어 문서분류의 정확도를 높이기 위하여 문서내의 모든 단어들에 대한 확률값을 사용하여, 문서를 분류하는 기존의 방법과 달리 문서의 주제어를 선정하여 주제어로 선정된 단어들에 가중치를 부여하고 그렇지 않은 단어들에 대해서는 제거하너가 낮은 가중치를 부여하는 베이지안 분류자를 사용한다. 문서에는 특징으로 추출된 단어가 적어 문서를 분류하기 위한 만족할 만한 정보를 제공하지 못할 경우에 부족한 문서의 특징을 보충하기 위하여 말뭉치로부터 자동 단어 군집화를 통해 형성된 연관 단어 군집을 사용한다. 이러한 방법을 한국어 문서에 적용한 결과 기존의 베이지안 확률을 사용한 분류법보다 향상된 분류 정확도를 얻을 수 있었다.

  • PDF

작은 데이터에 대한 베이지안망 분류기(BNC)의 베이지안 모델 평균화(BMA) 성능 평가 (Evaluation of Bayesian Model Averaging (BMA) of Bayesian Network Classifiers (BNCs) on Small Datasets)

  • 황규백;장병탁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (1)
    • /
    • pp.22-24
    • /
    • 2003
  • 작은 데이터에서 베이지안망 분류기(Bayesian network classifier, BNC)를 학습할 때, 과대적합(overfitting)으로 인한 일반화 성능의 저하가 초래된다 이런 경우, 베이지안 모델 평균화(Bayesian model averaging, BMA)는 모델 자체에 대한 불확실성을 분석 과정에서 고려함으로써, 성능 저하를 피할 수 있는 수단을 제공한다. 본 논문에서는 BNC의 BMA의 작은 데이터에 대한 성능을 평가 및 분석한다. 특히, 노드의 순서에 대한 평균화의 효과가 연구된다. 인공데이터에 대한 실험 결과, 노드의 순서가 BNC의 BMA의 분류 성능에 미치는 영향은 지대하며, 이는 데이터의 크기가 극히 작은 경우의 성능 저하에 직접적인 원인이 된다.

  • PDF

베이지안 네트워크와 규칙기반 병합 알고리즘을 이용한 자동 세포 분류 및 분할 (Automatic Cell Classification and Segmentation based on Bayesian Networks and Rule-based Merging Algorithm)

  • 정미라;고병철;남재열
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 춘계학술발표대회
    • /
    • pp.141-144
    • /
    • 2008
  • 본 논문에서는 세포영상을 분할하고 분류하는 알고리즘을 제안한다. 우선, 배경으로부터 세포를 분할한 후, 학습데이터로부터 얻은 Compactness, Smoothness, Moments와 같은 형태학적 특징을 추출한다. 전경세포들이 분할된 후에, 보다 정밀한 세포분석을 위해서 군집세포(Overlapped Cell)와 독립세포(Isolated Cell)를 분류 할 수 있는 알고리즘의 개발이 필수적이다. 이를 위해서 본 논문에서는 베이지안 네트워크와 각 노드에 대한 3개의 확률밀도함수를 사용하여 각 세포 영역을 분류한다. 분류된 군집세포영역은 향후 정확한 세포 분석을 위해서 군집세포가 포함하는 독립세포의 수만큼 마커를 찾고, Watershed 알고리즘과 병합과정을 거쳐 하나의 독립세포를 분리하게 된다. 현미경으로부터 얻은 세포영상에 대한 실험 결과는 이전 논문들에서 제안한 방법들과 비교했을 때, 각 군집세포의 독립세포로의 분리 이전에 세포영역에 대한 분류과정을 먼저 수행하였기 때문에 분할 성능이 크게 향상되었음을 확인할 수 있다.

베이지안 네트워크 분류와 비즈니스 프로세스 모델링을 통한 신용카드 회원 이탈에 관한 연구 (An Empirical Study on the Churning Behavior through Bayesian Network Classifier and Business Process Modeling)

  • 이건창;이근영;조남용
    • 지식경영연구
    • /
    • 제10권4호
    • /
    • pp.1-15
    • /
    • 2009
  • 국내에서 신용카드는 대표적인 지불 수단으로 정착되었으며 신용카드의 사용자와 신용카드의 발급 매수는 이미 포화상태에 도달해 있다. 이 같은 양적 성장은 정부의 신용카드 활성화 정책과 더불어 신용카드사 간의 과당 경쟁의 영향에 기인하고 있다. 신용차드의 사용층은 대부분의 성인 남녀로 확대되었으며, 특히 복수의 신용카드 소지자를 대상으로 자사가 발급한 신용차드를 사용하게 하기 위한 신용카드사 간의 경쟁이 치열한 상황이다. 이에 따라 신용카드사들이 경쟁사의 카드사용 회원을 자사의 회원으로 확보하는 젓이 불가피하며 마찬가지로 사용 중인 자사의 회원이 경쟁사로 이동하지 않도록 사전에 이탈 징후를 포착하여 유지 캠페인을 수행하는 것이 신용카드사 마케팅의 주요 활동이 되었다. 선행연구에서는 신용카드 회원의 이탈과 관련하여 다양한 데이터마이닝 기법을 이용한 이탈의 특성 분류 연구가 진행되었다. 본 연구는 회원 이탈에 영향을 주는 요인을 효과적으로 발견하기 위한 방법으로 베이지안 네트워크(Bayesian Network)를 활용한다. 특히, 베이지안 네트워크의 일종인 일반 베이지안 네트워크(General Bayesian Network)를 이용하여 회원의 이탈요인에 영향을 주는 요인들의 집합인 마코프 블랭킷(Makov Blanket)을 도출한다. 한편, 마코프 블랭킷에 포함된 변수를 이용해 민감도 분석을 수행하여 영향이 큰 요인을 찾아내고 이를 비즈니스 프로세스에 적용하여 실무적인 의의를 실증하고자 한다.

  • PDF

카이제곱 통계량을 이용한 개선된 베이지안 스팸메일 필터 (An Improved Bayesian Spam Mail Filter based on Ch-square Statistics)

  • 김진상;최상열
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2005년도 춘계학술대회 학술발표 논문집 제15권 제1호
    • /
    • pp.403-414
    • /
    • 2005
  • 현재까지 개발된 스팸 메일 필터는 주로 베이지안 학습을 이용한 문서분류에 바탕을 두고 있지만, 정확률 향상의 한계라는 문제점과 더불어 일반 메일을 스팸 메일로 오분류하는 치명적인 오류를 극복하지 못하는 문제점을 안고 있다. 본 논문은 카이제곱 통계량을 바탕으로 베이지안 필터의 false positive 에러를 해결하고. 더불어 정확률과 재현율 향상을 동시에기할 수 있는 스팸 메일 필터링 방법을 기술한다. 또한 본 논문에서 사용된 방법은 사용자의 배경 지식을 기계학습 단계에서 파라미터로 반영하여 시스템의 유연성을 높이고 나아가 개인화된 시스템으로 확장시킬 수 있다는 장점도 있다.

  • PDF

망막 질환 진단을 위한 베이지안 네트워크에 기초한 데이터 분석 (Bayesian Network-based Data Analysis for Diagnosing Retinal Disease)

  • 김현미;정성환
    • 한국멀티미디어학회논문지
    • /
    • 제16권3호
    • /
    • pp.269-280
    • /
    • 2013
  • 본 논문에서 망막 질환 요인간의 의존도 분석을 위해 효율적인 분류기를 활용할 수 있는 방안을 제시하였다. 먼저 여러 베이지안 네트워크 중에서 TAN (Tree-Augmented Naive Bayesian Network), GBN(General Bayesian Network)과 Markov Blanket으로 특징축소된 GBN과의 분류성능과 예측정확률을 비교분석하였다. 그리고 처음으로, 높은 성능을 보인 TAN을 망막 질환 임상데이터의 의존도 분석에 적용하였다. 의존도 분석 결과, 망막 질환의 진단과 예후 예측에 활용의 가능성을 보였다.

베이지안 최적화를 이용한 암상 분류 모델의 하이퍼 파라미터 탐색 (Hyperparameter Search for Facies Classification with Bayesian Optimization)

  • 최용욱;윤대웅;최준환;변중무
    • 지구물리와물리탐사
    • /
    • 제23권3호
    • /
    • pp.157-167
    • /
    • 2020
  • 최근 인공지능 기술의 발전과 함께 물리탐사의 다양한 분야에서도 인공지능의 핵심 기술인 머신러닝의 활용도가 증가하고 있다. 또한 머신러닝 및 딥러닝을 활용한 연구는 이미지, 비디오, 음성, 자연어 등 다양한 태스크의 추론 정확도를 높이기 위해 복잡한 알고리즘들이 개발되고 있고, 더 나아가 자료의 특성, 알고리즘 구조 및 하이퍼 파라미터의 최적화를 위한 자동 머신러닝(AutoML) 분야로 그 폭을 넓혀가고 있다. 본 연구에서는 AutoML 분야 중에서도 하이퍼 파라미터(hyperparameter) 자동 탐색을 위한 베이지안 최적화 기술에 중점을 두었으며, 본 기술을 물리탐사 분야에서도 암상 분류(facies classification) 문제에 적용했다. Vincent field의 현장 물리검층 및 탄성파 자료를 이용하여 암상 및 공극유체를 분류하는 지도학습 기반 모델에 적용하였고, 랜덤 탐색 기법의 결과와 비교하여 베이지안 최적화 기반 예측 프레임워크의 효율성을 검증하였다.

베이지안 분류를 이용한 립 리딩 시스템 (Lip-reading System based on Bayesian Classifier)

  • 김성우;차경애;박세현
    • 한국산업정보학회논문지
    • /
    • 제25권4호
    • /
    • pp.9-16
    • /
    • 2020
  • 음성 정보를 배제하고 영상 정보만을 이용한 발음 인식 시스템은 다양한 맞춤형 서비스에 적용될 수 있다. 본 논문에서는 베이지안 분류기를 기반으로 입술 모양을 인식하여 한글 모음을 구분하는 시스템을 개발한다. 얼굴 이미지의 입술 모양에서 특징 벡터를 추출하고 설계된 기계 학습모델을 적용하여 실험한 결과 'ㅏ' 발음의 경우 94%의 인식률을 보였으며, 평균 인식률은 약 84%를 나타내었다. 또한 비교군으로 실험한 CNN 환경에서의 인식률보다 높은 결과를 보였다. 이를 통해서 입술 영역의 랜드 마크로 설계된 특징 값을 사용하는 베이지안 분류 기법이 적은 수의 훈련 데이터에서 보다 효율적일 수 있음을 알 수 있다. 따라서 모바일 디바이스와 같은 제한적 하드웨어에서 응용 가능한 어플리케이션 개발에 활용할 수 있다.

연관 사용자 군집과 베이지안 분류를 이용한 사용자 선호도 예측 방법 (User Preference Prediction Method Using Associative User Clustering and Bayesian Classification)

  • 정경용;김진현;이정현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (2)
    • /
    • pp.109-111
    • /
    • 2001
  • 기존의 협력적 필터링 기술을 이용한 사용자 선호도 예측 방법에서는 아이템에 대한 사용자의 선호도를 기반으로 이웃 선정 방법(Nearest-Neighborhood Method)을 사용하고, 피어슨 상관 계수에 의해 사용자의 유사도를 구하므로 아이템에 대한 내용을 반영하지 못할 뿐만 아니라 희박성 문제를 해결하지 못하였다. 본 논문에서는 기존의 사용자 선호도 예측 방법의 문제점을 보완하기 위하여 연관 사용자 군집과 베이지안 분류를 이음한 사용자 선호도 예측 방법을 제안한다. 제안한 방법에서는 협력적 필터링 시스템에서의 희박성(Sparsity)문제를 해결하기 위하여 ARHP 알고리즘을 사용하여 사용자를 장르별로 군집하며 새로운 사용자는 Naive Bayes 분류자에 의해 이들 장르 중 하나로 분류된다. 또한, 분류된 장르 내에 속한 사용자들과 새로운 사용자의 유사도출 구하기 위해 Naive Bayes 학습을 통해 사용자가 평가한 아이템에 추정치를 달리 부여한다. 추정치가 부여된 선호도를 기존의 피어슨 상관 관계에 적용할 경우 결측치(Missing Value)로 인한 예측의 오류를 적게 하여 예측의 정확도를 높일 수 있다. 제안된 방법의 성능을 평가하기 위해서 기존의 협력적 필터링 기술과 비교 평가하였다.

  • PDF