• Title/Summary/Keyword: 자동 분류

Search Result 1,708, Processing Time 0.028 seconds

Automatic Classification of Blog Posts Considering Category-specific Information (범주별 고유 정보를 고려한 블로그 포스트의 자동 분류)

  • Kim, Suah;Oh, Sungtak;Lee, Jee-Hyong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2015.01a
    • /
    • pp.11-14
    • /
    • 2015
  • 많은 블로그 제공 사이트는 블로그 포스트 작성자에게 미리 정의된 범주 (category)에 따라 포스트의 주제에 대하여 범주를 선택할 수 있는 환경을 제공한다. 그러나 블로거들은 작성한 포스트의 범주를 매번 수동으로 선택해야 하는 불편함이 있다. 이러한 불편함의 해결을 위해 블로그 포스트를 자동으로 분류해주는 기능을 제공한다면 블로그의 활용성이 증가할 것이다. 기존의 블로그 문서 분류의 연구는 각 범주의 고유 정보를 반영하는 것에 한계가 있었다. 이러한 문제를 해결하기 위해, 본 논문에서는 범주별 고유 정보를 반영한 어휘 가중치를 제안한다. 어휘 가중치의 분석을 위하여 범주별로 블로그 문서를 수집하고, 수집한 문서에서 어휘의 빈도와 문서의 빈도, 범주별 어휘빈도 등을 고려하여 새로운 지표인 CTF, CDF, IECDF를 개발하였다. 이러한 지표를 기반으로 기존의 Naive Bayes 알고리즘으로 학습하여, 블로그 포스트를 자동으로 분류하였다. 실험에서는 본 논문에서 제안한 가중치 방법인 TF-CTF-CDF-IECDF를 사용한 분류가 가장 높은 성능을 보였다.

  • PDF

Document Classification of Small Size Documents Using Extended Relief-F Algorithm (확장된 Relief-F 알고리즘을 이용한 소규모 크기 문서의 자동분류)

  • Park, Heum
    • The KIPS Transactions:PartB
    • /
    • v.16B no.3
    • /
    • pp.233-238
    • /
    • 2009
  • This paper presents an approach to the classifications of small size document using the instance-based feature filtering Relief-F algorithm. In the document classifications, we have not always good classification performances of small size document included a few features. Because total number of feature in the document set is large, but feature count of each document is very small relatively, so the similarities between documents are very low when we use general assessment of similarity and classifiers. Specially, in the cases of the classification of web document in the directory service and the classification of the sectors that cannot connect with the original file after recovery hard-disk, we have not good classification performances. Thus, we propose the Extended Relief-F(ERelief-F) algorithm using instance-based feature filtering algorithm Relief-F to solve problems of Relief-F as preprocess of classification. For the performance comparison, we tested information gain, odds ratio and Relief-F for feature filtering and getting those feature values, and used kNN and SVM classifiers. In the experimental results, the Extended Relief-F(ERelief-F) algorithm, compared with the others, performed best for all of the datasets and reduced many irrelevant features from document sets.

A Topic Classification System in cQA Services Based on Semi-Automatic Learning Using Wikipedia (위키피디아를 이용한 반자동 학습 기반의 cQA 서비스 주제 분류 시스템)

  • Kim, Taehyun
    • Annual Conference on Human and Language Technology
    • /
    • 2015.10a
    • /
    • pp.139-141
    • /
    • 2015
  • 본 논문은 커뮤니티 기반의 질의-응답 서비스에서 사용자 질의의 주제를 분류하는 시스템을 소개한다. 커뮤니티 기반의 질의-응답 서비스는 분야에 따라 다양한 주제를 가질 수 있으며 오늘 날 사용자 질의의 주제 분류에는 통계 기반의 분류 방법이 많이 이용되고 있다. 통계 기반의 분류 방법으로 사용자 질의를 분류하기 위해서는 주제에 적합한 대량의 학습 말뭉치가 필요하다. 주제에 적합한 대량의 학습 말뭉치를 사람이 직접 구축하는 것은 많은 시간과 비용이 든다. 따라서 본 논문에서는 이러한 문제를 해결하기 위해 위키피디아 문서를 Supervised K-means Clustering 기법으로 주제별로 분류함으로써 학습 말뭉치를 반자동으로 구축하는 방법을 제안한다. 그 다음, 생성된 학습 말뭉치로 지지 벡터 기계를 학습하여 사용자 질의의 주제를 분류하게 된다. 위키피디아 문서와 사용자 질의는 다른 도메인의 문서임에도 불구하고 본 논문의 시스템으로 사용자 질의의 주제를 분류한 결과 77.33%의 정확도를 보였다.

  • PDF

Reconstruction of E-mail Category Using Dynamic Category Hierarchy and Document Summarization (문서요약 및 동적 분류체계를 사용한 E-mail 분류의 재구성)

  • Ahn, Chan-Min;Park, Sun;Kim, Tae-Soon;Choi, Bum-ghi;Lee, Ju-Hong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2004.05a
    • /
    • pp.511-514
    • /
    • 2004
  • 현재의 이메일 분류는 규칙기반, 베이시안, SVM 등을 이용하여 스팸메일을 필터링 하는 이원분류가 주로 연구되어지고 있고, 이외에도 다원분류에 대한 연구로는 클러스터링을 이용한 방법이 있다. 그러나 클러스터링에 의한 방법은 단순히 유사도에 의해 메일을 묶는 수준에 그치고 있다. 본 논문에서는 자동 문서요약 방법과 동적분류체계 방법을 결합하여 새로운 이메일 자동 다원분류 방법을 제안했다. 본 논문에서 제안한 방법은 이메일을 자동으로 분류하며 분류한 결과를 검색할 때 사용자의 요구사항을 만족하지 못하면 재분류하여 분류 빛 검색의 정확성을 높였다.

  • PDF

Prescriptive Analytics System Design Fusing Automatic Classification Method and Intellectual Structure Analysis Method (자동 분류 기법과 지적 구조 분석 기법을 융합한 처방적 분석 시스템 구현 방안 연구)

  • Jeong, Do-Heon
    • Journal of the Korean Society for information Management
    • /
    • v.34 no.4
    • /
    • pp.33-57
    • /
    • 2017
  • This study aims to introduce an emerging prescriptive analytics method and suggest its efficient application to a category-based service system. Prescriptive analytics method provides the whole process of analysis and available alternatives as well as the results of analysis. To simulate the process of optimization, large scale journal articles have been collected and categorized by classification scheme. In the process of applying the concept of prescriptive analytics to a real system, we have fused a dynamic automatic-categorization method for large scale documents and intellectual structure analysis method for scholarly subject fields. The test result shows that some optimized scenarios can be generated efficiently and utilized effectively for reorganizing the classification-based service system.

Design of SDI Service Based on Fuzzy Logic (Fuzzy Logic을 기반으로 한 SDI 서비스 설계)

  • 최봉진;하얀;황용주;김용성
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1998.10b
    • /
    • pp.333-335
    • /
    • 1998
  • 현재의 키워드 입력방식의 정보검색 서비스는 사용자에게 다량의 정보검색 결과를 제공하여 사용자가 다시 정보를 선별하는 어려움을 준다. 본 논문은 사용자가 원하는 정보를 검색하고, 검색된 수많은 정보를 퍼지개념을 적용한 자동분류 알고리즘을 이용하여 정보를 제공하는 SDI(Selective Dissemination of Information)서비스를 설계한다. 즉, SDI서비스는 사용자가 User Profile에서 원하는 정보검색 분야에 대한 정보를 입력하면, 인터넷에 산재된 정보를 로봇을 이용하여 검색하고, 퍼지개념을 이용한 자동분류 알고리즘으로 검색된 정보를 자동 분류 및 선별하여 사용자에게 자동으로 정보를 제공하는 서비스이다.

A Study on the Feature Selection for Automatic Document Categorization (자동문헌분류를 위한 대표색인어 추출에 관한 연구)

  • 황재영;이응봉
    • Proceedings of the Korean Society for Information Management Conference
    • /
    • 2003.08a
    • /
    • pp.55-64
    • /
    • 2003
  • 인터넷 학술정보자원이 급증하고 있는 가운데 자동문헌분류에 대한 관심과 필요성도 늘어가고 있다. 자동문헌분류에 관한 실험은 전처리 단계인 대표색인어 추출과 추출된 대표색인어의 분류성능 평가 실험으로 구분 할 수 있는데, 본 연구에서는 우선 대표색인어 추출을 위해 다양한 대표색인어(자질) 추출 방법에 따른 색인어 성능평가 실험 및 최적의 대표색인어 개수 선정 실험을 수행하였다.

  • PDF

Classification of the Multimedia Attached File in E-Mail System (E-Mail 시스템의 멀티미디어 첨부파일 자동분류 시스템 설계)

  • 현영순;정옥란;조동섭
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2003.05b
    • /
    • pp.746-749
    • /
    • 2003
  • 인터넷 사용자의 증가와 함께 e-mail 사용자 또한 증가하게 되면서 대량의 메일을 송수신하는 경우, 메일에 대한 효율적 관리의 중요성이 부각되고 있다. 본 논문에서는 수신된 메일의 내용을 텍스트 형태로 가져온 뒤, parallel regular expression을 이용하여 Keyword를 검색하고 추출하여 메일에 첨부되어온 멀티미디어 파일들을 자동으로 분류·저장하는 멀티미디어 첨부파일 자동분류 시스템을 제안하였다. 수신된 메일을 일일이 확인하고 분류해야만 했던 기존의 시스템과는 달리 본 논문에서 제안하고자 하는 시스템을 이용했을 경우 노력과 시간을 절감하고 첨부파일들을 효과적으로 관리할 수 있다는 장점이 있다.

  • PDF

An Automatic Classification of Korean Documents Using Weight for Keywords of Document and Corpus : Bayesian classifier (문서의 주제어별 가중치와 말뭉치를 이용한 한국어 문서의 자동분류 : 베이지안 분류자)

  • 허준희;고수정;김태용;최준혁;이정현
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10b
    • /
    • pp.154-156
    • /
    • 1999
  • 문서 분류는 미리 정의된 두 개 또는 그 이상의 클래스에 새로 생성되는 객체들을 할당하는 방법이다. 문서의 자동 분류에 대한 연구는 오래 전부터 연구되어 왔지만 한국어에 대한 적용 및 연구는 다른 분야에 비해 아직까지 활발히 이루어지지 않고 있다. 본 논문에서는 문서를 자동으로 분류하기 위해 문서의 주제어에 가중치를 부여하고, 부족한 문서의 특징을 보충하기 위하여 말뭉치로부터 주제어들과의 상호정보에 의해 추출된 단어를 사용하여 문서를 표현한 후, 가중치를 부여한 문서의 주제어에 베이지안 분류자를 사용하여 문서분류를 수행한다. 실험은 한국어 정보검색 실험용 데이터 집합인 KTset95 문서 4,414개 중 1,300개의 문서를 학습 집합으로, 1,000개의 문서를 분류에 대한 검증 집합으로 사용하였다. 실험 결과, 순수 베이지안 확률을 사용한 기존의 방법보다 실험 집합과 검증 집합에서 각각 1.92%, 4.3% 향상된 분류 정확도를 얻었다.

  • PDF

A Study on Automatic Classification of Record Text Using Machine Learning (기계학습을 이용한 기록 텍스트 자동분류 사례 연구)

  • Kim, Hae Chan Sol;An, Dae Jin;Yim, Jin Hee;Rieh, Hae-Young
    • Journal of the Korean Society for information Management
    • /
    • v.34 no.4
    • /
    • pp.321-344
    • /
    • 2017
  • Research on automatic classification of records and documents has been conducted for a long time. Recently, artificial intelligence technology has been developed to combine machine learning and deep learning. In this study, we first looked at the process of automatic classification of documents and learning method of artificial intelligence. We also discussed the necessity of applying artificial intelligence technology to records management using various cases of machine learning, especially supervised methods. And we conducted a test to automatically classify the public records of the Seoul metropolitan government into BRM using ETRI's Exobrain, based on supervised machine learning method. Through this, we have drawn up issues to be considered in each step in records management agencies to automatically classify the records into various classification schemes.