• 제목/요약/키워드: document classification

검색결과 449건 처리시간 0.024초

텍스처 정보 기반의 PCA를 이용한 문서 영상의 분석 (Texture-based PCA for Analyzing Document Image)

  • 김보람;김욱현
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2006년도 하계종합학술대회
    • /
    • pp.283-284
    • /
    • 2006
  • In this paper, we propose a novel segmentation and classification method using texture features for the document image. First, we extract the local entropy and then segment the document image to separate the background and the foreground using the Otsu's method. Finally, we classify the segmented regions into each component using PCA(principle component analysis) algorithm based on the texture features that are extracted from the co-occurrence matrix for the entropy image. The entropy-based segmentation is robust to not only noise and the change of light, but also skew and rotation. Texture features are not restricted from any form of the document image and have a superior discrimination for each component. In addition, PCA algorithm used for the classifier can classify the components more robustly than neural network.

  • PDF

질의어 확장에 기반을 둔 클러스터링 및 필터링 문서의 검색효율 제고에 관한 연구 (A Study on the Improvement of Retrieval Effectiveness to Clustered and Filtered Document through Query Expansion)

  • 노동조
    • 한국비블리아학회지
    • /
    • 제14권1호
    • /
    • pp.219-230
    • /
    • 2003
  • 인터넷을 비롯한 대다수의 정보검색에서 사용자가 느끼는 공통된 어려움중의 하나는 검색결과가 너무 많다는 것이다. 본 연구는 검색결과를 줄이는 방법의 하나로써 검색 문헌에 대한 정제 방법에 대하여 논의한 것이다. 궁극적으로 종전의 검색시스템에서 제대로 고려하지 않은 개념망을 통한 질의어 확장과 확장 질의어와 전처리된 문서와의 유사도 측정을 통한 문서의 선택, 백과사전 정보에 의한 의미 확장과 클러스터링, 필터링 기법 등이 정보검색의 효율을 향상시키는데 효과적인 방안임을 제안한다.

  • PDF

NMF 기반의 용어 가중치 재산정을 이용한 문서군집 (Document Clustering using Term reweighting based on NMF)

  • 이주홍;박선
    • 한국컴퓨터정보학회논문지
    • /
    • 제13권4호
    • /
    • pp.11-18
    • /
    • 2008
  • 문서군집은 정보검색의 많은 응용분야에 사용되는 중요한 문서 분석 방법이다. 본 논문은 비음수 행렬 분해(NMF, non-negative matrix factorization)를 기반한 용어 가중치 재산정 방법을 이용하여서 사용자의 요구에 적합한 군집결과를 얻도록 하는 새로운 군집모델을 제안한다. 제안된 모델은 군집형태에 대한 사용자 요구와 기계에 의한 군집 형태의 차이를 최소화하기 위하여 사용자 피드백에 의한 가중치가 재계산된 용어를 이용한다. 또한 제안방법은 용어의 가중치 재계산과 문서군집에 문서집합의 내부구조를 나타내는 의미특징행렬과 의미변수행렬 이용하여 문서군집의 성능을 높일 수 있다. 실험결과 제안방법을 적용한 문서군집방법이 적용하지 않은 문서군 방법에 비하여 좋은 성능을 보인다.

  • PDF

도시철도 보선시설물 유지관리를 위한 표준 분류체게 연구 (Analysis of Classification for Maintenance Management in Urban Transit Facility)

  • 박서영;신정렬;박기준;김길동;한석윤
    • 한국철도학회:학술대회논문집
    • /
    • 한국철도학회 2003년도 추계학술대회 논문집(II)
    • /
    • pp.448-453
    • /
    • 2003
  • Most urban transit companies recognize the necessity of classification for facility management Classification for urban transit facility is necessary for standardization of maintenance management. The practical application. however. is not easy because of the absence of standardization of classification for urban transit facility and the difficulty in objectification of breakdown structure. This study suggests a proposal of classification for maintenance management in urban transit facility. This study defines standardization of classification as facility, work, maintenance and attribute to manage urban transit facility. And attribute classification consist of material, equipment and document. The suggested classification can be used as a useful maintenance management tool that enables evaluation of urban transit facility by standardization. The results of this study could be used as references for related urban transit companies.

  • PDF

문서 분류 알고리즘을 이용한 한국어 스팸 문서 분류 성능 비교 (Comparing Korean Spam Document Classification Using Document Classification Algorithms)

  • 송철환;유성준
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (C)
    • /
    • pp.222-225
    • /
    • 2006
  • 한국은 다른 나라에 비해 많은 인터넷 사용자를 가지고 있다. 이에 비례해서 한국의 인터넷 유저들은 Spam Mail에 대해 많은 불편함을 호소하고 있다. 이러한 문제를 해결하기 위해 본 논문은 다양한 Feature Weighting, Feature Selection 그리고 문서 분류 알고리즘들을 이용한 한국어 스팸 문서 Filtering연구에 대해 기술한다. 그리고 한국어 문서(Spam/Non-Spam 문서)로부터 영사를 추출하고 이를 각 분류 알고리즘의 Input Feature로써 이용한다. 그리고 우리는 Feature weighting 에 대해 기존의 전통적인 방법이 아니라 각 Feature에 대해 Variance 값을 구하고 Global Feature를 선택하기 위해 Max Value Selection 방법에 적용 후에 전통적인 Feature Selection 방법인 MI, IG, CHI 들을 적용하여 Feature들을 추출한다. 이렇게 추출된 Feature들을 Naive Bayes, Support Vector Machine과 같은 분류 알고리즘에 적용한다. Vector Space Model의 경우에는 전통적인 방법 그대로 사용한다. 그 결과 우리는 Support Vector Machine Classifier, TF-IDF Variance Weighting(Combined Max Value Selection), CHI Feature Selection 방법을 사용할 경우 Recall(99.4%), Precision(97.4%), F-Measure(98.39%)의 성능을 보였다.

  • PDF

대칭 조건부 확률과 TF-IDF 기반 텍스트 분류를 위한 N-gram 특질 선택 (N-gram Feature Selection for Text Classification Based on Symmetrical Conditional Probability and TF-IDF)

  • 최우식;김성범
    • 대한산업공학회지
    • /
    • 제41권4호
    • /
    • pp.381-388
    • /
    • 2015
  • The rapid growth of the World Wide Web and online information services has generated and made accessible a huge number of text documents. To analyze texts, selecting important keywords is an essential step. In this paper, we propose a feature selection method that combines a term frequency-inverse document frequency technique and symmetrical conditional probability. The proposed method can identify features with N-gram, the sequential multiword. The effectiveness of the proposed method is demonstrated through a real text data from the machine learning repository, University of California, Irvine.

제한된 문서 영상에서 패턴 분절과 구분 처리에 관한 연구 (A Study on the Pattern Segmentation and Classification in Specially Documentated Imaged)

  • 옥철호;허도근;진용옥
    • 한국통신학회논문지
    • /
    • 제14권6호
    • /
    • pp.663-674
    • /
    • 1989
  • 본 논문은 문서자동 처리시스템의 구현을 위하여 문서영상의 패턴 분절과 구분처리 방법에 대하여 기술하였다. 가우스 분포함수의 1차 미분 연산자에 의한 윤곽선 추출과 체인 코드법에 의한 영상 분절, 2차 적률과 2차원 Rf 거리 (변환 영역)등에 의한 패턴 구분을 행하였다. 제한된 영상에 대하여 적용한 결과 문자 영역이나 지문, 사진, 도장 등 도형정보 영역을 잘 구분할 수 있음을 알았으며 사용된 알고리즘의 유용성을 검증할 수 있었다.

  • PDF

AutoCor: A Query Based Automatic Acquisition of Corpora of Closely-related Languages

  • Dimalen, Davis Muhajereen D.;Roxas, Rachel Edita O.
    • 한국언어정보학회:학술대회논문집
    • /
    • 한국언어정보학회 2007년도 정기학술대회
    • /
    • pp.146-154
    • /
    • 2007
  • AutoCor is a method for the automatic acquisition and classification of corpora of documents in closely-related languages. It is an extension and enhancement of CorpusBuilder, a system that automatically builds specific minority language corpora from a closed corpus, since some Tagalog documents retrieved by CorpusBuilder are actually documents in other closely-related Philippine languages. AutoCor used the query generation method odds ratio, and introduced the concept of common word pruning to differentiate between documents of closely-related Philippine languages and Tagalog. The performance of the system using with and without pruning are compared, and common word pruning was found to improve the precision of the system.

  • PDF

문서 분류에서의 SVM 오류 감소를 위한 하이브리드 방법 (Hybrid Approach to SVM Error Reduction in Document Classification)

  • 이준석;김상수;박성배;이상조
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (2)
    • /
    • pp.544-546
    • /
    • 2005
  • 본 논문에서는 문서 분류(document classification) 성능을 높이기 위해 다음과 같은 방법을 제안한다. 먼저 패턴 분류 문제에 있어서 우수한 성능을 보이는 SVM(Support Vector Machine)을 사용하여 분류 하고, 마진을 만족하는 데이터를 다시 k-NN 으로 분류를 한다. 단순히 SVM만을 사용한것보다. k-NN을 함께 사용한것이 더 높은 성능을 보였다.

  • PDF

문서의 등급을 고려한 메시지전송 프로토콜 구현에 관한 연구 (A Study on the Implementation of a Message Transfer Protocol with Document Classification)

  • 신승중;김현수
    • 정보기술과데이타베이스저널
    • /
    • 제7권1호
    • /
    • pp.67-82
    • /
    • 2000
  • In this paper we have developed a message transfer protocol, CMP, which improves MSP's message processing capability. The proposed method has taken into account document classification to improve the efficiency of message processing. The difference between the conventional MSP and CMP has been addressed. The CMP's performance has been shown by various experiments including number, alphabet, Korean letter, Chinese letter, music sound and compression file transmission. And security capability of both protocols has been compared based on the specification of FIPS 140-2. The CMP's overall performance is shown to be superior to that of MSP on the processing speed in the performance perspective and on the function of cryptographic module interface and cryptographic key management in the security perspective respectively.

  • PDF