• 제목/요약/키워드: Document Classification

검색결과 446건 처리시간 0.051초

Term Frequency-Inverse Document Frequency (TF-IDF) Technique Using Principal Component Analysis (PCA) with Naive Bayes Classification

  • J.Uma;K.Prabha
    • International Journal of Computer Science & Network Security
    • /
    • 제24권4호
    • /
    • pp.113-118
    • /
    • 2024
  • Pursuance Sentiment Analysis on Twitter is difficult then performance it's used for great review. The present be for the reason to the tweet is extremely small with mostly contain slang, emoticon, and hash tag with other tweet words. A feature extraction stands every technique concerning structure and aspect point beginning particular tweets. The subdivision in a aspect vector is an integer that has a commitment on ascribing a supposition class to a tweet. The cycle of feature extraction is to eradicate the exact quality to get better the accurateness of the classifications models. In this manuscript we proposed Term Frequency-Inverse Document Frequency (TF-IDF) method is to secure Principal Component Analysis (PCA) with Naïve Bayes Classifiers. As the classifications process, the work proposed can produce different aspects from wildly valued feature commencing a Twitter dataset.

통감부~일제 초기 갑오개혁과 대한제국기 공문서의 분류 - 분류도장·창고번호도장을 중심으로 - (The Classification arranged from Protectorate period to the early Japanese Colonial rule period : for Official Documents during the period from Kabo Reform to The Great Han Empire - Focusing on Classification Stamp and Warehouse Number Stamp -)

  • 박성준
    • 기록학연구
    • /
    • 제22호
    • /
    • pp.115-155
    • /
    • 2009
  • 한국이 일본에 병합되면서 갑오개혁~대한제국기 공문서는 조선총독부(朝鮮總督府)로 인계되어 과(課) 단위의 분류체계에서 부(部) 단위로 재분류되었지만, 그전에 몇 번의 재분류과정을 거쳤다. 재분류의 흔적은 갑오개혁~대한제국기 공문서철 표지에 찍힌 분류도장과 창고번호도장에서 확인된다. 분류도장에서는 '부(部)-국(局)-과(課)' 행정체계에서 과(課)를 단위로 문서철을 구분하고 분류도장을 찍고 호수를 부여하였다. 이는 대한제국기 공문서 분류체계와 동일한 것으로, 분류도장을 찍을 당시까지도 課를 단위로 한 분류체계는 유지되었다. 분류도장은 과(課) 단위로 구분하고 각 문서철에 호수를 부여하였지만, 과(課) 하위단위의 분류체계는 과(課)별로 차이가 있었다. 지세과(地稅課) 문서철은 한 호수에 여러 기관이 등장하고 문서연도는 앞뒤 호수에서 중복되었고, 같은 성격의 문서철이 따로 분류되어 있었다. 관세과(關稅課)와 잡세과(雜稅課) 문서철은 문서연도를 기준으로 편철된 두 과(課)의 편철 방식을 반영하여 문서연도를 기준으로 호수를 부여한 것으로 보여지지만, 문서연도와 'イロハ 가(歌)' 순서가 맞지 않았다. 갑오개혁~대한제국기에는 공문서를 과(課) 단위로 편철하였지만, 課 하위단위의 분류규정이 없어 분류도장의 문서철 분류를 대한제국기 공문서 분류체계의 원질서로 파악할 수 있는가의 여부는 명확하지 않다. 그러나 편철 방식은 문서 분류체계를 반영하므로, 편철 방식을 통해 대한제국기 과(課) 하위단위의 분류체계를 추론해 본다면, 분류체계는 '과(課) - 거래기관'과 '과(課) - 문서연도' 두 체계로 구분되었을 것으로 이해된다. 조선총독부는 대한제국기 공문서를 인계받고 창고에 보관하면서, 각 문서철에 창고번호도장을 찍었다. 창고번호도장은 대체적으로 각 창고별로 문서를 편철한 기관을 구분하여 문서철을 보관하였다. 각 창고의 서가에도 대체적으로 분류도장 호수 순으로 문서철을 배열하였지만, 일부 문서철은 호수가 뒤섞여 서가에 배열되어 서가와 호수 순서가 맞지 않았다. 서가에 문서철을 배열한 다음 각 문서철에 'イロハ 가(歌)' 순으로 기호를 부여했지만, 기호 역시 호수 순으로 부여된 것은 아니었다. 조선총독부가 각 창고에 문서철을 보관하는 과정에서 분류도장의 분류체계가 해체되고 있었던 것이다. 창고번호도장에서 나타난 특징 가운데 하나는 분류도장에서 각 문서철에 부여한 보존기간의 의미가 사라지고 있다는 점이다. 보존기간은 해당 문서가 지닌 역사적 행정적 가치에 따라 결정된다. 그런데 창고번호도장에서는 보존기간의 구분 없이 같은 서가에 보존기간이 다른 문서철을 뒤섞어 함께 배열하였다. 일본은 한국을 병합하면서 대한제국기 공문서를 일정 기간이 지난 뒤 폐기해야 할 행정 문서가 아니라, 식민 통치에 필요한 '고고(考古)의 재료(材料)'로 취급하였다. 일반 행정문서에서 식민 통치에 필요한 재료로 문서의 가치 평가가 전환되면서, 문서철에 부여된 보존기간에 상관없이 대한제국기 공문서를 모두 동일한 대상으로 취급하여 함께 보관하였던 것이다. 조선총독부는 식민 통치에 필요한 재료로 활용하기 위해 갑오개혁~대한제국기 공문서를 재정리하면서 부(部)를 단위로 재분류함으로써 대한제국기의 과(課)를 단위로 한 기관별 분류체계와 그 속에 포함되어 있던 기능별 분류의 성격도 해체하였다.

지식 분류의 자동화를 위한 클러스터링 모형 연구 (Development of a Clustering Model for Automatic Knowledge Classification)

  • 정영미;이재윤
    • 정보관리학회지
    • /
    • 제18권2호
    • /
    • pp.203-230
    • /
    • 2001
  • 본 연구에서는 문헌을 기반으로 한 지식의 자동분류를 위해 최적의 클러스터링 모형을 제시하고자 하였다. 클러스터링 실험을 위해서 신문기사 실험집단과 학술논문 초록 실험집단을 구축하였고, 분류 성능 평가 척도인 WACS를 개발하였다. 분류자질로 사용한 용어의 집합은 다양한 자질 축소 기준을 적용하여 생성하였으며, 다양한 용어 가중치를 사용하였다. 유사계수 공식으로는 코사인 계수와 자카드 계수를 적용하였으며, 클러스터링 알고리즘으로는 비계층적 기법인 완전연결 기법과 계층적 기법인 K-means기법을 각각 사용하였다. 실험 결과 신문기사 원문 집단에서의 성능이 좋았으며, 완전연결 기법의 성능이 K-means 기법보다 높게 나타났다. 역문헌빈도의 적용은 완전연결 클러스터링에서는 긍정적인 효과가 나타났으나, K-means 클러스터링에서는 그렇지 못했다. 분류자질은 전체의 7.66%만 사용하였을 경우에도 성능 저하가 크지 않았으며, K-means 클러스터링에서는 오히려 성능 향상 효과가 있었다.

  • PDF

베이지안 분류기를 이용한 문서 필터링 (A Study on Document Filtering Using Naive Bayesian Classifier)

  • 임수연;손기준
    • 한국콘텐츠학회논문지
    • /
    • 제5권3호
    • /
    • pp.227-235
    • /
    • 2005
  • 문서 필터링은 어떤 문서가 특정한 주제에 속하는지의 여부를 판별하는 문제이다. 인터넷과 웹이 널리 퍼지고 이메일로 전송되는 문서의 양이 폭발적으로 증가함에 따라 문서 여과의 중요성도 증가하고 있는 추세이다. 본 논문은 문서 필터링 문제를 이진 문서 분류 문제로 보고, 베이지안 분류기를 필터링 목적으로 사용하였다. 그리고 사용자가 관련성 있는 문서를 제대로 필터링 받기 위해서 학습 대상으로 삼아야 할 문서의 범위나 수, 최소한 체크해야 하는 관련성 있는 문서의 수에 대한 값을 구하는 실험을 수행하였다.

  • PDF

향약집성방(鄕藥集成方)에 나타난 삼화자향약방(三和子鄕藥方) 조문(條文)의 연원(淵源)에 대한 연구 (A Research on Origin of Provisions in Samhwaja-hyangyakbang(三和子鄕藥方) noted in Hyangyakjipseongbang(鄕藥集成方))

  • 신영일
    • 대한한의학방제학회지
    • /
    • 제5권1호
    • /
    • pp.85-98
    • /
    • 1997
  • Samhwaja-hyangyakbang has been known as the book of herbalogy published by the man, Samhwaja. But there are no records about the additor, and the absence of the document, it is so difficult to be informed about the time when it published and other details. But in this document and Hyangyakgugeubbang, there are similar prescriptions to Sublingual Inflammation, Aphtose, Anthrax, Furoncle, Ulcer, Dysentery, etc. So the time it published is estimated to Goryo-dynasty Gojong epoch(1232-1251) when the Hyangyakgugeubbang was published. In addition, this document seems to be basis of Hyangyakjipseongbang, Because, Hyangyakjipseongbang quoted more than 140 provisions from this document. Prescriptions that are different from other books in dosage or taking method, took those of Biyebaekyobang. In explanation or classification of disease, this document almost copied those of Biyebaekyobang, so this document take Biyebaekyobang for origin and take Sikeuisimkam, Taepyungseonghyebang, etc, for reference.

  • PDF

비음수 행렬 분해와 군집의 응집도를 이용한 문서군집 (Document Clustering Method using Coherence of Cluster and Non-negative Matrix Factorization)

  • 김철원;박선
    • 한국정보통신학회논문지
    • /
    • 제13권12호
    • /
    • pp.2603-2608
    • /
    • 2009
  • 문서군집은 정보검색의 많은 응용분야에 사용되는 중요한 문서 분석 방법이다. 본 논문은 비음수 행렬 분해 (NMF, non-negative matrix factorization)를 군집방법과 군집의 응집도(coherence of cluster)를 이용한 군집 내 문서들의 정제를 이용한 새로운 문서군집방법을 제안한다. 제안된 방법은 문서집합의 내부구조를 나타내는 의미특징행렬과 의미변수행렬 이용하여 문서군집의 성능을 높일 수 있고, 문장들 간의 유사도에 기반 한 군집의 응집도를 이용하여 군집내의 문서들을 정제하여서 재 할당함으로써 군집의 효율을 향상시킬 수 있다. 실험결과 제안방법을 적용한 문서군집방법이 다른 문서군집 방법에 비하여 좋은 성능을 보인다.

동시링크를 이용한 웹 문서 클러스터링 실험 (Clustering of Web Document Exploiting with the Co-link in Hypertext)

  • 김영기;이원희;권혁철
    • 한국도서관정보학회지
    • /
    • 제34권2호
    • /
    • pp.233-253
    • /
    • 2003
  • 인간은 지식의 조직을 통해 세계를 이해한다. 정보검색분야에서 연구되고 있는 정보의 조직화에는 분류와 클러스터링이라는 두 가지 유형이 있다. 분류는 미리 정의된 범주에 각 항목을 배정하는 행위인 반면, 클러스터링은 유사하거나 관련된 항목을 집단화함으로써 정보를 조직한다. 인터넷 정보자원의 조직은 웹 문서에 출현하는 단어들에서 키워드를 추출하여 역파일을 작성함으로써 검색에 활용하는 것이 일반적인 방법이다. 그러나 키워드의 출현 위치나 단어빈도를 통한 문서유사도 기법은 사용된 언어가 다르거나 대부분이 앵커텍스트만으로 구성되어 있는 대문페이지처럼 적용하기 어려운 경우가 많다. 이 연구는 계량정보학적 분석 기법 중에서 동시인용 기법을 웹 문서의 하이퍼링크에 적용하여, 웹 문서의 클러스터링 가능성을 실험한다.

  • PDF

일관성 있는 문서분류 및 키워드 추출을 위한 말뭉치 구축도구 (A Corpus Construction System of Consistent Document Categorization and Keyword Extraction)

  • 정재철;박소영;장준호;길태숙
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2010년도 추계학술대회
    • /
    • pp.675-676
    • /
    • 2010
  • 최근에 웹 문서의 양이 빠르게 증가함에 따라 사용자가 원하는 정보를 검색하기 위한 효율적인 문서분류방법에 대한 연구가 요구되고 있다. 본 논문에서는 효율적인 문서분류 시스템 개발을 위한 자료수집 단계에서, 제시되는 각 문서에 대해 일관성 있는 문서범주 및 사용용도, 키워드 정보를 부착하기 위한 말뭉치구축 도구를 제안한다. 이 때 다른 사용자가 입력한 정보를 제시함으로써 자신의 것과 비교 및 수정할 수 있는 검증단계를 거쳐 일관성을 높인다. 또한 웹 환경에서 실행하여 말뭉치 구축자가 언제 어디서든지 편하게 말뭉치를 구축할 수 있다.

  • PDF

문서분류를 위한 의미적 주제선정방법 (Semantic Topic Selection Method of Document for Classification)

  • 고광섭;김판구;이창훈;황명권
    • 한국정보통신학회논문지
    • /
    • 제11권1호
    • /
    • pp.163-172
    • /
    • 2007
  • 웹은 전세계 규모의 네트워크로써 문자, 화상, 음성 등의 미디어 정보들을 페이지 단위로 관리되며, 링크를 이용하여 분산된 정보들을 연결하고 있다. 이러한 웹의 지속적인 발전으로 무수한 정보들을 축적하고 있으며, 그 중 텍스트로 구성된 문서들이 주를 이룬다. 사용자는 이렇게 많은 정보들 중에서 자신이 원하는 특정 정보를 찾기 위해 웹을 사용한다. 그래서 웹은 사용자 요구에 적합한 정보를 검색해 주기 위해 계속적인 시도와 많은 연구들로 발전되고 있다. 확률을 이용한 방법, 통계적인 기법을 이용한 방법, 벡터 유사도를 이용한 방법, 베이지안 자동문서 분류 방법 등 기존의 방법들은 문서의 의미적인 주제나 특징을 정확하게 처리 할 수 없어 사용자는 재검색을 해야 하는 문제점을 갖는다. 특히, 국내 문서 분류를 위한 연구는 많이 이루어지지 않아 검색에 더욱 어렵다. 이러한 문제점을 보완하기 위해 본 논문에서는 국내문서의 효율적이고 의미적인 분류를 위해 출현 개념의 TF(Term Frequency)와 주변 개념들과의 관계된 정도(RV : Relation Value)를 추출한다. 그리고 추출된 키워드들을 국내 어휘 사전인 U-WIN에 매핑하여 문서의 주제를 선택하고 본문에서 제 시하는 분류방법에 의해 웹 문서를 분류한다. 이는 문서 내 개념들의 관계를 이용하여 문서의 주제를 선정하고 문서의 의미적인 분류를 가능하게 한다.