• 제목/요약/키워드: text categorization

검색결과 145건 처리시간 0.028초

행렬 전치를 이용한 효율적인 NaiveBayes 알고리즘 (An Efficient Algorithm for NaiveBayes with Matrix Transposition)

  • 이재문
    • 정보처리학회논문지B
    • /
    • 제11B권1호
    • /
    • pp.117-124
    • /
    • 2004
  • 본 논문은 NaiveBayes에서 정확도의 손실 없이 효율적으로 동작하는 NaiveBayes에 대한 새로운 알고리즘을 제안한다. 제안된 방법은 분류 벡터에 대한 행렬 전치를 사용하여 NaiveBayes의 확률 계산 량을 최소화하는 것이다. 제안된 방법을 문서 분류 프레임 인 AI::Categorizer 상에서 구현하였으며, 잘 알려진 로이터-21578 데이터를 사용하여 기존의 NaiveBayes 방법과 비교하였다. 성능 비교의 결과로부터 제안된 방법이 기존의 NaiveBayes 방법보다 실행 속도측면에서 약 2배 정도의 성능 개선 효과가 있음을 알 수 있었다. 수 있었다.

『두창경험방(痘瘡經驗方)』의 편집본과 그 활용에 대한 연구 (A Study on Compilations of 『Duchanggyeongheombang』 and its Practical Application)

  • 김상현
    • 대한한의학원전학회지
    • /
    • 제33권1호
    • /
    • pp.81-88
    • /
    • 2020
  • Objectives : To investigate how 『Duchanggyeongheombang』 has been adopted and edited in practical texts such as 『Gosachwalyo』, 『Sallimgyeongje』, 『Gosasinseo』. Methods : Based on the disassembled verses of a paragraph in the 『Duchanggyeongheombang』, the 「Duchanggyeongheombang」 contents in 『Gosachwalyo』, 『Sallimgyeongje』,『Gosasinseo』 were compared and examined. Results : 『Gosachwalyo』 directly summarized and quoted the contents of 『Duchanggyeongheombang』 written by Park, Jinhee, while the contents in 『Sallimgyeongje』 and 『Gosasinseo』 are mostly similar, summarizing and quoting from 『Gosachwalyo』. Conclusions : In the perspective of text categorization, while the professional and specialized contents of 『Duchanggyeongheombang』 has been excluded, it was edited in ways of increasing practicality. As these texts were widely dispersed to the public, we can conclude that 『Duchanggyeongheombang』 was very influential in the treatment of douchang(痘瘡, smallpox) among the public.

Fuzzy based Intelligent Expert Search for Knowledge Management Systems

  • Yang, Kun-Woo;Huh, Soon-Young
    • 지능정보연구
    • /
    • 제9권2호
    • /
    • pp.87-100
    • /
    • 2003
  • In managing organizational tacit knowledge, recent researches have shown that it is more applicable in many ways to provide expert search mechanisms in KMS to pinpoint experts in the organizations with searched expertise. In this paper, we propose an intelligent expert search framework to provide search capabilities for experts in similar or related fields according to the user′s information needs. In enabling intelligent expert searches, Fuzzy Abstraction Hierarchy (FAH) framework has been adopted, through which finding experts with similar or related expertise is possible according to the subject field hierarchy defined in the system. To improve FAH, a text categorization approach called Vector Space Model is utilized. To test applicability and practicality of the proposed framework, the prototype system, "Knowledge Portal for Researchers in Science and Technology" sponsored by the Ministry of Science and Technology (MOST) of Korea, was developed.

  • PDF

문서 범주화를 이용한 지식관리시스템에서의 전문가 분류 자동화 (Automation of Expert Classification in Knowledge Management Systems Using Text Categorization Technique)

  • 양근우;허순영
    • Asia pacific journal of information systems
    • /
    • 제14권2호
    • /
    • pp.115-130
    • /
    • 2004
  • This paper proposes how to build an expert profile database in KMS, which provides the information of expertise that each expert possesses in the organization. To manage tacit knowledge in a knowledge management system, recent researches in this field have shown that it is more applicable in many ways to provide expert search mechanisms in KMS to pinpoint experts in the organizations with searched expertise so that users can contact them for help. In this paper, we develop a framework to automate expert classification using a text categorization technique called Vector Space Model, through which an expert database composed of all the compiled profile information is built. This approach minimizes the maintenance cost of manual expert profiling while eliminating the possibility of incorrectness and obsolescence resulted from subjective manual processing. Also, we define the structure of expertise so that we can implement the expert classification framework to build an expert database in KMS. The developed prototype system, "Knowledge Portal for Researchers in Science and Technology," is introduced to show the applicability of the proposed framework.

Fuzzy-based Intelligent Expert Search for Knowledge Management Systems

  • Yang, Kun-woo;Huh, Soon-young
    • 한국산학기술학회:학술대회논문집
    • /
    • 한국산학기술학회 2003년도 Proceeding
    • /
    • pp.73-79
    • /
    • 2003
  • In managing organizational tacit knowledge, recent researches have shown that it is more applicable in many ways to provide expert search mechanisms in KMS to pinpoint experts in the organizations with searched expertise. In this paper, we propose an intelligent expert search framework to provide search capabilities for experts in similar or related fields according to the user's information needs. In enabling intelligent expert searches, Fuzzy Abstraction Hierarchy (FAH) framework has been adopted, through which finding experts with similar or related expertise is possible according to the subject field hierarchy defined in the system. To improve FAH, a text categorization approach called Vector Space Model is utilized. To test applicability and practicality of the proposed framework, the prototype system, "Knowledge Portal for Researchers in Science and Technology" sponsored by the Ministry of Science and Technology (MOST) of Korea, was developed.

  • PDF

문서분류에서 가상문서기법을 이용한 성능 향상 (Performance Improvement by a Virtual Documents Technique in Text Categorization)

  • 이경순;안동언
    • 정보처리학회논문지B
    • /
    • 제11B권4호
    • /
    • pp.501-508
    • /
    • 2004
  • 본 논문에서는 문서분류의 학습단계에 가상적합문서기법을 적용하여 성능을 향상시킬 수 있는 방법을 제안한다. 어떤 범주에 대해 적합하다고 판단된 두 개의 적합문서를 결합해서 생성된 문서 또한 적합문서가 된다는 관찰을 통해서, 문서분류기가 학습할 수 있는 새로운 정보를 추가함으로써 분류기의 학습을 돕는다. 제안하는 방법은 학습문서집합에 있는 적합문서들의 쌍을 조합해서 단순히 변환함으로써 가상의 문서를 생성한다. 이 방법에 의해서 생성된 가상 문서는 두 개의 적합문서에 같이 발생하는 어휘들에 대해서는 높은 가중치를 갖고, 문서 내의 어휘 공간이 확장되는 특성을 갖는다. 대량의 문서를 포함하는 TREC-11 필터링 태스크 참여에서 제안한 방법은 제공되는 학습문서를 이용한 기본 성능에 비해 71%의 성능 향상을 보였다. 또한 문서분류 연구에서 일반적으로 비교를 위해 이용하는 실험집합인 Routers-21578에서 학습집합의 적합문서 개수가 100개 이하인 범주에 대해서 기본 학습문서를 이용한 분류기에 비해 11%의 성능향상을 보였다. 가상문서를 계속 추가해 나가면서 성능의 변화를 분석한 결과, 가상문서의 추가는 문서분류기의 학습능력을 도와 성능이 꾸준히 향상되고 있음을 보였다.

문서범주화 성능 향상을 위한 의미기반 자질확장에 관한 연구 (A Semantic-Based Feature Expansion Approach for Improving the Effectiveness of Text Categorization by Using WordNet)

  • 정은경
    • 정보관리학회지
    • /
    • 제26권3호
    • /
    • pp.261-278
    • /
    • 2009
  • 기계학습 기반 문서범주화 기법에 있어서 최적의 자질을 구성하는 것이 성능향상에 있어서 중요하다. 본 연구는 학술지 수록 논문의 필수적 구성요소인 저자 제공 키워드와 논문제목을 대상으로 자질확장에 관한 실험을 수행하였다. 자질확장은 기본적으로 선정된 자질에 기반하여 WordNet과 같은 의미기반 사전 도구를 활용하는 것이 일반적이다. 본 연구는 키워드와 논문제목을 대상으로 WordNet 동의어 관계 용어를 활용하여 자질확장을 수행하였으며, 실험 결과 문서범주화 성능이 자질확장을 적용하지 않은 결과와 비교하여 월등히 향상됨을 보여주었다. 이러한 성능향상에 긍정적인 영향을 미치는 요소로 파악된 것은 정제된 자질 기반 및 분류어 기준의 동의어 자질확장이다. 이때 용어의 중의성 해소 적용과 비적용 모두 성능향상에 영향을 미친 것으로 파악되었다. 본 연구의 결과로 키워드와 논문제목을 활용한 분류어 기준 동의어 자질 확장은 문서 범주화 성능향상에 긍정적인 요소라는 것을 제시하였다.

효과적인 이미지 검색을 위한 태그 기반의 폭소노미 이미지 카테고리화 기법 (A Categorization Scheme of Tag-based Folksonomy Images for Efficient Image Retrieval)

  • 하은지;김용성;황인준
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권6호
    • /
    • pp.290-295
    • /
    • 2016
  • 최근 사용자들이 협동적으로 이미지 주석인 태그를 만들고 활용하는 폭소노미 기반의 이미지 공유 사이트들이 많은 인기를 얻고 있다. 이러한 사이트는 사용자 질의에 대해 단순한 텍스트 매칭 기반의 검색을 수행하고 매칭되는 결과 이미지들을 포토 스트림 형태로 나열하여 보여 준다. 하지만 이러한 태그들은 매우 개인적이고 주관적이며, 이미지 역시 카테고리로 분류되어 있지 않기 때문에 검색의 정확도나 사용자 만족도가 떨어진다는 문제점이 있다. 본 연구에서는 태그를 기반으로 하는 이미지 검색에서 검색의 정확도를 높일 수 있는 폭소노미 이미지의 카테고리화 기법을 제안하고, 폭소노미 환경에서 생성된 태그와 이미지 정보를 모두 이용하며 의미적으로 유사한 이미지들끼리 분류된 검색 결과를 생성한다. 제안하는 기법의 성능 평가를 위해 폭소노미 이미지를 수집하고 텍스트, 이미지 특성에 따른 카테고리 분류를 수행하여 기존 검색 기법과 이미지 검색의 정확도를 비교한다.

기계번역을 이용한 교차언어 문서 범주화의 분류 성능 분석 (Classification Performance Analysis of Cross-Language Text Categorization using Machine Translation)

  • 이용구
    • 한국문헌정보학회지
    • /
    • 제43권1호
    • /
    • pp.313-332
    • /
    • 2009
  • 교차언어 문서 범주화(CLTC)는 다른 언어로 된 학습집단을 이용하여 문헌을 자동 분류할 수 있다. 이 연구는 KTSET으로부터 CLTC에 적합한 실험문헌집단을 추출하고, 기계 번역기를 이용하여 가능한 여러 CLTC 방법의 분류 성능을 비교하였다. 분류기는 SVM 분류기를 이용하였다. 실험 결과, CLTC 중에 다국어 학습방법이 가장 좋은 분류 성능을 보였으며, 학습집단 번역방법, 검증집단 번역방법 순으로 분류 성능이 낮아졌다. 하지만 학습집단 번역방법이 기계번역 측면에서 효율적이며, 일반적인 환경에 쉽게 적용할 수 있고, 비교적 분류 성능이 좋아 CLTC 방법 중에서 가장 높은 이용 가능성을 보였다. 한편 CLTC에서 기계번역을 이용하였을 때 번역과정에서 발생하는 자질축소나 주제적 특성이 없는 자질로의 번역으로 인해 성능 저하를 가져왔다.

학습방법개선과 후처리 분석을 이용한 자동문서분류의 성능향상 방법 (Reinforcement Method for Automated Text Classification using Post-processing and Training with Definition Criteria)

  • 최윤정;박승수
    • 정보처리학회논문지B
    • /
    • 제12B권7호
    • /
    • pp.811-822
    • /
    • 2005
  • 자동문서분류는 문서의 내용에 기반하여 미리 정의된 항목에 자동으로 할당하는 작업으로서 효율적인 정보관리 및 검색등에 필수적인 작업이다. 기존의 문서분류성능 향상을 위한 연구들은 대부분 분류모델 자체를 개선시키는 데 주력해왔으며 통계적인 방법으로 그 범위가 제한되어왔다. 본 연구에서는 자동문서분류의 성능향상을 위해 데이터마이닝 기법과 결함허용방법을 이용하는 개선된 학습알고리즘과 후처 리 방법에 의한 RTPost 시스템을 제안한다. RTPost 시스템은 학습문서 선택작업 이전에 분류항목 설정의 문제를 다루며, 분류함수의 성능보다는 지정방식의 문제점을 감안하여 학습과 분류 후처리 프로세스를 개선하려는 것이다. 이를 통해 분류결과에 중요한 영향을 미쳐왔던 학습문서의 수와 선택방법, 분류모델의 성능등에 의존하지 않는 안정적인 분류가 가능하였고, 이를 분류오류율이 높은 경계선 인접영역에 위치한 문서들에 적용한 결과 높은 정확율을 얻을 수 있었다. 뿐만 아니라, RTPost 프로세스를 진행하는 동안 능동학습방법의 장점을 수용하여 학습효과는 높이며 비용을 감소시킬 수 있는 자가학습방법(self learning)방법의 효과를 기대할 수 있다.