• 제목/요약/키워드: 단어 불순도

검색결과 2건 처리시간 0.01초

문서의 불균등 분포를 고려한 단어 불순도 기반 특징 선택 방법 (An Enhanced Feature Selection Method Based on the Impurity of Words Considering Unbalanced Distribution of Documents)

  • 강진범;양재영;최중민
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제34권9호
    • /
    • pp.804-816
    • /
    • 2007
  • 기계 학습 과정에서 수집된 많은 정보들 중에는 학습하고자 하는 개념과 관련이 없거나 중복된 정보를 가진 경우가 많다. 또한 자료 자체에 오류가 있기도 하다. 이와 같이 학습 모델 생성을 위해 수집된 정보를 신뢰할 수 없다면, 학습 과정에서도 정확한 지식 습득이 어렵다. 그래서 기계 학습은 학습 과정에서 정확한 지식 습득을 위해 특징 선택 방법을 사용한다. 특징 선택은 학습할 클래스와 관련이 없거나 중복된 정보를 학습 모델 생성 이전에 제거함으로써 학습 알고리즘의 성능을 향상시킨다. 기존의 특징선택 방법들은 적절한 특징을 선택하기 위하여 문서가 균등하게 분포되어 있다고 가정한다. 하지만, 실제로는 그렇지 않으며, 문서의 수 또는 문서의 길이가 모두 동일한 학습 예제를 준비하는 것도 매우 어렵다. 본 논문에서는 보다 효율적으로 특징을 선택하기 위해 클래스 별 단어의 불순도와 문서의 불균등 분포를 고려한 특징 선택 방법을 제안한다. 클래스를 대표할 수 있는 특징 후보들을 단어의 불순도 측정을 통해 얻고, 문서의 불균등 분포를 고려하여 특징을 선택한다. 실험을 통해 보다 좋은 성능을 보임을 입증한다.

단어의 불순도를 고려한 특징 선택 방법 연구 (An Enhanced Feature Select ion Method using the Impurity of Words)

  • 강진범;양재영;최중민
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (2)
    • /
    • pp.679-681
    • /
    • 2005
  • 효과적인 문서 분류를 위해 학습 하고자 하는 클래스와 관련된 많은 특징들이 필요하다. 하지만 학습하고자 하는 개념과 관련이 없거나 중복된 정보가 수집된 정보 속에 존재한다. 학습 과정에서 정확한 지식 습득을 하기 위해 특징 선택 방법을 사용하였다. 본 논문에서는 클래스에 대한 단어의 불순도를 이용한 특징 선택 방법을 제안한다. 기존의 특징 선택 방법과 비교 분석하여 기존 특징 선택 방법의 문제점을 파악하고 개선된 기법을 보인다.

  • PDF