• 제목/요약/키워드: 범주자질

검색결과 93건 처리시간 0.021초

자질 중요도 계산 기법에 의한 자동문서 범주화 (Automatic Document Categorization by the Importance of Features)

  • 이경찬;강승식
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (B)
    • /
    • pp.537-539
    • /
    • 2003
  • 문서 범주화를 위해 자질을 선별하는 기법으로는 자질의 출현 빈도에 따라 범주를 대표하는 자질들을 선별하는 것이 일반적이다. 출현 빈도에 의한 자질을 선별하는 통계적인 기법은 문서의 내용을 대표하는 용어들의 중요도를 간과하는 문제가 발생한다. 본 논문에서는 학습 문서 및 실험 문서에서 자질의 중요도에 의해 범주 대표어를 선별하는 문서 범주화 기법을 제안하였으며, 역범주 빈도 및 카이제곱 통계량에 의해 자질을 선별하는 방법과 비교-실험을 하였다. 문서 범주화 모델로는 나이브 베이지언 확률 모델을 이용하였으며, 성능 평가를 위해서 웹 디렉토리에서 수집된 데이터를 이용하여 실험하였다. 본 논문에서 제안한 자질 중요도에 의한 자질 선별 기법은 용어의 출현 빈도 및 카이제곱 통계량에 의해 자질을 선별한 방법보다 더 나은 성능을 보였다.

  • PDF

자질의 범주 모호성 해소를 위한 Naive Bayes 분류기 설계 (A Naive Bayes Classifier for Category Disambiguation of Features)

  • 유현숙;정영미
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
    • /
    • pp.364-366
    • /
    • 2001
  • 문서 범주화는 전자 정보환경에서 매우 유용한 정보처리 도구로서, 다양한 문서 범주화 기법 및 성능향상을 위한 연구들이 지속적으로 이루어지고 있다. 그러나, 대부분의 연구들은 문서 범주화의 대상이 되는 단어 자질 공간의 차원축소 문제에만 집중되었을 뿐, 학습단계에 큰 영향을 미치는 다범주 단어 자질의 범주 모호성은 고려하지 않았다. 본 연구에서는, 다범주 자질의 범주 모호성을 해소함으로써 문서 범주화의 성능향상을 유도하는 범주 모호성 해소 가중치 W를 제시하고 이를 실험을 통해 증명하였다. 실험에서는 Naive Bayes 분류기와 가중치 W를 적용한 Naive Bayes-W 분류기를 직접 구축하여 문서 범주화의 성능향상 여부를 비교하는데 사용하였다. 도출된 실험결과를 통해, 가중치 W는 현재의 분류기가 가지고 있는 자질 표현의 범주 모호성이라는 단점을 보완하고 분류기의 성능향상을 유도함으로써 정보검색시스템의 검색효율을 높이는 데 활용될 수 있음일 증명되었다.

  • PDF

한국어 명사의 내재적/외재적 의미특징 연구: 곡식, 과일, 채소 범주를 중심으로 (A Study of Intrinsic and Extrinsic Semantic Features of Korean Nouns: Focusing on the Categories of Grains, Fruits and Vegetables)

  • 정영철;이정모
    • 인지과학
    • /
    • 제15권1호
    • /
    • pp.43-67
    • /
    • 2004
  • 본 연구는 곡식, 과일, 채소의 범주에 속하는 39개 한국어 명사의 의미자질을 질적 연구방법론의 관점에서 분석하였다. 대학생을 대상으로 한 설문조사에서, 연구 대상자들에게 각 어휘항목과 연상되는 의미자질을 열거하도록 하였다. 설문자료를 귀납적으로 분석한 결과, 과일의 범주에 속하는 본보기들의 개념형성은 외재적 의미자질보다 내재적 의미자질에 의해 압도적인 영향을 받았고. 곡식과 채소범주에 속하는 본보기들은 내재적 의미자질보다는 외재적 의미자질이 더욱 중요하게 그들의 개념형성에 영향을 미쳤다. 내재적 의미자질은 지시대상 자체에 내재하는 보편적인 의미자질을 말하며, 외재적 의미자질은 특정한 상황에서의 대상과 관련된 개인적 경험이나 다른 대상과의 관계 속에서 형성되어지는 의미자질을 말한다. 하지만, 본 연구는 부록의 도표에서 나타나는 바와 같이, 한 종류의 의미자질(즉, 내재적 혹은 외재적 의미자질)이 전적으로 각 범주 본보기들의 개념을 형성하고 있지 않음을 보여준다. 과일범주 어휘의 개념에서 내재적 의미자질이 매우 두드러졌고 곡식과 채소 범주의 어휘 개념에서는 외재적 의미 자질이 두드려졌지만, 그 두 가지 종류의 의미자질들이 각 어휘의 개념형성에 일정부분씩 기여하는 것으로 드러났다.

  • PDF

자질값투표 기법과 문서측 자질 선정을 이용한 고속 문서 분류기 (A Fast Text Classifier with feature Value Voting and Document-Side Feature Selection)

  • 이재윤
    • 한국정보관리학회:학술대회논문집
    • /
    • 한국정보관리학회 2005년도 제12회 학술대회 논문집
    • /
    • pp.71-78
    • /
    • 2005
  • 빠르면서도 정확한 문서 자동분류를 위해서 자질값투표 기법과 문서측 자질선정 방식의 결합을 제안하였다. 자질값은 미리 학습된 분류자질과 분류범주간의 연관성을 뜻하는 것으로서, 자질값투표 기법은 분류대상 문서에 나타난 자질들의 자질값을 후보범주마다 합산하여 가장 높은 범주로 분류하는 것이다. 문서측 자질선정은 일반적인 분류자질선정과 달리 학습집단이 아닌 분류대상 문서의 자질 중 일부만을 선택하여 분류에 이용하는 방식이다. 이들을 결합하여 사용한 결과 실험환경에서는 나이브베이즈 분류기만큼 간단하고 빠르면서 SVM 분류기보다 좋은 성능을 보였다.

  • PDF

One-class 문서 분류를 위한 긍정 자질과 부정 자질의 결합 (Combining Positive and Negative Features for One-Class Document Classification)

  • 송호진;강인수;나승훈;이종혁
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2005년도 제17회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.35-42
    • /
    • 2005
  • 문서 분류에서의 one class 분류 문제는 오직 하나의 범주를 생성하고 새로운 문서가 주어졌을 때 그 문서가 미리 만들어진 하나의 범주에 속하는가를 판별하는 문제이다. 기존의 여러 범주로 이루어진 분류 문제를 해결할 때와는 달리 one class 분류에서는 학습 시에 관심의 대상이 되는 하나의 범주와 관련이 있는 문서들만을 사용하여 학습을 수행하기 때문에 범주의 경계를 정하는 것은 매우 어려운 작업이다. 이에 본 논문에서는 기존의 연구에서 one class 분류 문제를 해결할 때 관심의 대상이 되는 예제의 일부를 부정 예제로 간주하여 one class 문제를 two class 문제로 변환하고 추가적으로 새로운 가상 부정 예제를 설정하여 학습을 수행하였던 방법에서 더 나아가 범주화를 위한 적절한 부정자질을 선택하고 이를 긍정자질과 함께 사용하여 학습을 수행한 후 SVM을 통하여 범주화 성능을 학인 해 보기로 한다.

  • PDF

SVM을 이용한 한글문서 범주화 실험 (Categorization of Korean documents using Support Vector Machines)

  • 최성환;임혜영;정영미
    • 한국정보관리학회:학술대회논문집
    • /
    • 한국정보관리학회 2000년도 제7회 학술대회 논문집
    • /
    • pp.29-32
    • /
    • 2000
  • 자동문서 범주화에 이용되는 학습분류기 중에서 SVM은 자질 차원을 축소하지 않고도 좋은 성능을 보이고 있다. 본 실험에서는 KTSET 텍스트 컬렉션을 대상으로 두 개의 SVM 분류기를 이용하여 자질축소 및 자질표현에 따른 성능비교 실험을 하였다. 자질축소를 위하여 $\chi$$^2$통계량을 자질선정기준으로 사용하였으며, 자질값으로는 단어빈도 및 문헌빈도의 두 요소로 구성되는 다양한 가중치를 사용하였다. 실험결과 SVM은 자질축소에 큰 영향을 받지 않고 가중치 유형에 따라 성능의 차이를 보였다.

  • PDF

Anchor Text의 단어 정보를 이용한 자동 문서 범주화 (Automatic Text Categorization Using Term Information of Anchor Text)

  • 허희근;한기덕;정성원;임성신;권혁철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 춘계학술발표대회
    • /
    • pp.665-668
    • /
    • 2004
  • 최근의 웹 문서는 텍스트뿐만 아니라 이미지, 사운드 등 다른 여러 형태로 표현되고 있어서 텍스트의 비중이 낮아지고 있다. 그래서 문서 내에서 일정량 이상의 단어 추출이 어려운 문서들에 대해서 기존의 단어 정보만을 이용한 문서 범주화 방법은 좋은 성능을 기대할 수 없다. 그래서 본 논문은 Anchor Text 단어 정보의 자질 적합성 판단에 의한 새로운 자동 문서 범주화 모델을 제안한다. 문서 범주화 모델로는 베이지언 확률 모델을 이용하였으며, 카이제곱 통계량을 사용하여 자질을 선정하였다. 문서 내에서 추출된 단어 자질들이 해당 문서를 판단하는데 부족하다고 판단되면 문서의 링크정보를 이용하여 연결된 문서의 단어 자질과 Anchor Text의 단어 자질을 반영함으로써 성능을 향상시킨다.

  • PDF

감정자질과 커널모델을 이용한 영화평 평점 예측 시스템 (A Rating System on Movie Reviews using the Emotion Feature and Kernel Model)

  • 허향란;정형일;서정연
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2011년도 제23회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.37-41
    • /
    • 2011
  • 본 논문에서는 최근 많은 관심을 받고 있는 Opinion Mining으로서 사용자들의 자연어 형태의 영화평 문장을 분석하여 자동으로 평점을 예측하는 시스템을 제안한다. 제안 시스템은 영화평 분석에 적합한 어휘 자질, 감정 자질, 가치 자질 및 기타 자질들을 추출하고, 10점 척도의 영화평의 평점을 10개의 범주로 가정하여, 커널모델인 다중 범주 Support Vector Machine (SVM) 모델을 이용하여 높은 성능으로 영화평의 평점을 범주 분류한다.

  • PDF

시간부사 '증경(曾經)', '이경(已經)' 시상(時相) 자질 중한 대조분석 (Time Adverb 'Cengjing (曾經)' and 'Yijing (已經) Tense and Aspect of the Comparative Analysis of the Characteristics of China and South Korea)

  • 한경숙
    • 비교문화연구
    • /
    • 제42권
    • /
    • pp.451-474
    • /
    • 2016
  • 본고는 현대중국어 시간부사 '증경(曾經)'과 '이경(已經)'의 관련 통사구조와 이에 상응하는 한국어 통사구조에 대한 고찰을 통하여 관련 구조 의미소 '시상(時相)(tense and aspect)' 특징을 분석하였고 두 부사의 차이점을 찾아보았다. 아울러 중한 두 언어에서 이들이 나타내는 자질의 같은 점과 다른 점을 찾아냈고 이를 통하여 분석의 타당성(Descriptive adequacy)을 확보하고 나아가 설명적 타당성(Explanatory adequacy)으로 이끌어 내고자 하였다. '증경(曾經)'은 상 범주의 하위 범주인 '과거경험상', '성사상', '과거지속상' 등 자질을 갖고 있고 시제 범주의 하위 범주인 '과저시제' '과거경험상' 등 자질을 겸하고 있기도 하다. 한국어의 '_었(았)_', '_었었_', '_적이 있_'과 대응관계를 이루고 있다. '증경(曾經)'은 하나의 통사구조에서 상과 시제 두 가지 자질을 갖고 있다. '이경(已經)'은 '완료상'과 완료상의 하위 범주인 '과거경험상', 그리고 미완료상의 하위범주인 '과거지속상' 등 자질을 갖고 있고 시제 범주의 하위 범주인 '과거시제', '현재시제', '미래시제' 등 시제 자질도 갖고 있으며 '상태의 변화' 자질도 갖고 있다. 한국어의 '_었(았)_', '_고_', '_었었_', '곧' 등과 대응관계를 이루고 있다. '증경(曾經)'과 동태조사 '과(過)'를 비교하자면 '증경(曾經)'은 상 범주와 시제 범주를 겸하고 있다지만 '과(過)'는 그 수식 범위가 술어밖에 없기에 상적 특징만 갖고 있다. 그리고 심층구조에서 '증경(曾經)'은 술어의 앞에서 술어를 포함한 술어 뒤에 출현한 조사, 목적어, 보어 모두와 통어 관계를 갖고 있지만, '과(過)'는 그 앞의 술어만 수식한다. '이경(已經)'이 '진행상' 자질을 가진 부사 '재(在)'를 수식할 수 있지만, '증경(曾經)'은 불가능하다. 중국어와 한국어 두 언어는 이렇게 시간 표현에서 많은 차이를 보이고 있다. 중국어의 '과거경험상', '성사상', '과거지속상' 등 상 자질과 '과거시제' 자질을 갖고 있는 시간부사 '증경(曾經)', 그리고 '과거경험상', '과거지속상' 등 상 자질 그리고 '과거시제', '현재시제', '미래시제' 등 시제 자질을 갖고 있는 시간부사 '이경(已經)' 등이 한국어에서는 '완료상', '지속상' 자질과 '과거시제' 자질로 대응된다는 것을 알 수 있다. 그만큼 중국어와 한국어 두 언어의 시간 체계는 서로 많은 차이를 보이고 있다. 이는 한중 두 나라 사람들의 사유 방식의 차이와 문화적인 차이에서 비롯됐을 것으로 사료된다.

유사어 사전을 이용한 자동범주화 모델 개발 (Automatic Text Categorization Model by Synonym Dictionary)

  • 김규환;이두영
    • 한국정보관리학회:학술대회논문집
    • /
    • 한국정보관리학회 2004년도 제11회 학술대회 논문집
    • /
    • pp.167-172
    • /
    • 2004
  • 기존의 문서분류는 학습문서에 출현하는 자질에 대해 가중치를 계산하여 그 순위에 따라 상위 자질로 구성된 지식베이스를 사용하였다. 그리고 새로운 문서가 들어왔을 때 자질 지식베이스를 근거로 새 문서를 색인하였다. 결국 자질 지식베이스와 정확히 일치하지 않는 키워드는 색인대상에서 제외되는 문제가 있었다. 본 고에서는 이 문제를 해결하기 위하여 분류될 문서의 특징을 나타내는 범주별 자질과 유사한의미를 가지나 형태가 변형되어 기술된 단어에 대하여 유사어 사전을 구축하였으며 이를 통해 새로운 문서가 범주에 할당될 가능성을 높여 자동 문서 범주화 시스템의 성능을 향상시키고자 한다.

  • PDF