• 제목/요약/키워드: 문서 분류기

검색결과 192건 처리시간 0.029초

구문의미트리 비교기를 이용한 주관식 문항 채점 시스템에 대한 연구 (Research on Subjective-type Grading System Using Syntactic-Semantic Tree Comparator)

  • 강원석
    • 컴퓨터교육학회논문지
    • /
    • 제21권6호
    • /
    • pp.83-92
    • /
    • 2018
  • 주관식 문항은 깊이 있는 사고능력 평가와 고등정신능력 평가에 적합하나 채점하기가 쉽지 않다. 동일한 채점기준을 갖더라도 채점자에 따라 다른 채점결과를 가져올 수 있으므로 객관적인 자동 채점 시스템이 필요하다. 그렇지만 채점 시스템은 표현 언어인 한국어 분석과 비교의 문제가 걸려있다. 본 연구는 한국어의 구문 분석을 구현하고 결과인 구문분석 트리를 비교하는 비교기를 이용하여 주관식 문항을 채점하는 채점 시스템을 설계, 개발하였다. 이 시스템은 단어 중심의 채점 시스템과 구문의미트리 중심의 채점 시스템을 복합한 시스템으로 구문의미트리 비교기를 활용하였다. 본 시스템의 실험 결과 제안한 구문의미트리 중심의 채점 시스템과 복합 채점 시스템이 더 나은 결과를 가져옴을 알 수 있었다. 본 연구는 한국어 구문의미분석과 주관식 채점 영역에 활용할 수 있고 또한 문서 분류에도 활용할 수 있을 것이다.

감정점수의 전파를 통한 한국어 감정사전 생성 (Generating a Korean Sentiment Lexicon Through Sentiment Score Propagation)

  • 박호민;김창현;김재훈
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제9권2호
    • /
    • pp.53-60
    • /
    • 2020
  • 감정분석은 문서 또는 대화상에서 주어진 주제에 대한 태도와 의견을 이해하는 과정이다. 감정분석에는 다양한 접근법이 있다. 그 중 하나는 감정사전을 이용하는 사전 기반 접근법이다. 본 논문에서는 널리 알려진 영어 감정사전인 VADER를 활용하여 한국어 감정사전을 자동으로 생성하는 방법을 제안한다. 제안된 방법은 세 단계로 구성된다. 첫 번째 단계는 한영 병렬 말뭉치를 사용하여 한영 이중언어 사전을 제작한다. 제작된 이중언어 사전은 VADER 감정어와 한국어 형태소 쌍들의 집합이다. 두 번째 단계는 그 이중언어 사전을 사용하여 한영 단어 그래프를 생성한다. 세 번째 단계는 생성된 단어 그래프 상에서 레이블 전파 알고리즘을 실행하여 새로운 감정사전을 구축한다. 이와 같은 과정으로 생성된 한국어 감정사전을 유용성을 보이려고 몇 가지 실험을 수행하였다. 본 논문에서 생성된 감정사전을 이용한 감정 분류기가 기존의 기계학습 기반 감정분류기보다 좋은 성능을 보였다. 앞으로 본 논문에서 제안된 방법을 적용하여 여러 언어의 감정사전을 생성하려고 한다.

SVM 기계학습을 이용한 웹문서의 자동 의미 태깅 (Automatic semantic annotation of web documents by SVM machine learning)

  • 황운호;강신재
    • 한국산업정보학회논문지
    • /
    • 제12권2호
    • /
    • pp.49-59
    • /
    • 2007
  • 본 논문은 시맨틱 웹의 실현을 위해서는 필수적인 작업인 웹문서의 의미를 자동으로 태깅할 수 있는 시스템에 관한 것이다. 웹상의 방대한 자원을 일일이 사람이 수작업으로 의미를 태깅한다는 것은 사실상 불가능하기 때문에 한국어 웹문서를 대상으로 대량의 학습 데이터를 수집하고 자연어처리 기법과 시소러스를 이용하여 특징을 추출한 후 SVM 기계학습을 통하여 개념분류기를 구축하였다. 한국어의 특징을 파악하여 의미 태깅에 필요한 특징 정보를 추출하기 위해서 형태소 분석과 구문 분석을 하였다. 추출된 특징정보는 가도카와 시소러스의 의미코드를 이용하여 학습벡터로 구성되는데, 이는 유사한 단어나 구를 하나의 개념코드로 매핑하여 시스템의 재현율을 높이는 역할을 하게 된다. 실험결과 자동 의미 태깅 분야에서 본 접근방법의 가능성을 확인할 수 있었다.

  • PDF

기계학습 기반의 웹 이미지 분류 (A Machine Learning Approach to Web Image Classification)

  • 조수선;이동우;한동원;황치정
    • 정보처리학회논문지B
    • /
    • 제9B권6호
    • /
    • pp.759-764
    • /
    • 2002
  • HTML 페이지로 대표되는 웹 문서에서 이미지는 매우 큰 비중을 차지하고 있지만 이에 대한 분석 및 이해에 관한 연구는 활발하게 진행되지 못하고 있다. 여러 가지 웹 이미지들은 중요한 정보를 전달하기도 하지만 그렇지 않은 것들도 있다. 본 논문에서는 현재 서비스중인 인터넷 사이트의 웹 이미지들을 수집하여 기계학습(machine learning)에 기반한 분류(classification)론 통해 제거 가능한 이미지와 제거 불가능한 이미지의 두가지 클래스로 분석해 본다. 이를 위해 16개의 독특하고 풍부한 웹 이미지 특징들을 발굴하고 베이지안 기법과 결정 트리 기법을 사용하여 실험하였다. 그 결과 각각의 기법에서 87.09%, 82.72%의 F-measure 값을 얻었으며 특히, 특징 그룹의 비교 실험을 통해 본 연구에서 추가한 특징들이 매우 유용한 것임을 입증하였다.

어휘적 중의성 제거 규칙과 부분 문장 분석을 이용한 한국어 문법 검사기 성능 향상 (Improvement of Korean Grammar Checker Using Partial Parsing based on Dependency Grammar and Disambiguation Rules)

  • 소길자;남현숙;김수남;원상연;권혁철;박동인
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1998년도 제10회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.253-260
    • /
    • 1998
  • 한국어 문서에는 여러 어절을 검증해야만 처리할 수 있는 의미 오류와 문체 오류가 있다. 다수 어절 사이에 있는 오류는 부분 문장 분석을 한다. 논문에서는 의미 오류와 문체 오류를 처리할 때 어휘적 중의성 때문에 생기는 문제점을 제시하고 해결방법을 제안한다. 어휘적 중의성이란 한 단어가 두 가지 이상의 형태소 정보를 가짐을 뜻한다. 철자검사기와는 달리 문법 검사기에서는 어휘적 중의성을 제거하지 않으면 여러 가지 검사 오류가 발생한다. 이 논문에서는 의미, 문체 시스템에서 어휘적 중의성 때문에 검사 오류가 발생할 수 있는 과정을 크게 세 단계로 분류하였다. 연어 오류가 발생할 수 있는 검사단어가 어휘적 중의성을 가지면 표제어가 다른 규칙이 여러 개 존재한다. 이 때 규칙 선택 문제가 생긴다. 중의성 문제는 부분 문장분석 과정에서도 지배소와 의존소 사이의 의존관계를 정확하게 설정하기 어렵게 한다. 본 논문에서는 각 단계에서 발생한 문제를 최소화하여 문법 검사기의 성능을 향상시킨다.

  • PDF

다양한 크기 및 활자체를 갖는 인쇄체 한글 영상의 문서화에 관한 연구 (A Study on Documentization of Printed Hangul Image with Multi-size and Multi-style)

  • 김장욱;김경숙;손영선
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2001년도 추계학술대회 학술발표 논문집
    • /
    • pp.295-298
    • /
    • 2001
  • 본 논문에서는 CCD카메라로 입력 받은 다중 크기 및 활자체로 구성된 한글문서의 화상 데이터를 편집기에서 수정 가능한 문자로 변환시키는 시스템을 구현하였다. 먼저 Dynamic 이 진화 처리 과정을 거친 화상을 흑백 화소의 누적분포에 따라 문자단위로 분할한 후, 다양한 크기로 분할된 문자를 표준패턴 크기로 표준화 시켰다. 한글을 자소 간 공백 위치의 특징에 따라서 6가지 유형으로 분류한 후, 퍼지 이론을 접목시킨 원형 패턴 벡터 알고리즘을 사용해서 표준벡터와 입력된 글자의 특징벡터를 비교하여 문자로 인식하게 하였다. 각 6가지 유형에서 서로 다른 자소로 결합된 문자들을 30개 선정하여 여러 가지 활자체 및 크기에 적용해 본 결과, 모두 문서화가 가능함을 알 수 있었다.

  • PDF

구문 패턴과 키워드 집합을 이용한 통계적 자동 문서 분류의 성능 향상 (Improving the Performance of Statistical Automatic Text Categorization by using Phrasal Patterns and Keyword Sets)

  • 한정기;박민규;조광제;김준태
    • 한국정보처리학회논문지
    • /
    • 제7권4호
    • /
    • pp.1150-1159
    • /
    • 2000
  • This paper presents an automatic text categorization model that improves the accuracy by combining statistical and knowledge-based categorization methods. In our model we apply knowledge-based method first, and then apply statistical method on the text which are not categorized by knowledge-based method. By using this combined method, we can improve the accuracy of categorization while categorize all the texts without failure. For statistical categorization, the vector model with Inverted Category Frequency (ICF) weighting is used. For knowledge-based categorization, Phrasal Patterns and Keyword Sets are introduced to represent sentence patterns, and then pattern matching is performed. Experimental results on new articles show that the accuracy of categorization can be improved by combining the tow different categorization methods.

  • PDF

벤처통신산업에서의 품질시스템 구축방안 (Quality System for Venture Telecommunication Business)

  • 최성운;김경근
    • 대한안전경영과학회:학술대회논문집
    • /
    • 대한안전경영과학회 2000년도 추계학술발표논문집
    • /
    • pp.235-242
    • /
    • 2000
  • 우리나라 경제 구조는 대부분의 수익이 반도체등 몇 가지 제품에 한정되어 있으며 이들 제품들은 이미 성숙기에 접어들고 있어 성장성을 기대하기 어려운 실정이다. 따라서 다양화하는 시장 수요에 대응하고, 첨단 기술을 개발하기 위해서는 창조성과 시장 변화에 유연한 벤처 비즈니스가 요구된다. 본 연구에서는 벤처비지니스중 통신산업분야의 품질시스템에 대하여 W사 사례연구를 통한 효율적이고 효과적인 구축방안을 제안하고자 한다. W사 ISO9001 품질시스템 요건 및 업무분장에 따른 문서와 기록을 기초로 CSU, ADSL, 광전송장비, HDSL, FDSU, T3 DSU등의 첨단 통신제품들을 품질시스템 유형별로 자체생산제품, 제휴판매제품, 도입판매제품으로 분류하고, 제품 특성별로 비교 분석하여 제품별 유연한 품질시스템 구축방안을 제시하고자 한다.

  • PDF

Word2Vec 기반의 의미적 유사도를 고려한 웹사이트 키워드 선택 기법 (Web Site Keyword Selection Method by Considering Semantic Similarity Based on Word2Vec)

  • 이동훈;김관호
    • 한국전자거래학회지
    • /
    • 제23권2호
    • /
    • pp.83-96
    • /
    • 2018
  • 문서를 대표하는 키워드를 추출하는 것은 문서의 정보를 빠르게 전달할 수 있을 뿐만 아니라 문서의 검색, 분류, 추천시스템 등의 자동화서비스에 유용하게 사용 될 수 있어 매우 중요하다. 그러나 웹사이트 문서에서 출현하는 단어의 빈도수, 단어의 동시출현관계를 통한 그래프 알고리즘 등의 기반으로 키워드를 추출할 경우 웹페이지 구조상 잠재적으로 주제와 관련이 없는 다양한 단어를 포함하고 있는 문제점과 한국어 형태소 분석의 정확성이 떨어지는 형태소 분석기 성능의 한계점 때문에 의미적인 키워드를 추출하는데 어려움이 존재한다. 따라서 본 논문에서는 의미적 단어 위주로 구축된 후보키워드들의 집합과 의미적 유사도 기반의 후보 키워드를 선택하는 방법으로써 의미적 키워드를 추출하지 못하는 문제점과 형태소 분석의 정확성이 떨어지는 문제점을 해결하고 일관성 없는 키워드를 제거하는 필터링 과정을 통해 최종 의미적 키워드를 추출하는 기법을 제안한다. 실 중소기업 웹페이지를 통한 실험 결과, 본 연구에서 제안한 기법의 성능이 통계적 유사도 기반의 키워드 선택기법보다 34.52% 향상된 것을 확인하였다. 따라서 단어 간의 의미적 유사성을 고려하고 일관성 없는 키워드를 제거함으로써 문서에서 키워드를 추출하는 성능을 향상시켰음을 확인하였다.

Gabor 특징과 웨이브렛 영역의 BDIP와 BVLC 특징을 이용한 질감 특징 기반 언어 인식 (Texture Feature-Based Language Identification Using Gabor Feature and Wavelet-Domain BDIP and BVLC Features)

  • 장익훈;이우신;김남철
    • 대한전자공학회논문지SP
    • /
    • 제48권4호
    • /
    • pp.76-85
    • /
    • 2011
  • 본 논문에서는 Gabor 특징과 웨이브렛 영역의 BDIP와 BVLC 특징을 이용한 질감 특징 기반 언어 인식 방법을 제안한다. 제안된 방법에서는 먼저 시험 영상에 Gabor 변환과 웨이브렛 변환을 적용한다. 웨이브렛 영역의 상세 대역에는 Donoho의 연역치화를 적용하여 잡음을 제거한다. 이어서 Gabor 영상에는 크기 연산자를 적용하고 웨이브렛 부대역에는 BDIP와 BVLC 연산자를 적용한다. 그런 다음 Gabor 크기 영상과 BDIP, BVLC 부대역에 대하여 통계치를 계산하여 그 결과들을 벡터화하고 융합하여 특징 벡터로 사용한다. 분류 단계에서는 얼굴 인식에 주로 사용되는 WPCA를 분류기로 하여 시험 특징 벡터와 가장 유사한 학습 특징 벡터를 찾는다. 실험 결과 제안된 방법은 실험 문서 영상 DB에 대하여 비교적 낮은 특징 벡터 차원으로 매우 우수한 언어 인식 성능을 보여준다.