• 제목/요약/키워드: 자질 선별

검색결과 20건 처리시간 0.026초

자질 중요도 계산 기법에 의한 자동문서 범주화 (Automatic Document Categorization by the Importance of Features)

  • 이경찬;강승식
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (B)
    • /
    • pp.537-539
    • /
    • 2003
  • 문서 범주화를 위해 자질을 선별하는 기법으로는 자질의 출현 빈도에 따라 범주를 대표하는 자질들을 선별하는 것이 일반적이다. 출현 빈도에 의한 자질을 선별하는 통계적인 기법은 문서의 내용을 대표하는 용어들의 중요도를 간과하는 문제가 발생한다. 본 논문에서는 학습 문서 및 실험 문서에서 자질의 중요도에 의해 범주 대표어를 선별하는 문서 범주화 기법을 제안하였으며, 역범주 빈도 및 카이제곱 통계량에 의해 자질을 선별하는 방법과 비교-실험을 하였다. 문서 범주화 모델로는 나이브 베이지언 확률 모델을 이용하였으며, 성능 평가를 위해서 웹 디렉토리에서 수집된 데이터를 이용하여 실험하였다. 본 논문에서 제안한 자질 중요도에 의한 자질 선별 기법은 용어의 출현 빈도 및 카이제곱 통계량에 의해 자질을 선별한 방법보다 더 나은 성능을 보였다.

  • PDF

사회적 이슈 리스크 유형 분류를 위한 어휘 자질 선별 (Linguistic Features Discrimination for Social Issue Risk Classification)

  • 오효정;윤보현;김찬영
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권11호
    • /
    • pp.541-548
    • /
    • 2016
  • 사용자의 다양한 의견을 수렴하고 모니터링하기 위한 정보원으로써 소셜미디어의 활용은 이미 필수가 되었다. 본 논문은 소셜미디어에 나타난 다양한 이슈 중 여론 형성에 악영향을 끼치는 부정적 사건을 이슈 '리스크'로 정의, 그 세부 유형을 자동으로 분류하는 모델을 개발하고자 한다. 이를 위해 소셜미디어에 나타난 다양한 어휘 자질을 선별, 그 효과를 규명하였다. 특히 리스크 문장의 어휘 구문 특징을 표현하기 위한 자질로 워드 임베딩 학습 결과를 활용한다. 개별 어휘 자질의 특징을 분석하기 위해 언어분석 오류를 보정한 환경에서 수행한 실험 결과, 가장 효과가 큰 자질은 개체명 자질로 분석되었으며, 기본 어휘 자질을 기반으로 주요 술부의 워드 임베딩 결과와 워드 클러스터 결과를 모두 조합한 경우가 최고 성능을 보이는 것으로 파악되었다. 실제 소셜빅데이터에 적용하는 환경과 유사하도록 자동 언어분석 결과의 오류를 포함한 조건에서 실험한 결과, 고빈도 평가셋에서는 92.08%의 성능을, 전체 58개 범주 평가셋에서는 85.84%의 성능을 얻었다.

시간자질을 이용한 다중 문서요약 (Multi-Document Summarization using Time Feature)

  • 임정민;강인수;배재학;이종혁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
    • /
    • pp.898-900
    • /
    • 2004
  • 시간에 중속적인 문서집합에서 사람이 만든 요약문은 시간에 따른 중요 내용의 분포를 보여준다. 본 논문은 다중 문서에 시간 자질을 이용한 문서의 분류와 시간별 문서집합에서 핵심문장과 부가문장을 선별하고, 문장간의 계층적인 클러스터링을 통해서 중요 문장을 선별하는 방법을 제안한다. 동일한 주제를 갖는 문서집합에서 사랑이 선택한 중요 문장에 대해서 제안한 방법은 50% 정확률을 나타냈다.

  • PDF

질의응답시스템을 위한 문서의 품질 평가 (Document Quality Evaluation for Question Answering System)

  • 이형규;김민정;신중휘;이정태;윤여찬;임해창
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2008년도 제20회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.177-182
    • /
    • 2008
  • 본 논문에서는 질의응답시스템에서 응답 추출 대상 문서로 사용할 적절한 문서를 찾는 방법으로 기계 학습 기반의 문서 품질 평가 기법을 사용한다. 본 논문에서는 기존 연구와 달리 객관적인 정보를 많이 포함하고 있는 문서를 선별하는 목적으로 문서 품질 평가를 위한 유용한 자질들을 제안한다. 본 논문에서 정의한 정보성 자질은 정보의 양을 측정하는 자질과 정보의 객관성을 측정하는 자질로 구성된다. 실험 결과, 기존 문서 품질 평가 연구에서 주로 사용된 자질들만 사용한 경우와 새로운 자질들을 추가한 경우를 비교하였을 때, 1.5배 정도 높은 평균 정확률을 보였다. 제안하는 자질들 중에는 정보성 자질이 매우 유용한 자질이었고, 가독성 자질은 비교적 낮은 성능을 보였다. 문서의 여과 실험 결과, 96.4%의 재현율을 유지하면서 전체 문서 집합 중, 60%에 해당하는 저품질 문서를 여과할 수 있었다.

  • PDF

자질별 관계 패턴의 다변화를 통한 온톨로지 확장 (Incremental Enrichment of Ontologies through Feature-based Pattern Variations)

  • 이신목;장두성;신지애
    • 정보처리학회논문지B
    • /
    • 제15B권4호
    • /
    • pp.365-374
    • /
    • 2008
  • 본 논문에서는 패턴의 다변화를 통하여 관계를 점진적으로 추출함으로써 온톨로지를 확장하는 모델을 제안한다. 패턴 다변화 과정에서 위키피디아로부터 추출한 관계 패턴 후보를 자질별로 다변화시킨다. 다변화된 패턴 후보로부터 말뭉치 빈도수에 따른 신뢰도를 이용하여 패턴을 선별한다. 선별된 패턴은 위키피디아로부터 관계를 추출하는 데 사용되며, 추출된 관계는 다시 관계 패턴 확장에 사용된다. 본 논문에서는 점진적 학습 과정에서의 패턴 다변화를 통하여 패턴 선택의 범위를 확장함으로써, 선택되는 패턴이 점진적으로 정제되는 모델을 제시한다. 이를 통하여, 관계의 확장성과 정확도를 향상시키고자 하였다. 단일 자질 패턴 모델에 대한 실험을 통하여, 어휘, 중심어, 상위어 정보는 신뢰도에, 품사, 구문 정보는 확장성에 유리하며, 구문 단위 유형별로 필요한 자질 유형이 다름을 관찰하였다. 이와 같은 특성에 기반하여 현재 연구 진행 중인복합 자질 패턴 모델을 제안한다.

효율적인 기계학습 자질 선별을 통한 한국어 운율구 경계 예측 모델의 성능 향상 (Performance Improvement of a Korean Prosodic Phrase Boundary Prediction Model using Efficient Feature Selection)

  • 김민호;권혁철
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제37권11호
    • /
    • pp.837-844
    • /
    • 2010
  • 운율구 경계 예측은 대화체 음성합성을 실현하기 위한 주요한 자연언어처리 기술 중 하나이다. 본 논문은 자연스러운 한국어 운율구 경계 예측을 실현하고자 기존의 학습 자질을 대신할 새로운 학습 자질을 제안한다. 이 새로운 자질들은 기존의 학습 자질보다 실제 언어생활에서 운율구 경계 발생에 영향을 미치는 여러 요인을 더 잘 반영한다. 특히, 수작업으로 구축한 운율구 경계 예측 규칙을 이용하여 추출한 학습 자질은 높은 정확도 향상에 이바지한다. 본 논문에서 제안한 새로운 학습 자질을 바탕으로 CRFs(Conditional Random Fields)를 이용하여 운율구 경계 예측 모델을 만들었다. 그 결과 3단계 운율구 경계(강한 경계, 약한 경계, 운율구 내부 비경계) 예측에서 86.63%의 정확도를, 6단계 운율구 경계(상승조/하강조 강한 경계, 상승조/하강조/평탄조 약한 경계, 운율구 내부 비경계) 예측에서는 81.14%의 정확도를 보였다.

블로그 포스트 자동 품질 평가를 위한 기계학습 기법 비교 연구 (A Comparison of Machine Learning Techniques for Evaluating the Quality of Blog Posts)

  • 한범준;김민정;이형규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 춘계학술발표대회
    • /
    • pp.385-388
    • /
    • 2010
  • 블로그는 다양한 주제 분야에 대한 내용을 자유롭게 표현할 수 있는 일종의 개인 웹사이트로, 많은 양과 다양성으로 매우 중요한 정보원이 될 수 있다. 블로그는 생산속도가 매우 빠르므로 보다 고품질의 블로그를 선별하는 것이 중요하다. 본 논문에서는 블로그의 본문을 담고 있는 포스트를 대상으로 기계학습 기법을 이용하여 문서의 품질을 자동으로 평가하고자 하였다. 학습을 위한 자질로는 모든 블로그에 공통적으로 적용할 수 있도록 형태소 분석에서 추출한 동사, 부사, 형용사의 내용어만을 선택하였다. 성능 비교를 위해 수작업으로 약 4,600개의 정답 집합을 구축하고, 적합한 기계학습 기법을 찾기 위해 다양한 학습 기법을 사용하여 비교 실험하였다. 실험 결과 Bagging 기법의 성능이 79% F-measure로 가장 좋음을 보여주었다. 한정된 자질을 사용했을 때와 정답 집합의 문서 수 비율이 불균등할 경우 단순함, 유연성, 효율성의 특징을 지닌 Bagging 기법이 적합할 것으로 보인다.

감성분석에서 순환신경망의 예측 설명 (Explaining predictions of Recurrent Neural Network in Sentiment Analysis)

  • 배장성;이창기
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.125-130
    • /
    • 2019
  • 최근 순환신경망은 여러 자연어처리 분야에서 좋은 성능을 보이고 있다. 하지만 순환신경망의 복잡한 네트워크 구조 때문에 순환신경망이 어떠한 근거로 예측 결과를 제시했는지 해석하기 어려운 문제점이 있다. 따라서, 순환신경망이 적용된 자연어처리 시스템이 도출한 결과의 타당성을 제공하고 자연어처리 시스템에 중요한 자질을 선별하기 위한 연구가 필요하다. 본 논문에서는 자연어처리 분야의 하나인 감성분석에서 순환신경망의 예측을 분석한다. 학습된 감성분석 시스템의 예측을 해석하기 위해 입력 자질에 대한 민감도 분석을 수행하고 이를 어텐션 메커니즘과 비교하고 그 결과에 대해 설명한다.

  • PDF

엑솜 염기서열 분석 방법을 이용한 단일유전자질환의 원인 유전자 발굴 (Exome Sequencing in Mendelian Disorders)

  • 이종극
    • Journal of Genetic Medicine
    • /
    • 제7권2호
    • /
    • pp.119-124
    • /
    • 2010
  • 약 7,000 여개의 단일유전자질환이 보고되어 있지만 보고된 질환의 절반도 아직 원인 유전자가 밝혀지지 못한 상황이다. 그리고 기존에 밝혀진 원인 유전자의 돌연변이형들은 대부분 단백질을 코딩하는 부위의 돌연변이에 의하여 발생하고 있어서 인간 유전체에서 단백질을 코딩하는 엑손 부위만을 선별적으로 분리하여 염기서열을 분석하는 엑솜 염기서열 분석 방법은 희귀한 유전질환의 신규 원인 유전자 발굴을 위한 매우 효과적인 유전 분석법이 될 것이다. 엑솜은 전체 유전체의 약 1.5% 정도를 차지하고 있어서 매우 경제적으로 분석이 가능하다. 그리고 엑솜 염기서열 분석 방법은 엑솜 부위를 선별하는 기술과 대용량 염기서열 분석기술로 수행된다. Freeman-Sheldon 증후군의 원인 유전자를 엑솜 염기서열 분석 방법으로 발굴한 이후로 단일유전자질환의 원인 유전자 발굴을 위한 표준 분석법으로 엑솜 염기서열 분석방법이 사용되고 있다. 향후에는 엑솜 염기서열 분석 방법이 다양한 복합질병의 유전분석에도 활용되어 개인 맞춤의학의 실현을 앞당기는데 크게 기여할 것으로 기대된다.

자동색인을 위한 학습기반 주요 단어(핵심어) 추출에 관한 연구 (Learning-based Automatic Keyphrase Indexing from Korean Scientific LIS Articles)

  • 김혜진;정유경
    • 한국정보관리학회:학술대회논문집
    • /
    • 한국정보관리학회 2017년도 제24회 학술대회 논문집
    • /
    • pp.15-18
    • /
    • 2017
  • 학술 데이터베이스를 통해 방대한 양의 텍스트 데이터에 대한 접근이 가능해지면서, 많은 데이터로부터 중요한 정보를 자동으로 추출하는 것에 대한 필요성 또한 증가하였다. 특히, 텍스트 데이터로부터 중요한 단어나 단어구를 선별하여 자동으로 추출하는 기법은 자료의 효과적인 관리와 정보검색 등 다양한 응용분야에 적용될 수 있는 핵심적인 기술임에도, 한글 텍스트를 대상으로 한 연구는 많이 이루어지지 않고 있다. 기존의 한글 텍스트를 대상으로 한 핵심어 또는 핵심어구 추출 연구들은 단어의 빈도나 동시출현 빈도, 이를 변형한 단어 가중치 등에 근거하여 핵심어(구)를 식별하는 수준에 그쳐있다. 이에 본 연구는 한글 학술논문의 초록으로부터 추출한 다양한 자질 요소들을 학습하여 핵심어(구)를 추출하는 모델을 제안하였고 그 성능을 평가하였다.

  • PDF