• 제목/요약/키워드: 자질 집합

검색결과 65건 처리시간 0.028초

인터넷 문서 자동 분류 시스템 개발에 관한 연구 (A Study on Development of Automatic Categorization System for Internet Documents)

  • 한광록;선복근;한상태;임기욱
    • 한국정보처리학회논문지
    • /
    • 제7권9호
    • /
    • pp.2867-2875
    • /
    • 2000
  • 본 논문은 인터넷 문서 자동 분류 시스템의 구현에 대하여 논한다. 문서 자동분류 알고리즘을 설정하고, 역전파 학습 모델을 이용하여 문서의 범주화를 수행하는 시스템을 구축한다. 문서학습을 위해서 범주별 인터넷 문서들을 수집하고 수집한 문서에 대하여 카이제곱($\chi^2$)검정을 수행함으로써 범주화 자질을 추출한다. 이 범주화 자질을 바탕으로 하여 학습 및 분류 벡터 집합을 생성한다. 실험 결과의 평가로부터 본 논문에서 구현한 시스템이 유사도 계산을 이용한 문서의 분류 시스템보다 성능이 향상된 것을 알 수 있었다.

  • PDF

기술용어 분산표현을 활용한 특허문헌 분류에 관한 연구 (A Study on Patent Literature Classification Using Distributed Representation of Technical Terms)

  • 최윤수;최성필
    • 한국문헌정보학회지
    • /
    • 제53권2호
    • /
    • pp.179-199
    • /
    • 2019
  • 본 연구의 목적은 특허 문헌 분류에 가장 적합한 방법론을 발견하기 위하여 다양한 자질 추출 방법과 기계학습 및 딥러닝 모델을 살펴보고 실험을 통해 최적의 성능을 제공하는 방법론을 분석하는데 있다. 자질 추출 방법으로는 전통적인 BoW 방법과 분산표현 방식인 워드 임베딩 벡터를 비교 실험하고, 문헌 집합 구축 방식으로는 형태소 분석과 멀티그램을 이용하는 방식을 비교 검토하였다. 또한 전통적인 기계학습 모델과 딥러닝 모델을 이용하여 분류 성능을 검증하였다. 실험 결과, 분산표현 방법과 형태소 분석을 이용한 자질추출 방법을 기반으로 딥러닝 모델을 적용하였을 경우에 분류 성능이 가장 우수한 것으로 판명되었으며 섹션, 클래스, 서브클래스 분류 실험에서 전통적인 기계학습 방법에 비해 각각 5.71%, 18.84%, 21.53% 우수한 분류 성능을 보여주었다.

선택적 자질 차원 축소를 이용한 최적의 지도적 LSA 방법 (Optimal supervised LSA method using selective feature dimension reduction)

  • 김정호;김명규;차명훈;인주호;채수환
    • 감성과학
    • /
    • 제13권1호
    • /
    • pp.47-60
    • /
    • 2010
  • 기존 웹 페이지 자동분류 연구는 일반적으로 학습 기반인 kNN(k-Nearest Neighbor), SVM(Support Vector Machine)과 통계 기반인 Bayesian classifier, NNA(Neural Network Algorithm)등 여러 종류의 분류작업에서 입증된 분류 기법을 사용하여 웹 페이지를 분류하였다. 하지만 인터넷 상의 방대한 양의 웹 페이지와 각 페이지로부터 나오는 많은 양의 자질들을 처리하기에는 공간적, 시간적 문제에 직면하게 된다. 그리고 분류 대상을 표현하기 위해 흔히 사용하는 단일(uni-gram) 자질 기반에서는 자질들 간의 관계 분석을 통해 자질에 정확한 의미를 부여하기 힘들다. 특히 본 논문의 분류 대상인 한글 웹 페이지의 자질인 한글 단어는 중의적인 의미를 가지는 경우가 많기 때문에 이러한 중의성이 분류 작업에 많은 영향을 미칠 수 있다. 잠재적 의미 분석 LSA(Latent Semantic Analysis) 분류기법은 선형 기법인 특이치 분해 SVD(Singular Value Decomposition)을 통해 행렬의 분해 및 차원 축소(dimension reduction)를 수행하여 대용량 데이터 집합의 분류를 효율적으로 수행하고, 또한 차원 축소를 통해 새로운 의미공간을 생성하여 자질들의 중의적 의미를 분석할 수 있으며 이 새로운 의미공간상에 분류 대상을 표현함으로써 분류 대상의 잠재적 의미를 분석할 수 있다. 하지만 LSA의 차원 축소는 전체 데이터의 표현 정도만을 고려할 뿐 분류하고자 하는 범주를 고려하지 않으며 또한 서로 다른 범주 간의 차별성을 고려하지 않기 때문에 축소된 차원 상에서 분류 시 서로 다른 범주 데이터간의 모호한 경계로 인해 안정된 분류 성능을 나타내지 못한다. 이에 본 논문은 새로운 의미공간(semantic space) 상에서 서로 다른 범주사이의 명확한 구분을 위한 특별한 차원 선택을 수행하여 최적의 차원 선택과 안정된 분류성능을 보이는 최적의 지도적 LSA을 소개한다. 제안한 지도적 LSA 방법은 기본 LSA 및 다른 지도적 LSA 방법들에 비해 저 차원 상에서 안정되고 더 높은 성능을 보였다. 또한 추가로 자질 생성 및 선택 시 불용어의 제거와 자질에 대한 가중치를 통계적인 학습을 통해 얻음으로써 더 높은 학습효과를 유도하였다.

  • PDF

과학 교사-연구자간 협력적 워크숍에서 사회적 중재를 통한 집합적 이해 과정: '갈등' 양상을 중심으로 (Collective Understanding through Social Mediational Processes in a Collaborative Workshop between Science Teachers and Researchers: Focusing on 'Conflict' Aspect)

  • 김혜리;이선경;김찬종
    • 한국과학교육학회지
    • /
    • 제32권10호
    • /
    • pp.1502-1523
    • /
    • 2012
  • 최근 급변하는 사회와 함께 교육의 변화를 요구하는 목소리가 높아지면서, 교육의 질적 향상과 직결되어 있는 교사 전문성에 관한 논의가 활발히 이루어지고 있다. 이에 따라 교사의 자질을 향상, 발전시키기 위한 각종 교사 교육 프로그램이 제안되었고, 또한 그러한 프로그램의 효과를 확인하기 위해 다양한 연구들이 뒤따랐다. 특히 프로그램의 목적이 교사의 변화를 전제하고 있다는 점에서, 대부분의 연구들이 교사의 지식, 신념, 또는 실행 등 교사의 개인적 변화에 주안점을 두어 왔다. 그러나 교사의 마음(mind)은 사회적으로 형성된 것으로서(Edwards, 2001), 교사의 변화는 사회적 맥락과의 상호작용에 의해 중재되어 나타난다고 볼 수 있다. 즉 개인 주체가 어떻게 시스템 안에서 상호작용하는지, 집합적인 측면에 대한 탐색이 요구된다고 할 수 있다. 이에 본 연구는 교사- 연구자간 협력적 워크숍에서의 집합적 이해(collective understanding) 양상과 각 양상에 따른 사회적 중재과정을 살펴보기 위해 구성원간의 상호작용 자체를 분석하였다. 워크숍 기간 동안의 소그룹 활동을 녹화한 비디오 및 오디오 자료를 주 자료원으로 하였으며, 상호작용을 통해 드러난 집합적(collective) 측면을 포착하기 위해, 녹화물과 전사본을 상호작용 사회언어학(interactional sociolinguistic)에 근거하여 분석하였다. 또한 집합적 이해 양상에 따른 맥락적 요소들의 중재과정을 기술하기 위해 활동 시스템(activity system)을 도입하였다. 분석 결과, 참여교사들은 집합적 이해와 관련하여 갈등을 통해 지식을 구성하였으며, 활동 시스템 내 목적, 규칙, 역할 등에 의해 그 과정이 중재되고 있음을 확인하였다. 또한 교사가 가르치기 위해 어떻게 배우는지를 이해하기 위해서는 교사교육에 대한 사회문화적 관점이 필수이며, 교사의 전문적 담화가 교사의 전문성 발달과 관련하여 매우 중요한 역할을 하고 있음을 확인하였다.

다중요인모델에 기반한 텍스트 문서에서의 토픽 추출 및 의미 커널 구축 (Multiple Cause Model-based Topic Extraction and Semantic Kernel Construction from Text Documents)

  • 장정호;장병탁
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권5호
    • /
    • pp.595-604
    • /
    • 2004
  • 문서 집합 내의 개념 또는 의미 관계의 자동 분석은 보다 효율적인 정보 획득과 단어 이상의 개념 수준에서의 문서간 비교를 가능케 한다. 본 논문에서는 다중요인모델에 기반 하여 텍스트 문서로부터 토픽들을 추출하고 이로부터 의미 커널(semantic kernel)을 구축하여 문서간 유사도를 측정하는 방안을 제시한다. 텍스트 문서는 내재된 토픽들의 다양한 결합에 의해 생성된다고 가정하며 하나의 토픽은 공통 주제에 관련되거나 적어도 자주 같이 나타나는 단어들의 집합으로 정의한다. 다중요인모델은 은닉층을 갖는 하나의 네트워크 형태로 표현되며, 토픽을 표현하는 단어 집합은 은닉노드로부터의 가중치가 높은 단어들로 구성된다. 일반적으로 이러한 다중요인 네트워크에서의 학습과 추론과정을 용이하게 하기 위해서는 근사적 확률 추정 기법이 요구되는데, 본 논문에서는 헬름홀츠 머신에 의한 방법을 활용한다. TDT-2 문서 집합에 대한 실험에서 토픽별로 관련 있는 단어 집합들을 추출할 수 있었으며, 4개의 텍스트 집합에 대한문서 검색 실험에서는 다중요인모델의 분석결과에 기반 한 의미 커널을 사용함으로써 기본 벡터공간 모델에 비해 평균정확도 면에서 통계적으로 유의한 수준의 성능 향상을 얻을 수 있었다.

구문패턴을 이용한 반자동 구문분석 말뭉치 구축도구

  • 임준호;박소영;곽용재;임해창;김의수;강범모
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2002년도 제14회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.343-350
    • /
    • 2002
  • 본 논문에서는 구문패턴을 이용한 반자동 구문분석 말뭉치 구축도구를 제안한다. 일반적으로 구문분석 말뭉치를 구축하는 작업은 문법전문가의 많은 시간과 노력을 필요로 하고 있다. 본 논문은 구문분석 말뭉치를 구축할 때 수작업을 감소시켜 줄 수 있는 도구를 개발하기 위하여, 사용자가 정의하는 자질집합과 신뢰도를 바탕으로 구문패턴을 자동 추출하고 적용하는 방법을 제안한다. 소량의 말뭉치에서 실험한 결과, 구문패턴의 사용은 30%정도의 수작업을 감소시킬 수 있는 것으로 나타났다.

  • PDF

Predicate-Argument Structure 기반의 어휘적 패턴을 이용한 관계 추출 (Relation Extraction using Lexical Patterns based on Predicate-Argument Structure)

  • 정창후;전홍우;최윤수;최성필
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 추계학술발표대회
    • /
    • pp.748-750
    • /
    • 2010
  • 문서 내에 존재하는 개체들 간의 관계를 자동으로 추출할 때 다양한 형태의 문서 분석 결과를 활용할 수 있는데, 본 논문에서는 문장 내에 존재하는 각 단어의 predicate-argument 관계를 분석하여 자질로 활용하는 PAS 패턴 기반 관계 추출 시스템을 제안한다. 관계 종류별로 구축된 PAS 패턴 집합을 활용하여 관계 식별기를 개발하였고, 실험을 통하여 개발된 관계 식별기의 성능을 측정하였다. 실험 결과 개체 간의 유의미한 관계를 표현해주는 PAS 패턴이 관계 추출 작업에 유용한 정보임을 알 수 있었다.

계층형 문장 구조 인코더를 이용한 한국어 의미역 결정 (Hierarchical Learning for Semantic Role Labeling with Syntax Information)

  • 김봉수;김정욱;황태선;이새벽
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.199-202
    • /
    • 2021
  • 의미역 결정은 입력된 문장 내 어절간의 의미 관계를 예측하기 위한 자연어처리 태스크이며, 핵심 서술어에 따라 상이한 의미역 집합들이 존재한다. 기존의 연구는 문장 내의 서술어의 개수만큼 입력 문장을 확장해 순차 태깅 문제로 접근한다. 본 연구에서는 확장된 입력 문장에 대해 구문 분석을 수행 후 추출된 문장 구조 정보를 의미역 결정 모델의 자질로 사용한다. 이를 위해 기존에 학습된 구문 분석 모델의 파라미터를 전이하여 논항의 위치를 예측한 후 파이프라인을 통해 의미역 결정 모델을 학습시킨다. ALBERT 사전학습 모델을 통해 입력 토큰의 표현을 얻은 후, 논항의 위치에 대응되는 표현을 따로 추상화하기 위한 계층형 트랜스포머 인코더 레이어 구조를 추가했다. 실험결과 Korean Propbank 데이터에 대해 F1 85.59의 성능을 보였다.

  • PDF

소리 정보를 이용한 철도 선로전환기의 스트레스 탐지 (Stress Detection of Railway Point Machine Using Sound Analysis)

  • 최용주;이종욱;박대희;이종현;정용화;김희영;윤석한
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권9호
    • /
    • pp.433-440
    • /
    • 2016
  • 철도 선로전환기는 열차의 진로를 현재의 궤도에서 다른 궤도로 제어하는 장치이다. 선로전환기의 이상 상황은 탈선 등과 같은 심각한 문제를 발생할 수 있기 때문에, 선로전환기의 스트레스를 지속적으로 모니터링 하는 것은 매우 중요하다. 본 논문에서는 선로전환기가 작동할 때 발생하는 소리 정보를 이용하여 선로전환기의 스트레스를 탐지하는 시스템을 제안한다. 제안하는 시스템은 선로전환기의 동작 시 발생하는 소리 데이터로부터 자질 선택방법을 사용하여 스트레스 탐지에 유효한 감소된 차원의 자질 부분집합을 선택한 후, 기계학습의 대표적 모델인 SVM(Support Vector Machine)을 이용하여 선로전환기의 스트레스 상태 여부를 탐지한다. 테스트용 선로전환기를 실제 구동하며 수집한 소리 데이터를 이용하여, 본 논문에서 제안하는 시스템의 성능을 실험적으로 검증한 바 98%를 넘는 정확도를 확인하였다.

목적지향 대화에서 화자 의도의 통계적 예측 모델 (A Statistical Prediction Model of Speakers' Intentions in a Goal-Oriented Dialogue)

  • 김동현;김학수;서정연
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제35권9호
    • /
    • pp.554-561
    • /
    • 2008
  • 사용자 의도 예측 기술은 음성인식기의 탐색 공간을 줄이기 위한 후처리 방법으로 사용될 수 있으며, 시스템 의도 예측 기술은 유연한 응답 생성을 위한 전처리 방법으로 사용될 수 있다. 이러한 실용적인 필요성에 따라 본 논문에서는 화행과 개념열의 쌍으로 일반화된 화자의 의도를 예측하는 통계 모델을 제안한다. 단순한 화행 n-그램 통계만을 이용한 기존의 모델과는 다르게 제안 모델은 현재 발화까지의 대화 이력을 다양한 언어 레벨의 자질 집합(화행과 개념열 쌍의 n-그램, 단서 단어, 영역 프레임의 상태정보)으로 표현한다. 그리고 추출된 자질 집합을 CRFs(Conditional Random Fields)의 입력으로 사용하여 다음 발화의 의도를 예측한다. 일정 관리 영역에서 실험을 수행한 결과, 제안 모델은 사용자의 화행과 개념열 예측에서 각각 76.25%, 64.21%의 정확률을 보였다. 그리고 시스템의 화행과 개념열 예측에서 각각 88.11%, 87.19%의 정확률을 보였다. 또한 기존 모델과 비교하여 29.32% 높은 평균 정확률을 보였다.