• 제목/요약/키워드: 핵심어

검색결과 369건 처리시간 0.03초

말뭉치에 근거한 한국어 사전 표제어 구성

  • 박영환;윤준태;송만석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1991년도 제3회 한글 및 한국어정보처리 학술대회
    • /
    • pp.58-65
    • /
    • 1991
  • 사전은 자연어를 처리하는 핵심 부분을 이루고 있다. 그러나 기존의 한국어 사전은 기계적인 처리에 직접 이용하기에는 크게 미흡하다. 특히, 사전의 기본을 이루는 표제어 수록에 관한 연구는 더욱 취약한 형편이다. 본 연구는 새로운 한국어 사전의 표제어률 구성하기 위하여 대형 말뭉치를 수집하였다. 이 말뭉치를 이용하여 기존 사전에서 빠져있는 미등록어들을 찾아내어 수록하고, 말뭉치에 나타난 각 단어의 출현 빈도를 조사하였다. 이 연구를 수행하기 위하여 형태소 분석기, 용례 분석기 등의 필수적인 텍스트 처리 도구들을 개발하였다. 또한, 말뭉치에 나타난 어절 단위의 오류 분포를 조사하여 밝히었다.

  • PDF

단어 공기 통계 정보 기반 색인어 추출을 활용한 문서 유사도 검사 알고리즘 (Document Content Similarity Detection Algorithm Using Word Cooccurrence Statistical Information Based Keyword Extraction)

  • 김진규;이승철;박기봉;허덕행
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2016년도 제53차 동계학술대회논문집 24권1호
    • /
    • pp.111-113
    • /
    • 2016
  • 빠른 속도로 쏟아지고 있는 각종 발행물, 논문들에 대한 표절 검토는 표절 검출 알고리즘을 통해 직접적인 복제, 짜깁기, 말 바꾸어 쓰기 등을 검토하거나 표절 검토자가 직접 해당 문서의 키워드를 검색하여 확인하는 방식으로 이루어지고 있다. 하지만 점점 더 늘어나는 방대한 양의 문서들에 대한 표절 검토 작업은 더욱 정교한 검토 방법론을 필요로 하고 있으며, 이를 돕기 위해 문서의 직접적인 단어나 복제 비교에서 더 나아가 문서의 내용을 비교하여 비슷한 내용의 문서들을 필터링 및 검출할 수 있는 방법을 제안한다. 문서의 내용을 비교하기 위해 키워드 추출 알고리즘을 선행하며, 이를 통해 문서의 핵심 내용을 비교할 수 있는 기반을 마련하여 표절 검토자의 작업의 정확성과 속도를 향상시키고자 한다.

  • PDF

데이타마이닝 기법을 이용한 문서 자동 분류 모델 (An Automatic Text Classification Model using Association Rules)

  • 김영인;이진용;문현정;우용태
    • 한국데이타베이스학회:학술대회논문집
    • /
    • 한국데이타베이스학회 2000년도 추계학술대회 E-Business와 정보보안
    • /
    • pp.101-108
    • /
    • 2000
  • 기업에서 보유한 전문 지식 정보가 급속도로 증가함에 따라 대량의 문서에 저장된 지식 정보를 효과적으로 탐색하여 기업 경영에 활용하기 위한 지식경영시스템 도입이 확산되고 있다. 이러한 지식경영시스템에서 핵심적인 구성 요소는 전문 분야의 지식 정보를 체계적으로 분류하고 효율적으로 검색하기 위한 지식 탐사 기법이다. 본 논문에서는 데이타마이닝 기법을 이용하여 문서를 자동적으로 분류하기 위한 새로운 모델을 제안하였다. 연관 규칙 탐사 알고리즘을 이용하여 학습용 문서 집합으로부터 세부 분야를 대표하는 색인어 집합을 구성하였다. 세부 분야별 색인어 집합에 대하여 전체 문서에 대한 비중에 따라 가중치 배열을 구성하여 문서를 자동으로 분류하기 위한 기준으로 삼았다. 임의의 문서를 자동적으로 분류하는 실험을 통하여 제안된 방법의 효율성을 검정하였다.

  • PDF

벡터스페이스모델과 시소러스를 이용한 특허검색시스템의 성능향상 (Improving Patent Information Service System using Vector Space Model and Thesaurus)

  • 임성신;정홍석;한기덕;권혁철
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (1)
    • /
    • pp.802-804
    • /
    • 2004
  • 지적재산권이 산업의 핵심으로 자리잡음으로써 특허의 중요성이 날로 증가하고 있다. 현재 특허문서 검색을 서비스하고 있는 상용시스템의 경우 문서간의 유사도나, 질의어에 따른 순위(Ranking)가 매겨지지 않는 불리언 모델이 검색에 사용되고 있다. 본 논문에서는 유사도에 기반 한 순위화가 가능한 벡터모델기반의 특허검색시스템을 개발하고 시계분야의 시소러스를 구축하여 시계분야의 특허검색 시스템에 적용하였다. 쿼리확장의 성능을 평가하기 위해 10개의 쿼리로 실험하였고 평균 36.2%의 정확도가 향상되었다. 그리고 검색결과의 오른쪽에 시소러스를 제시함으로써 특허검색시스템을 이용하는 사용자에게 추가 질의어를 쉴게 선택할 수 있도록 하여 인터페이스 부분의 향상을 추구하였다.

  • PDF

계층형 문장 구조 인코더를 이용한 한국어 의미역 결정 (Hierarchical Learning for Semantic Role Labeling with Syntax Information)

  • 김봉수;김정욱;황태선;이새벽
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.199-202
    • /
    • 2021
  • 의미역 결정은 입력된 문장 내 어절간의 의미 관계를 예측하기 위한 자연어처리 태스크이며, 핵심 서술어에 따라 상이한 의미역 집합들이 존재한다. 기존의 연구는 문장 내의 서술어의 개수만큼 입력 문장을 확장해 순차 태깅 문제로 접근한다. 본 연구에서는 확장된 입력 문장에 대해 구문 분석을 수행 후 추출된 문장 구조 정보를 의미역 결정 모델의 자질로 사용한다. 이를 위해 기존에 학습된 구문 분석 모델의 파라미터를 전이하여 논항의 위치를 예측한 후 파이프라인을 통해 의미역 결정 모델을 학습시킨다. ALBERT 사전학습 모델을 통해 입력 토큰의 표현을 얻은 후, 논항의 위치에 대응되는 표현을 따로 추상화하기 위한 계층형 트랜스포머 인코더 레이어 구조를 추가했다. 실험결과 Korean Propbank 데이터에 대해 F1 85.59의 성능을 보였다.

  • PDF

강인한 핵심어 인식을 위해 유용한 주파수 대역을 이용한 음성 검출기 (Accurate Speech Detection based on Sub-band Selection for Robust Keyword Recognition)

  • 지미경;김회린
    • 대한음성학회:학술대회논문집
    • /
    • 대한음성학회 2002년도 11월 학술대회지
    • /
    • pp.183-186
    • /
    • 2002
  • The speech detection is one of the important problems in real-time speech recognition. The accurate detection of speech boundaries is crucial to the performance of speech recognizer. In this paper, we propose a speech detector based on Mel-band selection through training. In order to show the excellence of the proposed algorithm, we compare it with a conventional one, so called, EPD-VAA (EndPoint Detector based on Voice Activity Detection). The proposed speech detector is trained in order to better extract keyword speech than other speech. EPD-VAA usually works well in high SNR but it doesn't work well any more in low SNR. But the proposed algorithm pre-selects useful bands through keyword training and decides the speech boundary according to the energy level of the sub-bands that is previously selected. The experimental result shows that the proposed algorithm outperforms the EPD-VAA.

  • PDF

BMS 알고리즘을 이용한 핵심어 검출기 거절기능 성능 향상 실험 (Improvement of Confidence Measure Performance in Keyword Spotting using Background Model Set Algorithm)

  • 김병돈;김진영;최승호
    • 대한음성학회지:말소리
    • /
    • 제46호
    • /
    • pp.103-115
    • /
    • 2003
  • In this paper, we proposed Background Model Set algorithm used in the speaker verification to improve calculating confidence measure(CM) in speech recognition. CM is to display relative likelihood between recognized models and antiphone models. In previous method calculating of CM, we calculated probability and standard deviation using all phonemes in composition of antiphone models. At this process, antiphone CM brought bad recognition result. Also, recognition time increases. In order to solve this problem, we studied about method to reconstitute average and standard deviation using BMS algorithm in CM calculation.

  • PDF

iRTOS 실시간 운용체제를 이용한 레이타 빔스케쥴러 설계 및 구현 (Design and Implementation of a Radar Beam Scheduler using iRTOS Real-time Operating System)

  • 황용철;이철훈
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (3)
    • /
    • pp.62-64
    • /
    • 2000
  • 레이다 빔 스케쥴러는 레이타의 전체적인 운용과 제어를 담당하는 레이다 통제기의 핵심기능으로서 레이다의 운용시간 및 송신 전력 등 한정된 가용 자원을 효율적으로 관리하기 위한 최적화 기법이 매우 중요하다. 본 논문은 충남대에서 개발한 실시간 운용체제인 iRTOS를 기반으로 하여 방위각 방향은 기계적 회전을 하고 고각 방향은 위상을 가변하여 다수의 위협 표적을 실시간으로 탐지하고 추적하는 회전형 3차원 위상배열 레이다에 적용 가능한 레이다 빔 스케쥴러의 구현 알고리즘에 관한 내용이다. 제안된 레이다 빔 스케쥴러는 우선 순위를 갖는 핵심적인 스케쥴링 태스크와 이를 보조하기 위한 다수의 기능 태스크를 정의하고 생성하였으며 태스크간 데이터 교환을 위하여 인터럽트 처리, 시간 관리, 세마포어 및 메시지 큐 등을 적용하였다. 레이다 빔 스케쥴러의 성능을 검증하기 위하여 다수의 모의 표적을 발생시켜 빔 스케쥴러의 상태와 성능을 확인하였으며, 자체 개발한 실시간 운용체제인 iRTOS를 이용하여 3차원 레이다 빔 스케쥴러를 구현할 수 있음을 확인하였다.

  • PDF

키워드 인식을 위한 한글 Pseudo 2D HMM의 동적 합성 방법 (Dynamic Synthesis of Pseudo 2D HMMs for Korean Characters in Key Character Recognition Tasks)

  • 조범준
    • 한국통신학회논문지
    • /
    • 제26권6B호
    • /
    • pp.820-827
    • /
    • 2001
  • 한글은 둘 또는 세 개의 자모가 사각형 영역 안에 적절히 배치된 구조로 되어 있다. 이와 같은 구성 방법에 따라 글자의 영상을 합성하고 이를 실시간에 Pseudo 2D HMM으로 변환하는 방법을 제안한다. 본 방법에 따라 실시간 합성된 모델과 추가의 필러(filler) 모델, 여백 모델을 문서 영상의 글자 영역에서 핵심어 검출에 적용하였다. 실험 결과 최소한의 설계 변수 조정으로도 오검출, 미검출률이 낮고 언어 모델 없이 숫자 89%, 한글 80%의 검출성능을 보였으며, 따라서 제안된 방법이 인쇄 문자 패턴의 실시간 모델링 및 키워드 검출에 효과가 있음을 보였다. 본 연구 결과는 내용 기반의 광학 문서 색인 등에 활용할 수 있다.

  • PDF

핵심어 인식기에서 단어의 음소레벨 로그 우도 비율의 패턴을 이용한 발화검증 방법 (Utterance Verification using Phone-Level Log-Likelihood Ratio Patterns in Word Spotting Systems)

  • 김정현;권석봉;김회린
    • 말소리와 음성과학
    • /
    • 제1권1호
    • /
    • pp.55-62
    • /
    • 2009
  • This paper proposes an improved method to verify a keyword segment that results from a word spotting system. First a baseline word spotting system is implemented. In order to improve performance of the word spotting systems, we use a two-pass structure which consists of a word spotting system and an utterance verification system. Using the basic likelihood ratio test (LRT) based utterance verification system to verify the keywords, there have been certain problems which lead to performance degradation. So, we propose a method which uses phone-level log-likelihood ratios (PLLR) patterns in computing confidence measures for each keyword. The proposed method generates weights according to the PLLR patterns and assigns different weights to each phone in the process of generating confidence measures for the keywords. This proposed method has shown to be more appropriate to word spotting systems and we can achieve improvement in final word spotting accuracy.

  • PDF