• 제목/요약/키워드: n-gram

검색결과 576건 처리시간 0.024초

Style-Specific Language Model Adaptation using TF*IDF Similarity for Korean Conversational Speech Recognition

  • Park, Young-Hee;Chung, Min-Hwa
    • The Journal of the Acoustical Society of Korea
    • /
    • 제23권2E호
    • /
    • pp.51-55
    • /
    • 2004
  • In this paper, we propose a style-specific language model adaptation scheme using n-gram based tf*idf similarity for Korean spontaneous speech recognition. Korean spontaneous speech shows especially different style-specific characteristics such as filled pauses, word omission, and contraction, which are related to function words and depend on preceding or following words. To reflect these style-specific characteristics and overcome insufficient data for training language model, we estimate in-domain dependent n-gram model by relevance weighting of out-of-domain text data according to their n-. gram based tf*idf similarity, in which in-domain language model include disfluency model. Recognition results show that n-gram based tf*idf similarity weighting effectively reflects style difference.

위키피디아 문서를 이용한 전문용어 N-Gram 구축 (Constructive Method for Terminology N-Gram using Wikipedia Document)

  • 최준호;고병규;이준;김판구
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 춘계학술발표대회
    • /
    • pp.297-299
    • /
    • 2011
  • 자연어 처리 분야 중 현재 가장 활용도가 높은 분야는 질의어 추천기능, 단어 자동 완성 기능 등으로 정보검색에서 사용자가 입력한 문자들을 바탕으로 질의어를 완성해주는 것이다. 이러한 기능을 위해서는 문서 내용을 고려한 N-Gram 데이터 구축이 필수적이다. 본 논문에서는 문서 편집기나 검색엔진의 질의어 추천 등에 많이 활용되는 N-Gram 데이터의 전문용어별 구축을 위해 위키피디아 문서를 이용하는 방안을 제시하였다.

질문-단락 간 N-gram 주의 집중을 이용한 단락 재순위화 모델 (Passage Re-ranking Model using N-gram attention between Question and Passage)

  • 장영진;김학수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.554-558
    • /
    • 2020
  • 최근 사전학습 모델의 발달로 기계독해 시스템 성능이 크게 향상되었다. 하지만 기계독해 시스템은 주어진 단락에서 질문에 대한 정답을 찾기 때문에 단락을 직접 검색해야하는 실제 환경에서의 성능 하락은 불가피하다. 즉, 기계독해 시스템이 오픈 도메인 환경에서 높은 성능을 보이기 위해서는 높은 성능의 검색 모델이 필수적이다. 따라서 본 논문에서는 검색 모델의 성능을 보완해 줄 수 있는 오픈 도메인 기계독해를 위한 단락 재순위화 모델을 제안한다. 제안 모델은 합성곱 신경망을 이용하여 질문과 단락을 구절 단위로 표현했으며, N-gram 구절 사이의 상호 주의 집중을 통해 질문과 단락 사이의 관계를 효과적으로 표현했다. KorQuAD를 기반으로한 실험에서 제안모델은 MRR@10 기준 93.0%, Top@1 Precision 기준 89.4%의 높은 성능을 보였다.

  • PDF

정보검색 기법과 동적 보간 계수를 이용한 N-gram 언어모델의 적응 (N- gram Adaptation Using Information Retrieval and Dynamic Interpolation Coefficient)

  • 최준기;오영환
    • 대한음성학회지:말소리
    • /
    • 제56호
    • /
    • pp.207-223
    • /
    • 2005
  • The goal of language model adaptation is to improve the background language model with a relatively small adaptation corpus. This study presents a language model adaptation technique where additional text data for the adaptation do not exist. We propose the information retrieval (IR) technique with N-gram language modeling to collect the adaptation corpus from baseline text data. We also propose to use a dynamic language model interpolation coefficient to combine the background language model and the adapted language model. The interpolation coefficient is estimated from the word hypotheses obtained by segmenting the input speech data reserved for held-out validation data. This allows the final adapted model to improve the performance of the background model consistently The proposed approach reduces the word error rate by $13.6\%$ relative to baseline 4-gram for two-hour broadcast news speech recognition.

  • PDF

자동문서판독 후처리를 위한 수정된 n-gram 알고리즘 (A Modified Binary n-gram Algorithm for the postprocessing of the Automatic Document Reading)

  • 김일회;유근호;이철희
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 1987년도 전기.전자공학 학술대회 논문집(II)
    • /
    • pp.1352-1355
    • /
    • 1987
  • This Paper proposed the modified binary n-gram algorithm for the contextual post processing system in English sentence. Backward gram was used to correct the first position error in a word. It is not requires additional storage but more times of comparison it allows interactive correction routine. Experiments were implemented using PASCAL language on a micro computer, IBM PC/XT. This algorithm improves the correction rate around $4{\sim}5%$ on a limited experimental environments.

  • PDF

평균값 Color N$\times$M-grams와 GLCM을 이용한 영산 검색 (Image Retrieval Using Meanvalue Color N$\times$M-grams and GLCM)

  • 안세정;정성환
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (2)
    • /
    • pp.464-466
    • /
    • 2000
  • 오늘날 영상정보의 보편화로 효율적인 영상 검색 기술이 요구되고 있다. 최근 발표된 Color N$\times$M-grams 기반의 영상 검색 방법은 그 중의 하나이다. 그러나 이 방법은 영상의 특징을 추출한 벡터 Bin의 수가 많아서 검색을 위한 공간과 시간을 많이 필요로 하는 문제점을 가지고 있다. 이러한 문제를 보완하기 위해 본 연구에서는 영상의 국부성을 이용하여 Color N$\times$M-grams의 단점인 공간과 시간의 비효율성을 개선하고, GLCM의 결합으로 검색 효율을 향상시키는 연구를 수행하였다. WWW의 Color Draw Photo Album에 분류되어 있는 영상들과 미국의 코넬대학의 연구에 사용된 330개의 Benchmark 영상을 가지고 실험한 결과, 기존의 Color N$\times$M-grams에 비해 약 10배의 공간효율개선과 약 2배의 시간효율개선을 얻을 수 있었고, 검색율과 정확성공율에 있어서 각각 25%, 63% 향상되었다.

  • PDF

Synthesis and antimickrobial activity of benzofuran-carboxamide derivatives

  • Hishmat, O.H.;Nasef, A.M.;El-Naem, Sh.I.A.;Shalaby, A.M.
    • Archives of Pharmacal Research
    • /
    • 제12권4호
    • /
    • pp.259-262
    • /
    • 1989
  • The reaction of the sodium salts of 4-methoxy and 4, 7-dimethoxy 6-hydroxy benzofuran-5-carboxylic acid with ethyl chloroformate yields the corresponding dicarbethoxy derivatives. The N-substituted amides were obtained by treating the latter compounds with amines. The corresponding hydrazides were synthesized by the reaction of hydrazine hydrate on the dicarbethoxy derivatives which spontaneously cyclized to 5-substituted-2, 3- dihydro-1, 3, 4, -oxadiazol-2-one. Also the reaction with phenyl hydrazine has been studied. The dicarbethoxy derivatives and N-substituted amides were tested against Gram positive and Gram negative bacteria in vitro. Most of the compounds posses moderate or slight activity against Gram positive bacteria.

  • PDF

한중 자동 문서분류를 위한 최적 자질어 비교 (Comparison Between Optimal Features of Korean and Chinese for Text Classification)

  • 임미영;강신재
    • 한국지능시스템학회논문지
    • /
    • 제25권4호
    • /
    • pp.386-391
    • /
    • 2015
  • 본 논문에서는 한국어와 중국어의 언어학적인 특징을 고려하여 문서 자동분류 시스템의 성능을 높일 수 있는 최적의 자질어 단위를 제안한다. 언어 종속적 단위인 형태소 자질어와 언어 독립적 단위인 n-gram 자질어 그리고 이들을 조합한 복합 자질어 집합을 대상으로 각 언어의 인터넷 신문기사를 SVM으로 분류하는 실험을 수행하였다. 실험 결과, 한국어 문서분류에서는 bi-gram이 F1-measure 87.07%로 가장 좋은 분류 성능을 보였고, 중국어 문서분류에서는 'uni-gram 명사 동사 형용사 사자성어'의 복합 자질어 집합이 F1-measure 82.79%로 가장 좋은 성능을 보였다.

감정 기반 블로그 문서 분류를 위한 부정어 처리 및 단어 가중치 적용 기법의 효과에 대한 연구 (A Study on Negation Handling and Term Weighting Schemes and Their Effects on Mood-based Text Classification)

  • 정유철;최윤정;맹성현
    • 인지과학
    • /
    • 제19권4호
    • /
    • pp.477-497
    • /
    • 2008
  • 일상생활에서 많이 쓰이는 블로그 문서를 분석하는 것은 다양한 웹 응용서비스를 연결할 수 있는 중요한 단초를 제시하므로, 블로그 문서에 담긴 감정을 파악하는 것을 매우 유용한 일이다. 본 논문에서는 블로그 문서에 존재하는 감정을 보다 정확하게 분류하기 위해 부정어 처리와 새로운 단어 가중치의 적용이 성능에 미치는 영향에 대해 탐구한다. 특히, 감정단서(clue)가 내재된 정규화된 부정어 n-gram을 통해 부정어 처리를 고도화하고 말뭉치기반 단어 가중치 계산법(Corpus-specific Term Weighting, CSTW)을 통해 감정 분류 성능향상을 살펴보기로 한다. 검증을 위해 블로그 문서들로 정답 말뭉치를 구축하고 감정 흐름 분석(Enhanced Mood Flow Analysis, EMFA)과 지지벡터기계기반 감정 분류(Support Vector Machine based Mood Classification, SVMMC)의 두 가지 분류기법에 대해 실험을 하였다. 정규화된 부정어 n-gram의 적용은 EMFA에서 점진적인 감정 분류 성능 향상을 보여주었으며, CSTW의 적용은 TF*IDF나 TF에 비해 보다 높은 감정 분류 성능을 나타내었다.

  • PDF

터치스크린 환경에서 쿼티 자판 오타 교정을 위한 n-gram 언어 모델 (N-gram based Language Model for the QWERTY Keyboard Input Errors in a Touch Screen Environment)

  • 옹윤지;강승식
    • 스마트미디어저널
    • /
    • 제7권2호
    • /
    • pp.54-59
    • /
    • 2018
  • 스마트폰과 태블릿PC 등 터치스크린을 활용한 휴대기기의 사용이 늘어나면서 데스크탑 컴퓨터나 노트북으로 수행하던 작업을 스마트폰과 태블릿PC를 이용하여 수행하는 일이 많아졌다. 그런데 휴대성을 갖춰야하는 스마트기기의 특성상, 쿼티 자판은 작은 화면 안에 조밀하게 배치된다. 그리고 이러한 점은 기계식 쿼티 자판을 사용할 때와는 다른 양상의 오타가 발생하는 원인으로 작용한다. 각 버튼이 차지하는 공간이 충분했던 기계식 쿼티 자판과 달리, 터치스크린에서의 쿼티 자판은 각 버튼에 할당되는 영역이 작아 사용자가 누르려고 의도했던 버튼이 아닌 주변의 버튼이 입력되는 경우가 자주 발생하게 된다. 본 논문에서는 어절 유니그램과 바이그램 확률을 이용한 n-gram 언어 모델 방법으로 터치스크린 환경에서 쿼티 자판으로 입력되는 문자 입력 오류를 자동으로 교정하는 방법을 제안하였다.