• 한국콘텐츠학회논문지
• /
• 제20권10호
• /
• pp.679-687
• /
• 2020

본 연구의 목적은 BNC 어휘목록과 2015 교육부 기본 어휘를 중심으로 EBS 연계교재와 대학 수능시험의 어휘를 분석하고자 한다. 어휘점유율과 빈도를 분석하기 위해서 AntWordProfiler 어휘 분석프로그램이 사용되었다. 결과를 보면, 2020 EBS 수능 영어 듣기와 읽기 연계 교재는 각각 BNC 3,000 단어와 4,000 단어를 가지고 약 95%를 이해할 수 있다는 것을 보여준다. 그러나 EBS 듣기와 읽기 교재의 98%의 단어를 이해하기 위해서는 각각 4,000과 8,000 단어가 필요하다는 것을 알 수 있다. 다른 한편으로 2020 수능영어시험 듣기와 읽기의 95%를 이해하기위해서는 각각 2,000과 4,000 단어가 요구되며, 98%의 경우에는 추가적으로 4,000과 7,000의 단어가 필요하다. 결과적으로 EBS 연계교재가 대입수능영어시험보다 더 많은 어휘의 양을 요구한다는 것을 알 수 있다.

• 대한음성학회:학술대회논문집
• /
• 대한음성학회 2002년도 11월 학술대회지
• /
• pp.123-126
• /
• 2002

In this paper, we describe our LVCSR system for Korean broadcast news transcription. The main focus is to find the most proper morpheme-based lexical model for Korean broadcast news recognition to deal with the inflectional flexibilities in Korean. There are trade-offs between lexicon size and lexical coverage, and between the length of lexical unit and WER. In our system, we analyzed the training corpus to obtain a small 24k-morpheme-based lexicon with 98.8％ coverage. Then, the lexicon is optimized by combining morphemes using statistics of training corpus under monosyllable constraint or maximum length constraint. In experiments, our system reduced the number of monosyllable morphemes from 52％ to 29％ of the lexicon and obtained 13.24％ WER for anchor and 24.97％ for reporter.

• 한국언어정보학회:학술대회논문집
• /
• 한국언어정보학회 2007년도 정기학술대회
• /
• pp.3-12
• /
• 2007

Coverage has been a constant thorn in the side of deployed deep linguistic processing applications, largely because of the difficulty in constructing, maintaining and domaintuning the complex lexicons that they rely on. This paper reviews various strands of research on deep lexical acquisition (DLA), i.e. the (semi-)automatic creation of linguistically-rich language resources, particularly from the viewpoint of DLA for precision grammars.

• 정보처리학회논문지B
• /
• 제13B권2호
• /
• pp.171-178
• /
• 2006

기계가독형사전(Machine Readable Dictionary)에서 단어의 정의문에 나타나는 항목 단어의 상위개념을 추출하는 대부분의 연구들은 전문가에 의해 작성된 어휘패턴을 사용하였다. 이 방법은 사람이 직접 패턴을 수집하므로 시간과 비용이 많이 소모될 뿐만 아니라, 자연언어에는 같은 의미를 가진 다앙한 표현들이 존재하므로 넓은 커버리지를 갖는 어휘패턴들을 수집하는 것이 매우 어렵다는 단점이 있다. 이런 문제점들을 해결하기 위하여, 본 논문에서는 구문적 특징만을 이용한 상위어 판별 규칙을 기계학습함으로써 기존에 사용되었던 어휘패턴의 지나친 어휘 의존성으로 인한 낮은 커버리지 및 패턴 수집의 문제를 해결하는 방법을 제안한다. 제안한 방법으로 기계학습된 규칙들을 상위어 자동추출과정에적용한 결과 정확도 92.37% 성능을 보였다. 이는 기존 연구들보다 향상된 성능으로 기계학습에 의해 수집된 판별규칙이 상위어 판별에 있어서 어휘패턴의 문제를 해결할 수 있다는 것을 입증하였다.

• 한국언어정보학회:학술대회논문집
• /
• 한국언어정보학회 2007년도 정기학술대회
• /
• pp.375-384
• /
• 2007

This paper describes a method for automatic acquisition of wide-coverage treebank-based deep linguistic resources for Japanese, as part of a project on treebank-based induction of multilingual resources in the framework of Lexical-Functional Grammar (LFG). We automatically annotate LFG f-structure functional equations (i.e. labelled dependencies) to the Kyoto Text Corpus version 4.0 (KTC4) (Kurohashi and Nagao 1997) and the output of of Kurohashi-Nagao Parser (KNP) (Kurohashi and Nagao 1998), a dependency parser for Japanese. The original KTC4 and KNP provide unlabelled dependencies. Our method also includes zero pronoun identification. The performance of the f-structure annotation algorithm with zero-pronoun identification for KTC4 is evaluated against a manually-corrected Gold Standard of 500 sentences randomly chosen from KTC4 and results in a pred-only dependency f-score of 94.72%. The parsing experiments on KNP output yield a pred-only dependency f-score of 82.08%.

• 한국콘텐츠학회논문지
• /
• 제21권12호
• /
• pp.132-139
• /
• 2021

본 코퍼스 기반 연구는 통사론 영역에서 자주 등장하는 학술어휘들을 목록화하고 추출된 단어 목록을 Coxhead(2000)의 학술어휘 목록(AWL) 및 West(1953)의 기본어휘 목록(GSL)과 비교하여 통사론 코퍼스 내의 어휘 분포와 범위를 조사하였다. 이를 위해 영어교육 전공자들이 주로 사용하는 필수 통사론 전공 서적을 546,074 단어 수준의 전문 코퍼스로 구축한 다음 AntWordProfiler 1.4.1로 분석하였다. 빈도를 기준으로 분석한 결과 16회 이상 등장한 학술어휘는 288개(50.5%), 15회 이하 등장한 학술어휘는 218개(38.2%)로 나타났다. AWL과 GSL의 출현 범위는 각각 9.19%와 78.92%로 나타났으며 GSL과 AWL을 포함한 비중은 전체 토큰의 88.11%에 달하였다. AWL이 광범위한 학술 요구를 충족시키는데 중추적인 역할을 할 수 있다는 점을 감안할 때, 본 연구는 학문 문식성과 학업 능력을 향상시키기 위한 방안으로 학문 분야별 학술 어휘목록을 편성할 필요가 있음을 강조하였다.

• 한국언어정보학회지:언어와정보
• /
• 제7권1호
• /
• pp.41-54
• /
• 2003

According to Jeong Ho-seong (1999), Koreans use an average of only 20% of the 508,771 entries of the Korean standard unabridged dictionary. To establish MRD for natural language processing, it is necessary to select Korean lexical units that are used frequently and are considered as basic words. In this study, this selection process is done semi-automatically using the KAIST large corpus. Among about 220,000 morphemes extracted from the corpus of 40,000,000 eojeols, 50,637 morphemes (54,797 senses) are selected. In addition, the coverage of these morphemes in various texts is examined with two sub-corpora of different styles. The total coverage is 91.21 % in formal style and 93.24% in informal style. The coverage of 6,130 first degree morphemes is 73.64% and 81.45%, respectively.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제32권5호
• /
• pp.385-395
• /
• 2005

긴 문장 분석은 높은 분석 복잡도로 인해 기계 번역에서 매우 어려운 문제이다. 구문 분석의 복잡도를 줄이기 위하여 문장 분할 방법이 제안되었으며 본 논문에서는 문장 분할의 적용률과 정확도를 높이기 위한 최대 엔트로피 확률 모델 기반의 문장 분할 방법을 제시한다. 분할 위치의 어휘 문맥적 특징을 추출하여 후보 분할 위치를 선정하는 규칙을 학습을 통해 자동적으로 획득하고 각 후보 분할 위치에 분할 확률 값을 제공하는 확률 모델을 생성한다. 어휘 문맥은 문장 분할 위치가 표시된 말뭉치로부터 추출되며 최대 엔트로피 원리에 기반하여 확률 모델에 결합된다. Wall Street Journal의 문장을 추출하여 학습 데이타를 생성하는 말뭉치를 구축하고 네 개의 서로 다른 영역으로부터 문장을 추출하여 문장 분할 실험을 하였다. 실험을 통해 약 $88\%$의 문장 분할의 정확도와 약 $98\%$의 적용률을 보였다. 또한 문장 분할이 효율적인 파싱에 기여하는 정도를 측정하여 분석 시간 면에서 약 4.8배, 공간 면에서 약 3.6배의 분석 효율이 향상되었음을 확인하였다.

• 정보처리학회논문지B
• /
• 제9B권6호
• /
• pp.809-816
• /
• 2002

구문 분석에서 가장 큰 문제점 중 하나는 구문 구조의 중의성을 어떻게 해결하느냐에 달려있다. 확률 구문 규칙은 구문 구조의 중의성 해결에 한 방법이 될 수 있다. 본 논문에서는 중심어 간의 공기정보를 이용하여 한국어 구문 구조의 중의성을 해결하는 확률 모델을 제안하고자 한다. 중심어는 어휘를 이용하기 때문에 자료 부족 문제를 야기시킬 수 있다. 이 때문에 자료부족 문제를 어떻게 해결하느냐에 따라 어휘 정보 사용의 성공이 결정될 수 있다. 본 논문에서는 구문규칙을 단순화하고 Back-off 방법을 이용해서 이 문제를 완화한다. 제안된 모델은 실험 데이터에 대해 약 84%의 정확도를 보였다.

• ETRI Journal
• /
• 제39권4호
• /
• pp.455-466
• /
• 2017

This study focuses on a method for sequential data augmentation in order to alleviate data sparseness problems. Specifically, we present corpus expansion techniques for enhancing the coverage of a language model. Recent recurrent neural network studies show that a seq2seq model can be applied for addressing language generation issues; it has the ability to generate new sentences from given input sentences. We present a method of corpus expansion using a sentence-chain based seq2seq model. For training the seq2seq model, sentence chains are used as triples. The first two sentences in a triple are used for the encoder of the seq2seq model, while the last sentence becomes a target sequence for the decoder. Using only internal resources, evaluation results show an improvement of approximately 7.6% relative perplexity over a baseline language model of Korean text. Additionally, from a comparison with a previous study, the sentence chain approach reduces the size of the training data by 38.4% while generating 1.4-times the number of n-grams with superior performance for English text.