• Title/Summary/Keyword: 어절 정보

Search Result 378, Processing Time 0.025 seconds

Disambiguating in Transliteration of some Text Symbols using Decision tree (결정 트리를 이용한 ′이음표′ 문자화의 중의성 해소)

  • 정영임;이동훈;남현숙;윤애선;권혁철
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.04b
    • /
    • pp.940-942
    • /
    • 2004
  • 한국어 텍스트 음성합성에서 문장 기호의 문자화에 나타나는 오류는 기호의 중의성에 기인한다. 선행연구에서 규칙에 기반하여 중의성을 해결하는 방안이 제안되었으나 여전히 기호는 다양한 문맥에서 높은 중의성을 가지고 문자화된다. 따라서 본 연구에서는 신문 텍스트에 나타나는 문장 기호 중 이음표의 문자화를 이음표를 포함한 어절의 패턴, 패턴의 좌우에 위치하는 어절 정보 및 휴리스틱스 자질을 학습하여 제시된 이음표의 문자화의 중의성을 해소하는 방안을 제안하였다. 이를 위해 국내 1개 일간지 2년 치 기사에서 이음표를 포함한 어절 49,000여 개를 임의 추출하여 분석하였고, 분석된 자질을 자동추출하여 결정 트리를 구성하였다. 실험 결과, 96.2%~97.7%의 정확도를 보였다.

  • PDF

Empirical Research on Segmentation Method for Korean Dependency Parsing (한국어 의존 구문 분석의 분석 단위에 관한 실험적 연구)

  • Lee, Jinu;Jo, Hye Mi;Bock, Suyeon;Shin, Hyopil
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.427-432
    • /
    • 2021
  • 현재 한국어 의존 구문 분석의 표준은 어절 단위로 구문 분석을 수행하는 것이다. 그러나 의존 구문 분석의 분석 단위(어절, 형태소)에 대해서는 현재까지 심도 있는 비교 연구가 진행된 바 없다. 본 연구에서는 의존 구문 분석의 분석 단위가 자연어 처리 분야의 성능에 유의미한 영향을 끼침을 실험적으로 규명한다. STEP 2000과 모두의 말뭉치를 기반으로 구축한 형태소 단위 의존 구문 분석 말뭉치를 사용하여, 의존 구문 분석기 모델 및 의존 트리를 입력으로 활용하는 문장 의미 유사도 분석(STS) 및 관계 추출(RE) 모델을 학습하였다. 그 결과, KMDP가 기존 어절 단위 구문 분석과 비교하여 의존 구문 분석기의 성능과 응용 분야(STS, RE)의 성능이 모두 유의미하게 향상됨을 확인하였다. 이로써 형태소 단위 의존 구문 분석이 한국어 문법을 표현하는 능력이 우수하며, 문법과 의미를 연결하는 인터페이스로써 높은 활용 가치가 있음을 입증한다.

  • PDF

Korean Dependency Parsing using Pretrained Language Model and Specific-Abstraction Encoder (사전 학습 모델과 Specific-Abstraction 인코더를 사용한 한국어 의존 구문 분석)

  • Kim, Bongsu;Whang, Taesun;Kim, Jungwook;Lee, Saebyeok
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.98-102
    • /
    • 2020
  • 의존 구문 분석은 입력된 문장 내의 어절 간의 의존 관계를 예측하기 위한 자연어처리 태스크이다. 최근에는 BERT와 같은 사전학습 모델기반의 의존 구문 분석 모델이 높은 성능을 보이고 있다. 본 논문에서는 추가적인 성능 개선을 위해 ALBERT, ELECTRA 언어 모델을 형태소 분석과 BPE를 적용해 학습한 후, 인코딩 과정에 사용하였다. 또한 의존소 어절과 지배소 어절의 특징을 specific하게 추상화 하기 위해 두 개의 트랜스포머 인코더 스택을 추가한 의존 구문 분석 모델을 제안한다. 실험결과 제안한 모델이 세종 코퍼스에 대해 UAS 94.77 LAS 94.06의 성능을 보였다.

  • PDF

A Postprocessing Method of Korean Character Recognition by Mis-recognized Morphology Presumption (오인식 형태소 추정에 의한 한국어 문자 인식 후처리 기법)

  • Kim, Young-Hun;Lee, Young-Hwa;Lee, Sang-Jo
    • Journal of the Korean Institute of Telematics and Electronics C
    • /
    • v.36C no.7
    • /
    • pp.46-55
    • /
    • 1999
  • We proposed the new method of postprocessing which not only reduces the frequency of dictionary access using morphological analysis but improve the recognition rate of character recognizer. In this paper, after estimating morphological construction of mis-recognized word using the part of speech that is analyzed, correct presumed mis-recognized morphology. The postprocessing using a morphology unit reduce candidate because of short than word and frequency of dictionary access because there is no need to morphological analysis for candidate. To select right candidate is only necessary to dictionary access. The proposed results show that reduced the frequency of dictionary access to 60% than postprocessing method using a word unit and recognition rate improved from 94% to 97%.

  • PDF

Cloning of Korean Morphological Analyzers using Pre-analyzed Eojeol Dictionary and Syllable-based Probabilistic Model (기분석 어절 사전과 음절 단위의 확률 모델을 이용한 한국어 형태소 분석기 복제)

  • Shim, Kwangseob
    • KIISE Transactions on Computing Practices
    • /
    • v.22 no.3
    • /
    • pp.119-126
    • /
    • 2016
  • In this study, we verified the feasibility of a Korean morphological analyzer that uses a pre-analyzed Eojeol dictionary and syllable-based probabilistic model. For the verification, MACH and KLT2000, Korean morphological analyzers, were cloned with a pre-analyzed eojeol dictionary and syllable-based probabilistic model. The analysis results were compared between the cloned morphological analyzer, MACH, and KLT2000. The 10 million Eojeol Sejong corpus was segmented into 10 sets for cross-validation. The 10-fold cross-validated precision and recall for cloned MACH and KLT2000 were 97.16%, 98.31% and 96.80%, 99.03%, respectively. Analysis speed of a cloned MACH was 308,000 Eojeols per second, and the speed of a cloned KLT2000 was 436,000 Eojeols per second. The experimental results indicated that a Korean morphological analyzer that uses a pre-analyzed eojeol dictionary and syllable-based probabilistic model could be used in practical applications.

Numeral Extraction and Recognition for Electronic Commerce (전자상거래를 위한 수사 추출 및 인식)

  • 김병주;황도삼
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2000.11a
    • /
    • pp.117-120
    • /
    • 2000
  • 최근 전자상거래 시스템을 이용이 많아짐에 따라, 상품의 정보나 거래를 위한 정보가 되는 수사추출에 관한 연구가 필요하다. 수사는 표현 자체의 다양성과 다근 품사와는 구분되는 활용으로 인해 언어 분석에 있어 많은 문제점을 가지고 있지만, 일반문서에서는 발생빈도가 그다지 높지 않아 그에 관한 연구들은 적은 실정이다. 현재가지의 수사 추출에 관한 연구는 수사 어절이 다른 표현들과는 달리 어순이 뚜렷하다는 것을 이용하여 그 어순들의 결합정보의 조합을 이용하여 시도하였다. 본 논문에서는 이러한 수사 어절의 특징을 문법화함으로써 자연언어 질의에 의한 전자상거래 시스템에 관한 연구를 수행하였다.

  • PDF

A Postprocessing of Character Recognition Based on Korean Lexicon (한국어 Lexicon에 의존한 문자 인식의 후처리)

  • Lim, Han-Kyu
    • Annual Conference on Human and Language Technology
    • /
    • 1993.10a
    • /
    • pp.371-377
    • /
    • 1993
  • 본 논문에서는 문자 인식이 끝난 한국어 원문에 대해 한국어 Lexicon에 기반을 둔 후처리의 구현을 보여주는 것을 목적으로 한다. 빈번하게 오인식되는 음절에 대해 이의 옳은 음절을 대응시킨 테이블을 만들어 놓고, 오인식이라고 정의된 음절이 출현했을 때는 이를 원래의 옳은 음절로 대체시킨 어절과 오인식된 음절이 포함된 어절에 대해 한국어 형태소 분석을 행함으로써, 올바른 형태소가 분석될 경우, 이를 옳은 음절로 간주한다. 실험결과 약 90%에서 95%에 달하는 인식율이 이 후처리 방법에 의해서 95%에서 99%로 높아졌다.

  • PDF

Lexical Status of Main and Supportive Verbs in Mental Lexicon (본용언과 보조용언의 의미 처리에 관한 연구 : 일반인과 실어증 환자를 대상으로)

  • Moon, Young-Sun;Kim, Dong-Hwui;Pyun, Sung-Bum;Hwang, Yu-Mi;Jung, Jae-Bun;Nam, Ki-Chun
    • Annual Conference on Human and Language Technology
    • /
    • 1999.10e
    • /
    • pp.447-454
    • /
    • 1999
  • 본 연구에서는 국어의 본용언과 보조용언이 어떠한 방식으로 처리되는지에 대해 알아보는 것이 목적이다. 영어와 달리 국어는 보조용언이 조동사의 역할을 담당하여 화자의 심리적인 상태나 상(想)을 나타내는 기능을 한다. 따라서 같은 어휘가 본용언으로 쓰일 때와 보조용언으로 쓰일 때 그 의미적 차이는 뚜렷하다. 특히 보조용언으로 쓰일 때는 어휘적 의미가 대부분 사라지고 추상적 의미만 남기 때문에 본용언과의 관련성을 따져보는 것도 중요한 연구과제이다. 또한 우리의 심성어휘집(mental lexicon)에서 본용언과 보조용언이 동일한 영역에서 처리되는지도 알아볼 필요가 있다. 만일 동일한 심성어휘집을 사용한다면 보조용언으로 쓰인 환경에서도 본용언의 어휘적 의미가 활성화될 것이다. 이에 대해 본 연구에서는 정상인 피험자와 실어증환자를 대상으로 실험을 하였다. 정상인 피험자를 대상으로는 SOA가 짧은 조건과 긴 조건에서 각각 보조용언을 어떻게 처리하는 지 살펴보았고, 실어증환자를 대상으로는 정상인 피험자와 비교해서 어떤 양상으로 보조용언을 처리하는 지 살펴보았다. 그 결과 정상인 피험자는 SOA가 짧은 조건에서는 본용언과 보조용언을 모두 동일한 방식으로 의미처리하였다. 즉 보조용언의 어휘적 의미가 본용언과 마찬가지로 SOA가 짧을 때는 활성화되었다. 그러나 SOA가 길어지면 보조용언은 문맥 정보로 인해 어휘적 의미가 억제되어 본용언과 다른 의미로 해석된다는 결론을 얻었다. 이런 정상인 피험자와 비교해 보았을 때, 실어증 환자는 두 가지 양상이 나타났다. 명칭성 실어증환자의 경우, 정상인과 비슷한 결과가 나왔으나 보조용언으로 쓰일 때, 본용언보다 어휘적 의미가 다소 불안정하게 활성화됨을 보였다. 그러나 이해성 실어증환자의 경우, 보조용언으로 쓰일 때 어휘적 의미가 전혀 활성화되지 않아 정상인과는 다른 언어처리를 하고 있음이 밝혀졌다.류의 의미가 모두 활성화되는 것을 보여 주었다. 즉, "먹은"과 간은 어절 이해는 구성 형태소로의 분석과 구성 형태소 어휘 접근을 통해 어절 이해가 이루어진다는 가설을 지지하고 있다. 실험 2에서는 실험 1과 다르게 한 뜻으로만 안일 수밖에 없는 "쥐어"와 같은 어절을 사용하여 이런 경우에도(즉, 어절의 문맥이 특정 뜻으로 한정하는 경우) 구성 형태소로의 분석 과정이 일어나는지를 조사하였다. 실험 2의 결과는 실험 1의 결과와는 다르게 어간의 한가지 의미와 관련된 조건만 촉진적 점화 효과가 나타나는 것을 보여주었다. 특히, 실험 2에서 SOA가 1000msec일 경우, 두 의미의 활성화가 나타나는 것을 보여주었는데, 이 같은 결과는 어절 문맥이 특정한 의미로 한정시킬 경우는 심성어휘집에 활용형태로 들어있다는 것이다. 또한 명칭성 실어증 환자의 경우에는 즉시적 점화과제에서는 일반인과 같은 형태소 처리과정을 보였으나, 그이후의 처리과정이 일반인과 다른 형태를 보였다. 실험 1과 실험 2의 결과는 한국어 어절 분석이 구문분석 또는 활용형태를 통해 어휘 접근되는 가설을 지지하고 있다. 또 명칭성 실어증 환자의 경우에는 지연된 점화과제에서 형태소 처리가 일반인과 다르다는 것이 밝혀졌다. 이 결과가 옳다면 한국의 심성 어휘집은 어절 문맥에 따라서 어간이나 어근 또는 활용형 그 자체로 이루어져 있을 것이다.으며, 레드 클로버 + 혼파 초지가 건물수량과 사료가치를 높이는데 효과적이었다.\ell}$ 이었으며 , yeast extract 첨가(添加)하여 배양시(培養時)는 yeast extract 농도(濃度)가 증가(增加)함에 따라 단백질(蛋白質) 함량(含量)도 증가(增加)하였다. 7. CHS-13 균주(菌株)의 RNA 함량(含量)은 $4.92{\times}10^{-2 }\;mg/m{\ell}$이었으며 yeast ext

  • PDF

Anaphoric Resolution in Anomia and Wernike Aphasia (실어증에서 나타나는 참조어 정보처리과정의 특성 : 명칭 실어증과 이해성 실어증을 중심으로)

  • Kim, Ga-Young;Hwang, Yu-Mi;Moon, Young-Sun;Park, Yoon;Nam, Ki-Chun
    • Annual Conference on Human and Language Technology
    • /
    • 1999.10e
    • /
    • pp.455-461
    • /
    • 1999
  • 본 연구의 목적은 실어증 화자가 참조어(대명사)를 이해하고 표현하는데 있어서의 오류 반응을 살펴봄으로써 참조어에 관한 처리기제를 알아보는 것이다. 본 연구에서는 명칭성 실어증 환자와 이해성 실어증 환자를 대상으로 하였으며, 각각의 환자에게 두 가지 실험을 진행하였다. 실험 1은 정오판정 과제로 문장, 혹은 문단을 제시하고 사용된 참조어가 옳은지 그른지를 판정하도록 하는 것이다. 실험 2는 채워넣기 과제로 문장, 문단을 제시하고 괄호 안에 들어갈 참조어를 보기에서 고르도록 하는 것이다. 사용된 참조어는 인칭 대명사와 지시 대명사, 그리고 지시 관형사였다. 인칭 대명사의 경우는 인칭과 수로 나누어 각각 1인칭, 2인칭의 단수 복수로 구분하여 제시되었으며, 문장 내에서 각각 주격조사 '가', 보조사 '는', 소유격조사 '의'와 결합되어 제시되었다. (나는, 너는, 우리는, 너희는/ 내가, 너가, 우리가, 너희가/ 나의, 너의, 우리의, 너희의) 지시 대명사의 경우는 사물을 나타내는 것과 장소를 나타내는 것으로 구분되어 제시되었다. (이것, 그것, 저것/ 이곳, 그곳, 저곳) 지시 관형사의 경우는 '이', '그', '저'가 각각 명사와 결합되어 제시되었는데 지시대명사로 분류하였다. 실험결과는 실험과제간(정오판정, 채워넣기), 실험재료간(인칭 대명사, 지시 대명사)의 차이로 분석될 수 있다. 또한 인칭 대명사와 지시 대명사 내에서도 각각의 재료들 간에 오류반응의 특징이 있는 것으로 나타났다 이로 미루어 볼 때 참조어 범주간 별개의 처리과정이 작용하는 것이라고 생각할 수 있다. 물론 인칭대명사와 지시대명사가 사용되는 문맥적 상황, 대명사의 개념적 거리, 빈도, 사용된 문장의 길이 등 여타의 요소들도 고려되어야 할 것이다. 보조용언으로 쓰일 때 어휘적 의미가 전혀 활성화되지 않아 정상인과는 다른 언어처리를 하고 있음이 밝혀졌다.류의 의미가 모두 활성화되는 것을 보여 주었다. 즉, "먹은"과 간은 어절 이해는 구성 형태소로의 분석과 구성 형태소 어휘 접근을 통해 어절 이해가 이루어진다는 가설을 지지하고 있다. 실험 2에서는 실험 1과 다르게 한 뜻으로만 안일 수밖에 없는 "쥐어"와 같은 어절을 사용하여 이런 경우에도(즉, 어절의 문맥이 특정 뜻으로 한정하는 경우) 구성 형태소로의 분석 과정이 일어나는지를 조사하였다. 실험 2의 결과는 실험 1의 결과와는 다르게 어간의 한가지 의미와 관련된 조건만 촉진적 점화 효과가 나타나는 것을 보여주었다. 특히, 실험 2에서 SOA가 1000msec일 경우, 두 의미의 활성화가 나타나는 것을 보여주었는데, 이 같은 결과는 어절 문맥이 특정한 의미로 한정시킬 경우는 심성어휘집에 활용형태로 들어있다는 것이다. 또한 명칭성 실어증 환자의 경우에는 즉시적 점화과제에서는 일반인과 같은 형태소 처리과정을 보였으나, 그이후의 처리과정이 일반인과 다른 형태를 보였다. 실험 1과 실험 2의 결과는 한국어 어절 분석이 구문분석 또는 활용형태를 통해 어휘 접근되는 가설을 지지하고 있다. 또 명칭성 실어증 환자의 경우에는 지연된 점화과제에서 형태소 처리가 일반인과 다르다는 것이 밝혀졌다. 이 결과가 옳다면 한국의 심성 어휘집은 어절 문맥에 따라서 어간이나 어근 또는 활용형 그 자체로 이루어져 있을 것이다.으며, 레드 클로버 + 혼파 초지가 건물수량과 사료가치를 높이는데 효과적이었다.\ell}$ 이었으며 , yeast extract 첨가(添加)하여 배양시(培養時)는 yeast extract 농도(濃度)가 증가(增加)함에

  • PDF

A fast POS tagging method for speech synthesis (음성합성을 위한 품사태깅시스템의 속도 개선)

  • Kim Jeong-se;Park Jun
    • Proceedings of the Acoustical Society of Korea Conference
    • /
    • spring
    • /
    • pp.159-162
    • /
    • 2002
  • 본 논문에서는 음성합성을 위한 의사형태소 품사 태깅 시스템의 속도를 개선하는 방법으로 정확률을 다소 희생하더라도 속도개선이 될 수 있는 방법을 제안하고자 한다. 형태소 해석 시에는 종성으로 올 수 있는 자모를 제외한 나머지에 대해서는 음절단위로 구성하는 변형된 Tabular 파싱법으로 해석하는데, 여기에다 일반적으로 적용 가능한 몇 가지의 규칙을 추가함으로써 해석 가능한 노드들을 줄였다. 태깅 시에는 한국어의 특성상 어절 하나씩을 품사 태깅하였을 경우에도 상당히 정확하다는 점을 이용하여 어절 내부에서는 full search 를 하고 그 다음 어절은 이전 어절의 제일 높은 값을 가지는 품사열 정보를 활용하는 방법을 제안한다. 제안한 시스템은 32 개 품사 태그셋에 2 만 형태소 사전을 이용해 실험한 결과, 기존의 시스템보다 약 $60\%$이상의 속도 개선을 보였으며, 정확률은 약 $1\%$ 정도 떨어졌다.

  • PDF