• Title/Summary/Keyword: 한글맞춤법

Search Result 46, Processing Time 0.018 seconds

Sentence Unit De-noising Training Method for Korean Grammar Error Correction Model (한국어 문법 오류 교정 모델을 위한 문장 단위 디노이징 학습법)

  • Hoonrae Kim;Yunsu Kim;Gary Geunbae Lee
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.507-511
    • /
    • 2022
  • 문법 교정 모델은 입력된 텍스트에 존재하는 문법 오류를 탐지하여 이를 문법적으로 옳게 고치는 작업을 수행하며, 학습자에게 더 나은 학습 경험을 제공하기 위해 높은 정확도와 재현율을 필요로 한다. 이를 위해 최근 연구에서는 문단 단위 사전 학습을 완료한 모델을 맞춤법 교정 데이터셋으로 미세 조정하여 사용한다. 하지만 본 연구에서는 기존 사전 학습 방법이 문법 교정에 적합하지 않다고 판단하여 문단 단위 데이터셋을 문장 단위로 나눈 뒤 각 문장에 G2P 노이즈와 편집거리 기반 노이즈를 추가한 데이터셋을 제작하였다. 그리고 문단 단위 사전 학습한 모델에 해당 데이터셋으로 문장 단위 디노이징 사전 학습을 추가했고, 그 결과 성능이 향상되었다. 노이즈 없이 문장 단위로 분할된 데이터셋을 사용하여 디노이징 사전 학습한 모델을 통해 문장 단위 분할의 효과를 검증하고자 했고, 디노이징 사전 학습하지 않은 기존 모델보다 성능이 향상되는 것을 확인하였다. 또한 둘 중 하나의 노이즈만을 사용하여 디노이징 사전 학습한 두 모델의 성능이 큰 차이를 보이지 않는 것을 통해 인공적인 무작위 편집거리 노이즈만을 사용한 모델이 언어학적 지식이 필요한 G2P 노이즈만을 사용한 모델에 필적하는 성능을 보일 수 있다는 것을 확인할 수 있었다.

  • PDF

Adaptive Context-Sensitive Spelling Error Correction System Based on Self-Attention for Social Network Service Chatting Data (SNS 채팅 데이터에 적응적인 Self-Attention 기반 문맥의존 철자오류 교정 시스템)

  • Choi, Hyewon;Jang, Daesik;Son, Dongcheol;Lee, Seungwook;Ko, Youngjoong
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.362-367
    • /
    • 2019
  • 본 논문에서는 Self-Attention을 활용한 딥러닝 기반 문맥의존 철자오류 교정 모델을 제안한다. 문맥의존 철자오류 교정은 최근 철자오류 교정 분야에서 활발히 연구되고 있는 문제 중 하나이다. 기존에는 규칙 기반, 확률 기반, 임베딩을 활용한 철자오류 교정이 연구되었으나, 아직 양질의 교정을 수행해내기에는 많은 문제점이 있다. 따라서 본 논문에서는 기존 교정 모델들의 단점을 보완하기 위해 Self-Attention을 활용한 문맥의존 철자오류 교정 모델을 제안한다. 제안 모델은 Self-Attention을 활용하여 기존의 임베딩 정보에 문맥 의존적 정보가 반영된 더 나은 임베딩을 생성하는 역할을 한다. 전체 문장의 정보가 반영된 새로운 임베딩을 활용하여 동적으로 타겟 단어와의 관련 단어들을 찾아 문맥의존 철자 오류교정을 시행한다. 본 논문에서는 성능평가를 위해 세종 말뭉치를 평가 데이터로 이용하여 제안 모델을 실험하였고, 비정형화된 구어체(Kakao Talk) 말뭉치로도 평가 데이터를 구축해 실험한 결과 비교 모델보다 높은 정확율과 재현율의 성능향상을 보였다.

  • PDF

Korean Compound Nouns Decomposition Suitable for Embedded Systems (임베디드 시스템에 적합한 한국어 복합명사 분해)

  • Choi, Min-Seok;Kim, Chang-Hyun;Cheon, Min-Ah;Park, Ho-Min;Namgoong, Young;Yoon, Ho;Kim, Jae-Hoon
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.316-320
    • /
    • 2018
  • 복합명사는 둘 이상의 말이 결합된 명사를 말하며 문장에서 하나의 단어로 간주된다, 그러나 맞춤법 및 띄어쓰기 검사나 정보검색의 색인어 추출, 기계번역의 미등록어 추정 등의 분야에서는 복합명사를 구성하는 개별 단어를 확인할 필요가 있다. 이 과정을 복합명사 분해라고 한다. 복합명사를 분해하는 방법으로 크게 규칙 기반 방법, 통계 기반 방법 등이 있으며 본 논문에서는 규칙을 기반으로 최소한의 통계 정보를 이용하는 방법을 제안한다. 본 논문은 4개의 분해 규칙을 적용하여 분해 후보를 생성하고 분해 후보들 중에 우선순위를 정하여 최적 후보를 선택하는 방법을 제안한다. 기본 단어(명사)로 트라이(trie)를 구축하고 구축된 트라이를 이용하여 양방향 최장일치를 적용하고 음절 쌍의 통계정보를 이용해서 모호성을 제거한다. 성능을 평가하기 위해 70,000여 개의 명사 사전과 음절 쌍 통계정보를 구축하였고, 이를 바탕으로 복합명사를 분해하였으며, 분해 정확도는 단어 구성비를 반영하면 96.63%이다. 제안된 복합명사 분해 방법은 최소한의 데이터를 이용하여 복합명사 분해를 수행하였으며 트라이 자료구조를 사용해서 사전의 크기를 줄이고 사전의 검색 속도를 개선하였다. 그 결과로 임베디드 시스템과 같은 소형 기기의 환경에 적합한 복합명사 분해 시스템을 구현할 수 있었다.

  • PDF

Design and Implementation of Vocal Sound Variation Rules for Korean Language (한국어 음운 변동 처리 규칙의 설계 및 구현)

  • Lee, Gye-Young
    • The Transactions of the Korea Information Processing Society
    • /
    • v.5 no.3
    • /
    • pp.851-861
    • /
    • 1998
  • Korean language is to be characterized by the rich vocal sound variation. In order to increase the probability of vocal sound recognition and to provide a natural vocal sound synthesis, a systematic and thorough research into the characteristics of Korean language including its vocal sound changing rules is required. This paper addresses an effective way of vocal sound recognition and synthesis by providing the design and implementation of the Korean vocal sound variation rule. The regulation we followed for the design of the vocal sound variation rule is the Phonetic Standard(Section 30. Chapter 7) of the Korean Orthographic Standards. We have first factor out rules for each regulations, then grouped them into 27 groups for eaeh final-consonant. The Phonological Change Processing System suggested in the paper provides a fast processing ability for vocal sound variation by a single application of the rule. The contents of the process for information augmented to words or the stem of innected words are included in the rules. We believe that the Phonological Change Processing System will facilitate the vocal sound recognition and synthesis by the sentence. Also, this system may be referred as an example for similar research areas.

  • PDF

Scoring Korean Written Responses Using English-Based Automated Computer Scoring Models and Machine Translation: A Case of Natural Selection Concept Test (영어기반 컴퓨터자동채점모델과 기계번역을 활용한 서술형 한국어 응답 채점 -자연선택개념평가 사례-)

  • Ha, Minsu
    • Journal of The Korean Association For Science Education
    • /
    • v.36 no.3
    • /
    • pp.389-397
    • /
    • 2016
  • This study aims to test the efficacy of English-based automated computer scoring models and machine translation to score Korean college students' written responses on natural selection concept items. To this end, I collected 128 pre-service biology teachers' written responses on four-item instrument (total 512 written responses). The machine translation software (i.e., Google Translate) translated both original responses and spell-corrected responses. The presence/absence of five scientific ideas and three $na{\ddot{i}}ve$ ideas in both translated responses were judged by the automated computer scoring models (i.e., EvoGrader). The computer-scored results (4096 predictions) were compared with expert-scored results. The results illustrated that no significant differences in both average scores and statistical results using average scores was found between the computer-scored result and experts-scored result. The Pearson correlation coefficients of composite scores for each student between computer scoring and experts scoring were 0.848 for scientific ideas and 0.776 for $na{\ddot{i}}ve$ ideas. The inter-rater reliability indices (Cohen kappa) between computer scoring and experts scoring for linguistically simple concepts (e.g., variation, competition, and limited resources) were over 0.8. These findings reveal that the English-based automated computer scoring models and machine translation can be a promising method in scoring Korean college students' written responses on natural selection concept items.

Analysis on Sentence Error Types of Mathematical Problem Posing of Pre-Service Elementary Teachers (초등학교 예비교사들의 수학적 '문제 만들기'에 나타나는 문장의 오류 유형 분석)

  • Huh, Nan;Shin, Hocheol
    • Journal of the Korean School Mathematics Society
    • /
    • v.16 no.4
    • /
    • pp.797-820
    • /
    • 2013
  • This study intended on analyzing the error patterns of mathematic problem posing sentences by the 100 elementary pre-teachers and discussing about the solutions. The results showed that the problem posing sentences have five error patterns: phonological error patterns, word error patterns, sentence error patterns, meaning error patterns, and notation error patterns. Divided into fourteen specific error patterns, they are as in the following. 1) Phonological error patterns are consisted of the 'ㄹ' addition error pattern and the abbreviated word error pattern. 2) Words error patterns are divided with the inappropriate usage of word error pattern and the inadequate abbreviation error pattern, which are formulized four subgroups such as the case maker, ending of the word, inappropriate usage of word, and inadequate abbreviation of article or word error pattern in detail. 3) Sentence error patterns are assumed four kinds of forms: the reference, ellipsis of sentence component, word order, and incomplete sentence error pattern. 4) Meaning error patterns are composed the logical contradiction and the ambiguous meaning. 5) Notation error patterns are formed four patterns as the spacing, punctuation, orthography of Hangul, and spelling rules of foreign words in Korean. Furthermore, the solutions for these error patterns were discussed: First, it has to be perceived the differences between spoken and written language. Second, it has to be rejected the spoken expressions in written contexts. Third, it should be focused on the learning of the basic sentence patterns during the class. Forth, it is suggested that the word meaning should have the logical development perception based on what it means. Finally, it is proposed that the system of spelling of Korean has to be learned. In addition to these suggestions, a new understanding is necessary regarding writing education for college students.

  • PDF