• 제목/요약/키워드: 언어적 오류

Search Result 380, Processing Time 0.035 seconds

A Korean POS Tagging System with Handling Corpus Errors (말뭉치 오류를 고려한 HMM 한국어 품사 태깅 시스템)

  • Seol, Yong-Soo;Kim, Dong-Joo;Kim, Kyu-Sang;Kim, Han-Woo
    • KSCI Review
    • /
    • v.15 no.1
    • /
    • pp.117-124
    • /
    • 2007
  • 통계 기반 접근 방법을 이용한 품사태깅에서 태깅 정확도는 훈련 데이터의 양에 좌우될 뿐 아니라, 말뭉치가 충분할지라도 수작업으로 구축한 말뭉치의 경우 항상 오류의 가능성을 내포하고 있으며 언어의 특성상 통계적으로 신뢰할만한 데이터의 수집에도 어려움이 따른다. 훈련 데이터로 사용되는 말뭉치는 많은 사람들이 수작업으로 구축하므로 작업자 중 일부가 언어에 대한 지식이 부족하다거나 주관적인 판단에 의한 태깅 실수를 포함할 수도 있기 때문에 단순한 저빈도와 관련된 잡음 외의 오류들이 포함될 수 있는데 이러한 오류들은 재추정이나 평탄화 기법으로 해결될 수 있는 문제가 아니다. 본 논문에서는 HMM(Hidden Markov Model)을 이용한 한국어 품사 태깅에서 재추정 후 여전히 존재하는 말뭉치의 잡음에 인한 태깅 오류 해결을 위해 비터비 알고리즘적용 단계에서 데이터 부족과 말뭉치의 오류로 인해 문제가 되는 부분을 찾아내고 규칙을 통해 수정을 하여 태깅 결과를 개선하는 방안을 제안한다. 실험결과는 오류가 존재하는 말뭉치를 사용하여 구현된 HMM과 비터비 알고리즘을 적용한 태깅 정확도에 비해 오류를 수정하는 과정을 거친 후 정확도가 향상됨을 보여준다.

  • PDF

Adversarial Training for Grammatical Error Correction (문법 오류 교정을 위한 적대적 학습 방법)

  • Kwon, Soonchoul;Lee, Gary Geunbae
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.446-449
    • /
    • 2020
  • 최근 성공적인 문법 오류 교정 연구들에는 복잡한 인공신경망 모델이 사용되고 있다. 그러나 이러한 모델을 훈련할 수 있는 공개 데이터는 필요에 비해 부족하여 과적합 문제를 일으킨다. 이 논문에서는 적대적 훈련 방법을 적용해 문법 오류 교정 분야의 과적합 문제를 해결하는 방법을 탐색한다. 모델의 비용을 증가시키는 경사를 이용한 fast gradient sign method(FGSM)와, 인공신경망을 이용해 모델의 비용을 증가시키기 위한 변동을 학습하는 learned perturbation method(LPM)가 실험되었다. 실험 결과, LPM은 모델 훈련에 효과가 없었으나, FGSM은 적대적 훈련을 사용하지 않은 모델보다 높은 F0.5 성능을 보이는 것이 확인되었다.

  • PDF

Using Dynamic Programming for Word Segmentation in OCR (동적 프로그래밍을 이용한 OCR에서의 띄어쓰기 교정)

  • Park, Ho-Min;Kim, Chang-Hyun;Noh, Kyung-Mok;Cheon, Min-Ah;Kim, Jae-Hoon
    • Annual Conference on Human and Language Technology
    • /
    • 2016.10a
    • /
    • pp.243-245
    • /
    • 2016
  • 광학 문자 인식(OCR)을 통해 문서의 글자를 인식할 때 띄어쓰기 오류가 발생한다. 본 논문에서는 이를 해결하기 위해 OCR의 후처리 과정으로 동적 프로그래밍을 이용한 분절(Segmentation) 방식의 띄어쓰기 오류 교정 시스템을 제안한다. 제안하는 시스템의 띄어쓰기 오류 교정 과정은 다음과 같다. 첫째, 띄어쓰기 오류가 있다고 분류된 어절 내의 공백을 모두 제거한다. 둘째, 공백이 제거된 문자열을 동적 프로그래밍을 이용한 분절로 입력 문자열에 대하여 가능한 모든 띄어쓰기 후보들을 찾는다. 셋째, 뉴스 기사 말뭉치와 그 말뭉치에 기반을 둔 띄어쓰기 확률 모델을 참조하여 각 후보의 띄어쓰기 확률을 계산한다. 마지막으로 띄어쓰기 후보들 중 확률이 가장 높은 후보를 교정 결과로 제시한다. 본 논문에서 제안하는 시스템을 이용하여 OCR의 띄어쓰기 오류를 해결할 수 있었다. 향후 띄어쓰기 오류 교정에 필요한 언어 규칙 등을 시스템에 추가한 띄어쓰기 교정시스템을 통하여 OCR의 최종적인 인식률을 향상에 대해 연구할 예정이다.

  • PDF

A Study on the Web-based Language Learning System for Hearing Impaired children (청각장애아동의 특성에 적합한 웹기반 언어학습 시스템 연구)

  • 금경애;권오준;김태석
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2003.11b
    • /
    • pp.839-843
    • /
    • 2003
  • 듣고 발화하는 과정을 통해 언어를 재구성해가는 건청아동과는 달리 청각장애 아동은 청력의 상실로 인해 언어습득의 선천적 매커니즘이 작용될 수 없으며 이는 청각장애아동의 언어능력향상을 위한 웹기반언어학습이 의도적으로 구성되어야 항을 의미한다. 동작이나 상황을 나타내는 말을 동적으로 구현하여 사물 및 행동에 대한 관찰력을 증진시키고 주도적으로 상황언어를 익힐 수 있도록 유도하는 시스템 구성이 필요하며 대체사고 전략을 활용하고 얼굴표정과 반대어와 대비어를 강조해야 함이 웹기반 언어학습을 통한 청각장애아동의 문법적 오류를 감소시키는 효과적 방법임을 이 논문을 통해 제안하고자 한다.

  • PDF

A joint statistical model for word spacing and spelling error correction (띄어쓰기 및 철자 오류 동시교정을 위한 통계적 모델)

  • Noh, Hyung-Jong;Cha, Jeong-Won;Lee, Gary Geun-Bae
    • Annual Conference on Human and Language Technology
    • /
    • 2006.10e
    • /
    • pp.25-31
    • /
    • 2006
  • 본 논문에서는 띄어쓰기 오류와 철자 오류를 동시에 교정 가능한 전처리기를 제안한다. 제시된 알고리즘은 기존의 전처리기 알고리즘이 각 오류를 따로 해결하는 데에서 오는 한계를 극복하고, 기존의 noisy-channel model을 확장하여 대화체의 띄어쓰기 오류와 철자오류를 동시에 효과적으로 교정할 수 있다. N-gram과 자소변환확률 등의 통계적 방법과 어절변환패턴 사전을 이용하여 최대한 사전을 적게 이용하면서도 효과적으로 교정 후보들을 생성할 수 있다. 실험을 통해 현재 단계에서는 만족할 만한 성능을 얻지는 못하였지만 오류 분석을 통하여 이와 같은 방법론이 실제로 효용성이 있음을 알 수 있었고 앞으로 더 많은 개선을 통해 일상적인 대화체 문장에 대해서 효과적인 전처리기로서 기능할 수 있을 것으로 기대 된다.

  • PDF

Korean Spell Correction Using Collocation of Morphemes (형태소간의 의존 관계에 따른 오류 유형 추정 함수를 이용한 한국어 철자 오류 교정)

  • Sim, Chul-Min;Kwon, Hyuk-Chul
    • Annual Conference on Human and Language Technology
    • /
    • 1994.11a
    • /
    • pp.493-498
    • /
    • 1994
  • 기존 철자 검사/교정기들은 한 어절을 구성하는 형태소들의 품사 정도만을 이용하고 있다. 때문에 철자 검사나 교정의 정확도 면에서 한계를 가진다. 본 논문에서는 한국어의 구문적 연관 관계 및 구문 내에 존재하는 단어들 간의 의미적 연관관계 등을 바탕으로 오류 유형을 추정하는 오류 유형 추정 함수를 제안하고, 이를 이용한 철자 교정기를 구현하였다. 본 논문에서 구현한 오류 유형 추정 함수를 이용한 철자 검사/교정기는 한 어절에 국한되었던 철자 검사/교정의 범위를 여러 어절로 확장하고자 하는 시도의 시발이라 할 수 있다. 따라서 구문 검사 및 의미 검사를 수행하는 문체 검사기의 원형으로서 그 의의를 가진다.

  • PDF

Language Variation and World Englishes (언어변이와 세계영어들)

  • Kim, Yangsoon
    • The Journal of the Convergence on Culture Technology
    • /
    • v.7 no.1
    • /
    • pp.234-239
    • /
    • 2021
  • The purpose of this paper is to find out the nature of language variation by exploring the ways of the progress of the language variation that produces all English-lects, i.e., the World Englishes. The study of language variation in linguistics is a hybrid enterprise, so the study of World Englishes has led to the recognition of a highly diverse set of all English-lects, encompassing regional dialects, sociolects, ethnolects and (post-)colonial dialects of World Englishes. In this paper, we propose a hybrid language variation model with three interacting factors of social distancing, on/off-contact, and linguistic diversity to examine the characteristics of language variation. In the context of World Englishes, the social distance is typically low in terms of their local location (country/speech) for local purposes. The social distance also varies based on online/offline communication modes and other social factors like gender, age and ethnic groups, resulting in all English-lects. To clarify the nature of World Englishes, the core Englishes, BrE, AmE and CanE are discussed here.

Suggest on Error Analysis Supporting System for Constructing Self-directed Learning Environment to Programming Language in Secondary School (중등학교에서 자기 주도적 프로그래밍 학습 환경 구축을 위한 오류분석 지원 시스템 제안)

  • Lee, JaeYoung;Yu, ByeongGeon;Lee, WonGyu
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2016.04a
    • /
    • pp.361-363
    • /
    • 2016
  • 전 세계적으로 프로그래밍 교육에 대한 관심이 증가에 따라 프로그래밍 교육에 대한 중요도와 평가도 중요해졌다. ACM-ICPC 프로그래밍 대회 같은 여러 프로그래밍 대회가 있고 대회 출전을 돕기 위한 온라인 평가 시스템이 전형적인 예이다. 이런 온라인 평가 시스템들을 참고하여 중등학교 학생의 프로그래밍 언어 학습에 도움을 줄 수 있는 프로그램을 설계하기 위한 오류분석 지원 시스템을 제안한다. 본 연구에서는 오류분석 지원 시스템을 통하여 프로그래밍 언어 학습을 함에 있어서 발생할 수 있는 오류들을 분석하여 실제 프로그래밍 교육 환경에 도움을 주고자 한다.

Design of an Automated Testing Tool to Detect Dynamic Memory Access Errors in C Programs (C언어 기반 프로그램의 동적 메모리 접근 오류 테스트 자동화 도구 설계)

  • Cho, Dae-Wan;Oh, Seung-Uk;Kim, Hyeon-Soo
    • Journal of KIISE:Software and Applications
    • /
    • v.34 no.8
    • /
    • pp.708-720
    • /
    • 2007
  • Memory access errors are frequently occurred in computer programs written in C programming language [1,2]. Accordingly, a number of research works have suggested a wide variety of methods to detect such errors automatically. However, they have one or more of the following problems: inability to detect all memory errors, changing the memory allocation mechanism, and excessive performance overhead. To cope with these problems, in this paper we suggest a new and automated tool to detect dynamic memory access errors in C programs.

The Effects of Instructions Using Analogies in Learning the Concept of Saturated Solution by Analogy Presentation Types and Verbal Learning Styles (포화 용액 개념 학습에서 비유 표현 방식과 언어적 학습 양식에 따른 비유 사용 수업의 효과)

  • Kang, Hun-Sik;Seo, Ji-Hye
    • Journal of The Korean Association For Science Education
    • /
    • v.32 no.2
    • /
    • pp.402-414
    • /
    • 2012
  • This study investigated the effects of the instructions using analogies in learning the concept of saturated solution by the analogy presentation types and the verbal learning styles upon the mapping understanding, the mapping errors, and the perceptions of the instruction. Fifth graders (N=123) at an elementary school were selected and assigned to VA (n=63) and VPA (n=60) groups. As a pretest, a test on the verbal learning style was administered. The students in the VA group learned the target concept with a verbal analogy, while those in the VPA group learned it with a verbal/pictorial analogy. After the students learned it, a mapping understanding test was administered. The students in the VPA group also administered the test on the perceptions of the instruction and some of them were interviewed in depth. The results revealed that the scores of the students with strong verbal learning preference in the VPA group were significantly lower than those in the VA group in the mapping understanding test. However, the scores of the students with weak verbal learning preference were not significantly different between the two groups. Five types of mapping errors were identified: failure to map, mismapping, rash mapping, impossible mapping, and mapping of a surficial feature. According to students' verbal learning styles, there were some differences in the frequencies of mapping errors in the two groups. Many students in the VPA group, regardless of their verbal learning styles, had positive perceptions of the instruction in various cognitive and motivational aspects. However, some of them also pointed out a few difficulties of the instruction. Educational implications of these findings are discussed.