• 제목/요약/키워드: 언어적 오류

검색결과 380건 처리시간 0.023초

말뭉치 오류를 고려한 HMM 한국어 품사 태깅 시스템 (A Korean POS Tagging System with Handling Corpus Errors)

  • 설용수;김동주;김규상;김한우
    • 한국컴퓨터정보학회지
    • /
    • 제15권1호
    • /
    • pp.117-124
    • /
    • 2007
  • 통계 기반 접근 방법을 이용한 품사태깅에서 태깅 정확도는 훈련 데이터의 양에 좌우될 뿐 아니라, 말뭉치가 충분할지라도 수작업으로 구축한 말뭉치의 경우 항상 오류의 가능성을 내포하고 있으며 언어의 특성상 통계적으로 신뢰할만한 데이터의 수집에도 어려움이 따른다. 훈련 데이터로 사용되는 말뭉치는 많은 사람들이 수작업으로 구축하므로 작업자 중 일부가 언어에 대한 지식이 부족하다거나 주관적인 판단에 의한 태깅 실수를 포함할 수도 있기 때문에 단순한 저빈도와 관련된 잡음 외의 오류들이 포함될 수 있는데 이러한 오류들은 재추정이나 평탄화 기법으로 해결될 수 있는 문제가 아니다. 본 논문에서는 HMM(Hidden Markov Model)을 이용한 한국어 품사 태깅에서 재추정 후 여전히 존재하는 말뭉치의 잡음에 인한 태깅 오류 해결을 위해 비터비 알고리즘적용 단계에서 데이터 부족과 말뭉치의 오류로 인해 문제가 되는 부분을 찾아내고 규칙을 통해 수정을 하여 태깅 결과를 개선하는 방안을 제안한다. 실험결과는 오류가 존재하는 말뭉치를 사용하여 구현된 HMM과 비터비 알고리즘을 적용한 태깅 정확도에 비해 오류를 수정하는 과정을 거친 후 정확도가 향상됨을 보여준다.

  • PDF

문법 오류 교정을 위한 적대적 학습 방법 (Adversarial Training for Grammatical Error Correction)

  • 권순철;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.446-449
    • /
    • 2020
  • 최근 성공적인 문법 오류 교정 연구들에는 복잡한 인공신경망 모델이 사용되고 있다. 그러나 이러한 모델을 훈련할 수 있는 공개 데이터는 필요에 비해 부족하여 과적합 문제를 일으킨다. 이 논문에서는 적대적 훈련 방법을 적용해 문법 오류 교정 분야의 과적합 문제를 해결하는 방법을 탐색한다. 모델의 비용을 증가시키는 경사를 이용한 fast gradient sign method(FGSM)와, 인공신경망을 이용해 모델의 비용을 증가시키기 위한 변동을 학습하는 learned perturbation method(LPM)가 실험되었다. 실험 결과, LPM은 모델 훈련에 효과가 없었으나, FGSM은 적대적 훈련을 사용하지 않은 모델보다 높은 F0.5 성능을 보이는 것이 확인되었다.

  • PDF

동적 프로그래밍을 이용한 OCR에서의 띄어쓰기 교정 (Using Dynamic Programming for Word Segmentation in OCR)

  • 박호민;김창현;노경목;천민아;김재훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.243-245
    • /
    • 2016
  • 광학 문자 인식(OCR)을 통해 문서의 글자를 인식할 때 띄어쓰기 오류가 발생한다. 본 논문에서는 이를 해결하기 위해 OCR의 후처리 과정으로 동적 프로그래밍을 이용한 분절(Segmentation) 방식의 띄어쓰기 오류 교정 시스템을 제안한다. 제안하는 시스템의 띄어쓰기 오류 교정 과정은 다음과 같다. 첫째, 띄어쓰기 오류가 있다고 분류된 어절 내의 공백을 모두 제거한다. 둘째, 공백이 제거된 문자열을 동적 프로그래밍을 이용한 분절로 입력 문자열에 대하여 가능한 모든 띄어쓰기 후보들을 찾는다. 셋째, 뉴스 기사 말뭉치와 그 말뭉치에 기반을 둔 띄어쓰기 확률 모델을 참조하여 각 후보의 띄어쓰기 확률을 계산한다. 마지막으로 띄어쓰기 후보들 중 확률이 가장 높은 후보를 교정 결과로 제시한다. 본 논문에서 제안하는 시스템을 이용하여 OCR의 띄어쓰기 오류를 해결할 수 있었다. 향후 띄어쓰기 오류 교정에 필요한 언어 규칙 등을 시스템에 추가한 띄어쓰기 교정시스템을 통하여 OCR의 최종적인 인식률을 향상에 대해 연구할 예정이다.

  • PDF

청각장애아동의 특성에 적합한 웹기반 언어학습 시스템 연구 (A Study on the Web-based Language Learning System for Hearing Impaired children)

  • 금경애;권오준;김태석
    • 한국멀티미디어학회:학술대회논문집
    • /
    • 한국멀티미디어학회 2003년도 추계학술발표대회(하)
    • /
    • pp.839-843
    • /
    • 2003
  • 듣고 발화하는 과정을 통해 언어를 재구성해가는 건청아동과는 달리 청각장애 아동은 청력의 상실로 인해 언어습득의 선천적 매커니즘이 작용될 수 없으며 이는 청각장애아동의 언어능력향상을 위한 웹기반언어학습이 의도적으로 구성되어야 항을 의미한다. 동작이나 상황을 나타내는 말을 동적으로 구현하여 사물 및 행동에 대한 관찰력을 증진시키고 주도적으로 상황언어를 익힐 수 있도록 유도하는 시스템 구성이 필요하며 대체사고 전략을 활용하고 얼굴표정과 반대어와 대비어를 강조해야 함이 웹기반 언어학습을 통한 청각장애아동의 문법적 오류를 감소시키는 효과적 방법임을 이 논문을 통해 제안하고자 한다.

  • PDF

띄어쓰기 및 철자 오류 동시교정을 위한 통계적 모델 (A joint statistical model for word spacing and spelling error correction)

  • 노형종;차정원;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2006년도 제18회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.25-31
    • /
    • 2006
  • 본 논문에서는 띄어쓰기 오류와 철자 오류를 동시에 교정 가능한 전처리기를 제안한다. 제시된 알고리즘은 기존의 전처리기 알고리즘이 각 오류를 따로 해결하는 데에서 오는 한계를 극복하고, 기존의 noisy-channel model을 확장하여 대화체의 띄어쓰기 오류와 철자오류를 동시에 효과적으로 교정할 수 있다. N-gram과 자소변환확률 등의 통계적 방법과 어절변환패턴 사전을 이용하여 최대한 사전을 적게 이용하면서도 효과적으로 교정 후보들을 생성할 수 있다. 실험을 통해 현재 단계에서는 만족할 만한 성능을 얻지는 못하였지만 오류 분석을 통하여 이와 같은 방법론이 실제로 효용성이 있음을 알 수 있었고 앞으로 더 많은 개선을 통해 일상적인 대화체 문장에 대해서 효과적인 전처리기로서 기능할 수 있을 것으로 기대 된다.

  • PDF

형태소간의 의존 관계에 따른 오류 유형 추정 함수를 이용한 한국어 철자 오류 교정 (Korean Spell Correction Using Collocation of Morphemes)

  • 심철민;권혁철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1994년도 제6회 한글 및 한국어정보처리 학술대회
    • /
    • pp.493-498
    • /
    • 1994
  • 기존 철자 검사/교정기들은 한 어절을 구성하는 형태소들의 품사 정도만을 이용하고 있다. 때문에 철자 검사나 교정의 정확도 면에서 한계를 가진다. 본 논문에서는 한국어의 구문적 연관 관계 및 구문 내에 존재하는 단어들 간의 의미적 연관관계 등을 바탕으로 오류 유형을 추정하는 오류 유형 추정 함수를 제안하고, 이를 이용한 철자 교정기를 구현하였다. 본 논문에서 구현한 오류 유형 추정 함수를 이용한 철자 검사/교정기는 한 어절에 국한되었던 철자 검사/교정의 범위를 여러 어절로 확장하고자 하는 시도의 시발이라 할 수 있다. 따라서 구문 검사 및 의미 검사를 수행하는 문체 검사기의 원형으로서 그 의의를 가진다.

  • PDF

언어변이와 세계영어들 (Language Variation and World Englishes)

  • 김양순
    • 문화기술의 융합
    • /
    • 제7권1호
    • /
    • pp.234-239
    • /
    • 2021
  • 본 연구는 언어의 본질인 언어변이의 주된 방향성을 탐색하고 언어변이의 결과로 나타나는 영어의 모든 방언들, 즉 세계영어들을 연구하는 것이다. 특정지역에서 사용되는 지역적, 사회적 방언의 연구인 언어변이의 특성을 규명하기 위하여 하이브리드 언어변이모델을 제안한다. 사회적 거리두기, 대면과 비대면 소통모드, 그리고 언어적 다양성이라는 세 가지 상호영향자의 관점에서 하이브리드 언어변이모델을 제안하고 언어변이의 결과로 나타나는 세계적 영어방언 현상인 세계영어들의 다양성 특질을 연구한다. 세계영어들의 문맥에서 지역화 목적으로 영어가 어떻게 사용되는가를 살펴보면, 사회적 거리두기가 높은 비대면의 상황에서는 다양성이 감소하여 좀 더 표준적이며 글로벌한 영어가 사용되며 변이가 줄어 세계영어들의 확장 속도가 완만해진다. 동시에 지역적인 사용이 줄어들어 의사소통의 오류도 줄어든다. 반면 사회적 거리두기가 낮은 대면의 상황에서는 세계영어들의 확장 속도가 빨라지고 변이의 형태가 다양해지며 의사소통의 오류 또한 증가한다. 이러한 영어변이 현상의 특성을 살펴보기 위하여 세계영어들의 핵심 원이라고 할 수 있는 영국영어, 미국영어, 그리고 캐나다영어의 언어적, 사회적 변이의 사례를 비교 분석한다.

중등학교에서 자기 주도적 프로그래밍 학습 환경 구축을 위한 오류분석 지원 시스템 제안 (Suggest on Error Analysis Supporting System for Constructing Self-directed Learning Environment to Programming Language in Secondary School)

  • 이재영;유병건;이원규
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 춘계학술발표대회
    • /
    • pp.361-363
    • /
    • 2016
  • 전 세계적으로 프로그래밍 교육에 대한 관심이 증가에 따라 프로그래밍 교육에 대한 중요도와 평가도 중요해졌다. ACM-ICPC 프로그래밍 대회 같은 여러 프로그래밍 대회가 있고 대회 출전을 돕기 위한 온라인 평가 시스템이 전형적인 예이다. 이런 온라인 평가 시스템들을 참고하여 중등학교 학생의 프로그래밍 언어 학습에 도움을 줄 수 있는 프로그램을 설계하기 위한 오류분석 지원 시스템을 제안한다. 본 연구에서는 오류분석 지원 시스템을 통하여 프로그래밍 언어 학습을 함에 있어서 발생할 수 있는 오류들을 분석하여 실제 프로그래밍 교육 환경에 도움을 주고자 한다.

C언어 기반 프로그램의 동적 메모리 접근 오류 테스트 자동화 도구 설계 (Design of an Automated Testing Tool to Detect Dynamic Memory Access Errors in C Programs)

  • 조대완;오승욱;김현수
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제34권8호
    • /
    • pp.708-720
    • /
    • 2007
  • 메모리 접근연산으로부터 발생되는 프로그램 오류는 C언어로 작성된 테스트 대상 프로그램에서 가장 빈번하게 발생하는 오류이다[1,2]. 기존연구를 통해 이런 문제점을 해결하기 위한 다양한 메모리 오류 자동검출 방법들이 제안되었다. 하지만 기존의 오류검출방법은 테스트 대상 프로그램에 가해지는 부가적인 오버헤드가 매우 크거나 검출할 수 있는 메모리 접근오류의 종류가 제한적이다. 또한 메모리 할당함수의 내부구현에 의존성을 갖고 있기 때문에 플랫폼 간 이식성(portability)이 떨어지는 단점을 갖고 있다. 본 연구에서는 이러한 문제점을 해결하기 위해 새로운 메모리 접근오류 검출기법을 제안하고 테스트 자동화 도구를 설계하였다.

포화 용액 개념 학습에서 비유 표현 방식과 언어적 학습 양식에 따른 비유 사용 수업의 효과 (The Effects of Instructions Using Analogies in Learning the Concept of Saturated Solution by Analogy Presentation Types and Verbal Learning Styles)

  • 강훈식;서지혜
    • 한국과학교육학회지
    • /
    • 제32권2호
    • /
    • pp.402-414
    • /
    • 2012
  • 이 연구에서는 포화 용액 개념 학습에서 비유 표현방식과 언어적 학습 양식에 따른 비유 사용 수업의 효과를 대응 관계 이해도, 대응 오류, 수업에 대한 인식 측면에서 조사했다. 1개 초등학교 5학년 학생 123명을 선정하여 VA 집단(n=63)과 VPA 집단(n=60)으로 배치했다. 사전 검사로 언어적 학습 양식 검사를 실시했다. VA 집단의 학생들은 글로만 표현된 비유로 목표 개념을 학습했고, VPA 집단의 학생들은 글과 그림으로 표현된 비유로 목표 개념을 학습했다. 목표 개념 학습 후, 대응 관계 이해도 검사를 실시했다. VPA 집단 학생들에게는 수업에 대한 인식 검사도 실시했으며, 일부 학생들을 대상으로 심층 면담도 실시했다. 연구 결과, 언어적 학습 선호 학생들의 경우 VPA 집단의 점수가 VA 집단의 점수보다 낮았으며, 그 차이가 통계적으로 유의미했다. 반면, 언어적 학습 비선호 학생들의 경우에는 두 집단 간 점수 차이가 통계적으로 유의미하지 않았다. 대응 불이행, 부적절한 대응, 무분별한 대응, 불가능한 대응, 표면적 속성 대응의 다섯 가지 대응 오류 유형이 나타났다. 언어적 학습양식에 따라 두 집단의 대응 오류 유형별 발생 빈도가 다른 양상을 보였다. 언어적 학습 양식에 관계없이 VPA 집단의 많은 학생들이 글과 그림으로 표현된 비유를 통해 학습하는 것에 대해 다양한 인지적 동기적 측면에서 긍정적으로 인식했으나, 일부 학생들은 몇 가지 어려움을 지적하기도 했다. 이에 대한 교육학적 함의를 논의했다.