• 제목/요약/키워드: sentence processing

검색결과 323건 처리시간 0.025초

Korean automatic spacing using pretrained transformer encoder and analysis

  • Hwang, Taewook;Jung, Sangkeun;Roh, Yoon-Hyung
    • ETRI Journal
    • /
    • 제43권6호
    • /
    • pp.1049-1057
    • /
    • 2021
  • Automatic spacing in Korean is used to correct spacing units in a given input sentence. The demand for automatic spacing has been increasing owing to frequent incorrect spacing in recent media, such as the Internet and mobile networks. Therefore, herein, we propose a transformer encoder that reads a sentence bidirectionally and can be pretrained using an out-of-task corpus. Notably, our model exhibited the highest character accuracy (98.42%) among the existing automatic spacing models for Korean. We experimentally validated the effectiveness of bidirectional encoding and pretraining for automatic spacing in Korean. Moreover, we conclude that pretraining is more important than fine-tuning and data size.

한영 번역 시스템을 위한 문틀 기반 번역 방식의 실현성 분석 (An Analysis of Feasibility of Sentence Frame Based Method for Korean to English Translation System)

  • 김영길;서영애;서광준;최승권
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 추계학술발표논문집 (상)
    • /
    • pp.261-264
    • /
    • 2000
  • 지금까지의 한영 번역 방식은 규칙 기반 방식이 주를 이루었지만 현재 패턴을 이용한 번역 방식이 활발히 연구되고 있다. 그러나 패턴 기반 방식은 그 적용성(Coverage)에 대한 치명적인 단점을 지닌다. 따라서 본 논문에서는 한국어 패턴을 어절 단위의 일반 문틀과 동사구를 중심으로 하는 용언중심의 문틀로 나누어 각 패턴들에 대한 적용성 및 실현성을 조사한다. 실험은 기존의 형태소 분석기를 이용하여 방송 자막 문장 351,806 문장을 대상으로 자동으로 문틀을 구축하여 4,995 문장의 테스트 데이터에 대한 적용성 검사를 실시하였다. 즉 본 논문에서는 방송 자막 문장을 대상으로 한영번역을 위한 일반 문틀 및 용언 중심의 문틀 방식의 적용성을 조사하여 문틀 기반 방식의 실현성을 평가하고 앞으로의 한영 번역 시스템 개발 방향을 제시한다.

  • PDF

한국어 단어 및 문장 분류 태스크를 위한 분절 전략의 효과성 연구 (A Comparative study on the Effectiveness of Segmentation Strategies for Korean Word and Sentence Classification tasks)

  • 김진성;김경민;손준영;박정배;임희석
    • 한국융합학회논문지
    • /
    • 제12권12호
    • /
    • pp.39-47
    • /
    • 2021
  • 효과적인 분절을 통한 양질의 입력 자질 구성은 언어모델의 문장 이해력을 향상하기 위한 필수적인 단계이다. 입력 자질의 품질 제고는 세부 태스크의 성능과 직결된다. 본 논문은 단어와 문장 분류 관점에서 한국어의 언어적 특징을 효과적으로 반영하는 분절 전략을 비교 연구한다. 분절 유형은 언어학적 단위에 따라 어절, 형태소, 음절, 자모 네 가지로 분류하며, RoBERTa 모델 구조를 활용하여 사전학습을 진행한다. 각 세부 태스크를 분류 단위에 따라 문장 분류 그룹과 단어 분류 그룹으로 구분 지어 실험함으로써, 그룹 내 경향성 및 그룹 간 차이에 대한 분석을 진행한다. 실험 결과에 따르면, 문장 분류에서는 단위의 언어학적 분절 전략을 적용한 모델이 타 분절 전략 대비 최대 NSMC: +0.62%, KorNLI: +2.38%, KorSTS: +2.41% 높은 성능을, 단어 분류에서는 음절 단위의 분절 전략이 최대 NER: +0.7%, SRL: +0.61% 높은 성능을 보임으로써, 각 분류 그룹에서의 효과성을 보여준다.

온라인 방식의 자연언어 해석기 설계 (Design of On-Line Natural Language Parser)

  • 우요섭;최병욱
    • 전자공학회논문지B
    • /
    • 제31B권3호
    • /
    • pp.14-23
    • /
    • 1994
  • A natural language processing system usually has the demerit that its processing time is relatively long. If an interactive system makes its user kept waiting long, it can't be said to be practical. In this paper, the on-line natural language parser in which its processing coincides with the sentence's inputting is designed. Since the greater part of morpholgical and syntatic semantic analysis is already performed during the keyboard input, user can get a prompt response. Moreover, the Korean parser is implemented in multitasking environment, and it is compared with an off-line parser. The on-line parser can be considered to be efficient for its real time processing.

  • PDF

문장 따라말하기에서 말속도, 발화길이 및 통사적 복잡성에 따른 말더듬 아동과 일반아동의 비유창성 비교 (The influences of speech rate, utterance length and sentence complexity of disfluency in preschool children who stutter and children who do not stutter)

  • 김예슬;심현섭
    • 말소리와 음성과학
    • /
    • 제13권1호
    • /
    • pp.53-64
    • /
    • 2021
  • 요구용량 모델에 의하면 말더듬 아동의 비유창성은 외적, 내적 환경에 영향을 받아 나타나는 것으로 알려져 있다. 본 연구의 목적은 외적 환경 중 언어적인 환경(말속도, 발화길이 및 통사적 복잡성)의 변화에 따른 말더듬 아동과 일반아동의 비유창성 차이를 비교 분석하려고 한다. 연구대상은 4-6세 말더듬 아동 9명, 일반아동 9명이었다. 연구 과제로 문장 따라말하기 과제를 실시하여 말더듬 아동과 일반 아동의 비유창성 빈도를 구하였다. 두 그룹의 비유창성 차이를 분석한 결과, 발화길이를 조절했을 때 평균 말속도에서 말더듬 아동은 발화길이와 상관없이 일반 아동보다 비유창성이 더 많이 나타났다. 말속도를 조절 때 말더듬 아동은 빠른 말속도에서 일반아동보다 많은 비유창성을 보였다. 그리고 말속도와 발화길이를 조절했을 시 빠른 말속도에서 말더듬 아동은 발화길이와 상관없이 일반아동보다 높은 비유창성을 보였다. 통사적 복잡성을 조절했을 때는 복문에서 말더듬 아동이 일반아동보다 더 많은 비유창성을 보였다. 말더듬 아동은 말속도, 발화길이 그리고 통사적 복잡성에 따라 비유창성에 영향을 받는 것으로 나타났다. 이는 말더듬 아동은 말운동 조절 그리고 언어처리 능력이 일반아동보다 취약한 것으로 보인다. 따라서 임상에서 말더듬 아동 치료 시 치료사와 부모가 말속도와 발화길이를 아동의 수준에 맞춰 진행하는 것이 중요한 것으로 확인되었다.

한국어 서사 텍스트 처리의 다중 표상과 구성 통합 이론: 주제어 연속성에 대한 양태 어미의 형태 통사적, 담화 화용적 기능 (A Multi-level Representation of the Korean Narrative Text Processing and Construction-Integration Theory: Morpho- syntactic and Discourse-Pragmatic Effects of Verb Modality on Topic Continuity)

  • 조숙환;김세영
    • 인지과학
    • /
    • 제17권2호
    • /
    • pp.103-118
    • /
    • 2006
  • 본 논문은 구성 통합 이론(Kintsch, 1988, Singer & Kintsch 2001, Graesser, Gernsbacher, & Goldman, 2003)을 토대로 주제어 연속성의 강도와 양태 어미 단서가 이야기 서사 텍스트에 쓰인 공주어 해석에 어떻게 이용되는지 검토했다. 실험 연구에는 명시적 조건과 중립적 조건 등 두 조건이 생성되었는데, 명시적 조건에는, 중립적 조건과는 달리, 주제어가 일관성 있게 유지되었고 또한 동사 어미의 형태 통사적 특징이 인칭과 일치되었다. 이 실험에는 59명의 대학생들이 다음 세 가지 과제에 참여했다. 실험은 첫째, 주어가 생략된 경우 피험자가 시험 문장(target sentence)을 읽는데 소요되는 시간을 측정했고, 둘째, 공주어의 해석, 즉, 선행사 (참조대상) 선택에 소요되는 반응 시간을 측정했으며, 셋째, 선행사 선정의 정답율을 분석했다. 실험 결과, 텍스트 처리과정에서 인칭과 같은 형태 통사적 조건이 유의미한 결과를 낳았으며, 또한, 주제어 연속성 조건의 효과가 형태 통사 조건에 따라 선택적인 양상을 보였다. 즉, 주제어가 지속적으로 연결되는 동안 화용적 맥락, 담화자의 사전 정보, 추론 등과 같은 총체적 정보와 주어, 동사 어미의 인칭과 같은 어휘적, 지엽적인 형태 통사적인 정보가 선행사 해석에 핵심적인 역할을 했다. 따라서, 이 실험 결과는 최소주의 가설 보다 공명 기반 모델을 지지한다.

  • PDF

한국어에서 의존 구문분석을 위한 구묶음의 활용 (Exploiting Chunking for Dependency Parsing in Korean)

  • 남궁영;김재훈
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권7호
    • /
    • pp.291-298
    • /
    • 2022
  • 본 논문은 한국어에 대해서 구묶음을 수행한 후에 의존구조를 분석하는 방법을 제안한다. 의존구조 분석은 단어의 지배어를 결정하는 과정이다. 지배어를 정할 때, 문법적인 지배어를 정할 것인지 의미적인 지배어를 정할 것인지가 고질적인 문제이다. 일반적으로는 문법적인 지배어를 정하고 있다. 예를 들면 문장 "밥을 먹고 싶다"에서 어절 "먹고"의 지배어로 "싶다"를 정한다. 그러나 "싶다"는 보조용언으로 의미적으로 지배어가 될 수 없다. 이와 같은 방법으로 구문을 분석하면 의미분석을 위해서 또 다른 변환이 있어야 한다. 본 논문에서는 이런 문제를 다소 완화하기 위해서 구묶음을 수행한 후에 구문을 분석하는 방법을 제안한다. 구묶음은 문장을 구성성분 단위로 분할하는 과정이며 구성성분은 내용어 말덩이와 기능어 말덩이로 구성된다. 구묶음을 수행하면 구문 분석의 입력이 되는 문장 성분의 수가 줄어들므로 구문 분석 속도가 개선될 수 있으며, 문장에서 중심어를 중심으로 하나의 말덩이로 묶이므로 말덩이에 대해서만 그 의존 관계를 파악할 수 있어 구문 분석의 효율성을 높일 수 있다. 본 논문은 세종의존말뭉치를 사용해서 성능을 분석했으며 UAS와 LAS가 각각 86.48%와 84.56%였으며 입력의 노드 수도 약 22% 정도 줄일 수 있었다.

정보 추출을 위한 이벤트 문장 추출 (Event Sentence Extraction for Information Extraction)

  • 김태현;임수종;윤보현;박상규
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2002년도 제14회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.325-331
    • /
    • 2002
  • 정보추출 시스템의 목적은 관심의 대상이 되는 특정 정보를 선택적으로 찾아내 제시하는데 있다. 따라서 도메인 정보에 의존적인 방법으로 정보추출이 이루어질 수밖에 없고, 이에 따른 도메인 정보 구축의 부담이 컸다. 이러한 부담을 줄이기 위해 본 연구에서는 특정 주제영역과 관련한 문서로부터 자동으로 이벤트 문장을 추출하는 시스템을 제안한다. 이벤트 문장이란, 특정도메인에서 다루어지는 이벤트의 구체적인 내용을 포함하고 있는 문장이다. 이러한 문장을 추출함으로써 기본적인 수준의 정보추출 요구를 만족시킬 수 있을 뿐만 아니라, 주출된 이벤트 문장을 도메인 정보 구축에 활용할 수 있을 것이다. 본 연구에서는 동사, 명사, 명사구, 및 3W 자질을 이용하여 문장추출의 성능을 최대화하기 위한 방안을 제안하고, 세 개의 평가 도메인을 대상으로 실험을 수행하였다. 실험 결과, when 및 where 자질과 동사, 명사. 명사구의 가중치를 이용하여 문장 가중치를 계산함으로써 최적의 이벤트 문장추출 성능을 얻을 수 있음을 알 수 있었다.

  • PDF

입력 문장의 띄어쓰기를 고려한 음절 바이그램 띄어쓰기 모델 (Automatic Word Spacer based on Syllable Bi-gram Model using Word Spacing Information of an Input Sentence)

  • 조한철;이도길;임해창
    • 한국인지과학회:학술대회논문집
    • /
    • 한국인지과학회 2006년도 춘계학술대회
    • /
    • pp.67-71
    • /
    • 2006
  • 현재까지 제안된 자동 띄어쓰기 교정 모델들은 그 중의 대다수가 입력 문장에서 공백을 제거한 후에 교정 작업을 수행한다. 이러한 교정 방식은 입력 문장의 띄어쓰기가 잘 되어 있는 경우에 입력 문장보다 좋지 못한 교정 문장을 생성하는 경우가 있다. 본 논문에서는 이러한 문제점을 해결하기 위하여 입력 문장의 띄어쓰기를 고려한 자동 띄어쓰기 교정모델을 제안한다. 이 모델은 입력 문장의 음절단위 띄어쓰기 오류가 5%일 때 약 8%의 성능 향상을 보였으며, 10%의 오류가 존재할 때 약 5%의 성능 향상을 보였다.

  • PDF

수화 애니메이션을 위한 중간 프레임 생성 방법 (A Method for Generating Inbetween Frames in Sign Language Animation)

  • 오정근;김상철
    • 한국정보처리학회논문지
    • /
    • 제7권5호
    • /
    • pp.1317-1329
    • /
    • 2000
  • The advanced techniques for video processing and computer graphics enables a sign language education system to appear. the system is capable of showing a sign language motion for an arbitrary sentence using the captured video clips of sign language words. In this paper, a method is suggested which generates the frames between the last frame of a word and the first frame of its following word in order to animate hand motion. In our method, we find hand locations and angles which are required for in between frame generation, capture and store the hand images at those locations and angles. The inbetween frames generation is simply a task of finding a sequence of hand angles and locations. Our method is computationally simple and requires a relatively small amount of disk space. However, our experiments show that inbetween frames for the presentation at about 15fps (frame per second) are achieved so tat the smooth animation of hand motion is possible. Our method improves on previous works in which computation cost is relativey high or unnecessary images are generated.

  • PDF