• 제목/요약/키워드: Language generation

검색결과 754건 처리시간 0.024초

한국어 학습을 위한 마르코프 체인 기반 한국어 문장 생성 (Korean Text Generation using Markov Chain for Korean Language Learning)

  • 문경득;김정원;김소희;김병만;이현아
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.623-626
    • /
    • 2018
  • 한국어 학습에 대한 관심이 전 세계적으로 높아짐에 따라 한국어 학습을 위한 다양한 프로그램들이 등장하고 있다. 한국어가 모국어가 아닌 외국인들의 한국어 학습을 위해서는 단어 학습이 기초가 되어야 하며, 단어 학습에서는 다양한 예문들이 필수적이다. 기존의 학습 시스템에서는 말뭉치에 있는 문장들을 예문으로 제시하는 기능을 제공하지만, 이 경우 한정적이고 반복된 문장만을 제공하는 문제를 가진다. 본 논문에서는 사용자가 학습하고자 하는 단어를 입력하면 해당 단어 단어를 포함하는 한국어 문장을 자동 생성하여 제공하는 시스템을 제안한다. 시스템에서는 언어 모델의 제어가 비교적 쉬운 마르코프체인을 활용한다.

  • PDF

외국인의 한국어 학습을 위한 어휘 문제 자동 생성 (Automatic Generation of Vocabulary Problem for Learning Korean as a Foreign Language)

  • 김성욱;임재현;김예인;이현아
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2014년도 제26회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.247-250
    • /
    • 2014
  • 국내에서 거주하는 외국인들을 대상으로 한 여러 정책들이 만들어지고 있다, 그에 따른 한국어 교육의 수요는 증가하고 있지만 그에 적합한 한국어 교육시스템의 자동화 및 발전은 미약하다. 본 논문에서는 사전예문과 획득이 용이한 말뭉치를 가공하여 적절한 수준의 문제를 자동으로 생성하는 방법을 제안한다. 자동문제생성에서는 말뭉치와 사전 예문에서 문제와 보기문항을 생성하고, 보기 리스트를 생성한다. 웹문서 검색빈도를 이용하여 생성된 보기리스트의 적합성을 분석하여 정제된 보기 리스트를 획득한다. 얻어진 보기들을 임의로 선택하여 출력함으로써 사용자들이 다양한 문제를 접할 수 있도록 한다.

  • PDF

Grammatical Interfaces in Korean Honorification: A Constraint-based Perspective

  • Kim, Jong-Bok
    • 한국언어정보학회지:언어와정보
    • /
    • 제19권1호
    • /
    • pp.19-36
    • /
    • 2015
  • Honorific agreement is one of the main properties in languages like Korean, playing a pivotal role in appropriate communication. This makes the deep processing of honorific information crucial in various computational applications such as spoken language translation and generation. This paper shows that departing from previous literature, an adequate analysis of Korean honorification needs to involve a system that has access not only to morpho-syntax but to semantics and pragmatics as well. Along these lines, this paper offers a constraint-based HPSG analysis of Korean honorification in which the enriched lexical information tightly interacts with syntactic, semantic, and pragmatic levels for the proper honorific system.

  • PDF

AutoCor: A Query Based Automatic Acquisition of Corpora of Closely-related Languages

  • Dimalen, Davis Muhajereen D.;Roxas, Rachel Edita O.
    • 한국언어정보학회:학술대회논문집
    • /
    • 한국언어정보학회 2007년도 정기학술대회
    • /
    • pp.146-154
    • /
    • 2007
  • AutoCor is a method for the automatic acquisition and classification of corpora of documents in closely-related languages. It is an extension and enhancement of CorpusBuilder, a system that automatically builds specific minority language corpora from a closed corpus, since some Tagalog documents retrieved by CorpusBuilder are actually documents in other closely-related Philippine languages. AutoCor used the query generation method odds ratio, and introduced the concept of common word pruning to differentiate between documents of closely-related Philippine languages and Tagalog. The performance of the system using with and without pruning are compared, and common word pruning was found to improve the precision of the system.

  • PDF

어휘 간의 관계를 고려한 중의성 해소 방법 및 수화 생성 시스템에의 응용 (Word Sense Disambiguation Considering Words Relations and Its Application to Sign Language Generation System)

  • 김상철;박광현;변증남
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2008년도 제20회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.124-128
    • /
    • 2008
  • 어휘 중의성 해소는 다양한 분야에서 중요한 위치를 차지하고 있는 자연어처리 관련 문제이다. 본 논문에서는 어휘 중의성 해소의 실제 응용과 관련하여 문헌 내에 여러 개의 중의어가 존재할 때의 중의성 해소 문제를 다룬다. 기존의 연구에서는 다루지 않았던 다수의 중의어가 존재할 때의 중의성 해소 문제에 대하여 고찰한 후, 중의어 간의 연관성을 이용한 중의성 해소 개념을 제시한다. 또한 이를 이용한 구체적인 해소 방안 제안 및 본 연구의 한국어-한국수화 번역 시스템에의 응용 예를 소개한다. 결론 및 향후 과제에서는 본 논문에서 언급된 방법의 향후 개선 방안에 관하여 언급한다.

  • PDF

수화 자동 생성에서의 수지 신호와 비수지 신호 동기화 (Synchronization of Manual and Non-Manual Signals in Automatic Generation of Sign Language Expressions)

  • 정상윤;장은영;박종철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2009년도 제21회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.81-86
    • /
    • 2009
  • 비수지 신호는 수화를 통한 의사소통을 하는 과정에 수지 신호 못지않게 중요한 정보를 제공한다. 그럼에도 불구하고 비수지 신호에 대한 연구는 수지 신호에 대한 연구에 비해 아직까지 매우 부족하다. 본 연구에서는 이러한 비수지 신호의 특징에 대해 분석하였다. 비수지 신호를 수지 신호와 함께 재현하는 과정에는 정확도 문제와 동기화 문제가 있는데, 본 연구에서는 동기화 문제를 해결하는 시스템을 제안한다. 구현된 시스템은 입력된 문장을 구문 분석하여 수지 신호와 비수지 신호를 결정하는 부분과 구문 분석된 결과를 바탕으로 수화 애니메이션을 위한 액션 스크립트를 생성하는 부분으로 나뉜다. 수지 신호와 비수지 신호의 연결 순서와 방식에 따라 수화의 뜻이 달라질 수 있기 때문에, 본 연구에서 다루는 비수지 신호의 동기화 문제는 수화 자동 생성에 있어서 매우 중요한 문제이다.

  • PDF

비정형 요구사항으로부터 원인-결과 그래프 자동 발생을 위한 문장 의미 모델(Sentence Semantic Model) 설계 (Design of Sentence Semantic Model for Cause-Effect Graph Automatic Generation from Natural Language Oriented Informal Requirement Specifications)

  • 장우성;정세준;김영철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.215-219
    • /
    • 2020
  • 현재 한글 언어학 영역에서는 많은 언어 분석 연구가 수행되었다. 또한 소프트웨어공학의 요구공학 영역에서는 명료한 요구사항 정의와 분석이 필요하고, 비정형화된 요구사항 명세서로부터 테스트 케이스 추출이 매우 중요한 이슈이다. 즉, 자연어 기반의 요구사항 명세서로부터 원인-결과 그래프(Cause-Effect Graph)를 통한 의사 결정 테이블(Decision Table) 기반 테스트케이스(Test Case)를 자동 생성하는 방법이 거의 없다. 이런 문제를 해결하기 위해 '한글 언어 의미 분석 기법'을 '요구공학 영역'에 적용하는 방법이 필요하다. 본 논문은 비정형화된 요구사항으로부터 테스트케이스 생성하는 과정의 중간 단계인 요구사항에서 문장 의미 모델(Sentence Semantic Model)을 자동 생성하는 방법을 제안 한다. 이는 요구사항으로부터 생성된 원인-결과 그래프의 정확성을 검증할 수 있다.

  • PDF

MASS와 복사 메커니즘을 이용한 한국어 문서 요약 (Korean Text Summarization using MASS with Copying Mechanism)

  • 정영준;이창기;고우영;윤한준
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.157-161
    • /
    • 2020
  • 문서 요약(text summarization)은 주어진 문서로부터 중요하고 핵심적인 정보를 포함하는 요약문을 만들어 내는 작업으로, 기계 번역 작업에서 주로 사용되는 Sequence-to-Sequence 모델을 사용한 end-to-end 방식의 생성(abstractive) 요약 모델 연구가 활발히 진행되고 있다. 최근에는 BERT와 MASS 같은 대용량 단일 언어 데이터 기반 사전학습(pre-training) 모델을 이용하여 미세조정(fine-tuning)하는 전이 학습(transfer learning) 방법이 자연어 처리 분야에서 주로 연구되고 있다. 본 논문에서는 MASS 모델에 복사 메커니즘(copying mechanism) 방법을 적용하고, 한국어 언어 생성(language generation)을 위한 사전학습을 수행한 후, 이를 한국어 문서 요약에 적용하였다. 실험 결과, MASS 모델에 복사 메커니즘 방법을 적용한 한국어 문서 요약 모델이 기존 모델들보다 높은 성능을 보였다.

  • PDF

제어가능한 한국어 패러프레이즈 생성을 위한 제약들 (Constraints for Controllable Korean Paraphrase Generation)

  • 최승권;권오욱;김영길
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 추계학술발표대회
    • /
    • pp.544-546
    • /
    • 2022
  • 언어학적 다양성을 가지는 고품질의 한국어 패러프레이즈 생성을 위해 패러프레이즈의 생성을 제어할 수 있는 제약이 필요하다. 원문을 패러프레이즈로 변경하기 위한 생성용 제약으로 6 개의 제약을 제시한다: 키워드 치환, 키워드 확장, 품사 변경, 패턴 변경, 구조 변경, 키워드 리스트, 생성 길이. 원문으로부터 패러프레이즈를 생성할 때 제약이 적용되는 정도를 시물레이션해 보았다. 10 어절 이하의 원문은 평균 2.05 번의 제약이 적용되면 패러프레이즈가 생성되었으며 키워드 치환, 마스킹에 의한 키워드 확장과 패턴 변경에 관한 제약이 가장 많이 적용되는 것을 확인하였다.

SVD에 기반한 모델 경량화를 통한 문서 그라운딩된 응답 생성 (Lightweight Language Models based on SVD for Document-Grounded Response Generation)

  • 이검;서대룡;전동현;강인호;나승훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.638-643
    • /
    • 2023
  • 문서 기반 대화 시스템은 크게 질문으로부터 문서를 검색하는 과정과 응답 텍스트를 생성하는 과정으로 나뉜다. 이러한 대화 시스템의 응답 생성 과정에 디코더 기반 LLM을 사용하기 위해서 사전 학습된 LLM을 미세 조정한다면 많은 메모리, 연산 자원이 소모된다. 본 연구에서는 SVD에 기반한 LLM의 경량화를 시도한다. 사전 학습된 polyglot-ko 모델의 행렬을 SVD로 분해한 뒤, full-fine-tuning 해보고, LoRA를 붙여서 미세 조정 해본 뒤, 원본 모델을 미세 조정한 것과 점수를 비교하고, 정성평가를 수행하여 경량화된 모델의 응답 생성 성능을 평가한다. 문서 기반 대화를 위한 한국어 대화 데이터셋인 KoDoc2Dial에 대하여 평가한다.

  • PDF