• Annual Conference on Human and Language Technology
• /
• 1993.10a
• /
• pp.559-570
• /
• 1993

In this article we present a rapid development of a Korean to English translation system, by the help of general English generator, PENMAN. PENMAN is an English sentence generation system, of which input language is a language specially devised for sentence generation, named Sentence Planning Language(SPL). The language SPL has various features that are necessary for generating sentences, covering both syntactic and semantic features. In this development we integrated a Korean language parser based on dependency grammar and the English sentence generator PENMAN, bridging two systems through a converting module, which converts dependency structures produced by Korean parser into SPL for PENMAN.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.289-294
• /
• 2023

대형 언어 모델(Large Language Model)은 방대한 데이터와 파라미터를 기반으로 문맥 이해에서 높은 성능을 달성하였지만, Human Alignment를 위한 문장 생성 제어 연구는 아직 활발한 도전 과제로 남아있다. 본 논문에서는 Instruction Tuning을 통한 문장 생성 제어 실험을 진행한다. 자연어 처리 도구를 사용하여 단일 혹은 다중 제약 조건을 포함하는 Instruction 데이터 셋을 자동으로 구축하고 한국어 언어 모델인 Polyglot-Ko 모델에 fine-tuning 하여 모델 생성이 제약 조건을 만족하는지 검증하였다. 실험 결과 4개의 제약 조건에 대해 평균 0.88의 accuracy를 보이며 효과적인 문장 생성 제어가 가능함을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.580-583
• /
• 2018

본 논문에서는 SeqGAN 모델을 사용하여 한국어 시를 자동 생성해 보았다. SeqGAN 모델은 문장 생성을 위해 재귀 신경망과 강화 학습 알고리즘의 하나인 정책 그라디언트(Policy Gradient)와 몬테카를로 검색(Monte Carlo Search, MC) 기법을 생성기에 적용하였다. 시 문장을 자동 생성하기 위한 학습 데이터로는 사랑을 주제로 작성된 시를 사용하였다. SeqGAN 모델을 사용하여 자동 생성된 시는 동일한 구절이 여러번 반복되는 문제를 보였지만 한국어 텍스트 생성에 있어 SeqGAN 모델이 적용 가능함을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 1997.10a
• /
• pp.353-359
• /
• 1997

주로 영어, 불어 등의 형상적 언어(configurational languages)의 구문 분석을 위해 개발된 범주 문법은 문장 구성 성분의 문장 내의 위치가 대체적으로 고정적이며 통사 기능이 그 위치로서 할당 되는 형상적 언어의 통사적인 특성에 따라 방향성의 개념을 도입하였다. 그러나 이 방향성 개념은 문장 구성 성분의 문장 내의 위치가 비교적 자유로운 한국어 등의 비형상적 언어(non-configurational languages)에 그대로 적용하기에는 많은 무리가 따른다. 심지어 형상적 언어에 적용하는 경우에도 도치나 외치된 문장 또 격리된 구조(unbounded dependency constructions)가 있는 문장들도 적절히 분석해 내지 못한다. 이런 이유로 본고에서는 범주 문법에 도입되어 있는 방향성을 재고하고 아울러 한국어 구문 분석과 문장 생성을 위한 범주 문법 적용상의 다섯 원칙을 제안한다.

• Annual Conference on Human and Language Technology
• /
• 1993.10a
• /
• pp.547-557
• /
• 1993

본 논문에서는 일-한 기계 번역 시스템에서 한국어 생성에 대한 효율적인 방법을 제안한다. 일본어와 한국어는 대부분의 문법 체계가 비슷하지만 어절 내, 특히 술부 내에서는 문법 형태소의 어순이 일치하지 않고 형태소간에도 일대일 대응이 불가능한 경우가 많다. 또한 일본어 용언에 부정의 조동사가 사용된 문장을 한국어로 번역할 때에도 부정의 뜻을 내포하는 한국어 용언이 존재하면 부정적 역어로 생성하여야 한다. 이러한 점으로 인하여 형태소 대 형태소를 일대일로 대응시켜 생성하면 자연스럽고 올바른 한국어 문장을 얻기 어렵다. 따라서 기본적으로 직접 번역 방시을 이용하면서 술부의 생성을 위하여 양상류 의미자질을 이용하는 방법을 제안한다. 본 논문에서 제안한 한국어 생성 방법은 기존의 방법보다 적은 사전 작업으로 간단하게 자연스러운 한국어 표현을 얻을 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.162-166
• /
• 2020

자연어 이해는 대화 인터페이스나 정보 추출 등에 활용되는 핵심 기술 중 하나이다. 최근 딥러닝을 활용한 데이터 기반 자연어 이해 연구가 많이 이루어지고 있으며, 이러한 연구에 있어서 데이터 확장은 매우 중요한 역할을 하게 된다. 본 연구는 자연어 이해영역에서의 말뭉치 혹은 데이터 확장에 있어서, 입력으로 주어진 문장과 문법구조 및 의미가 유사한 문장을 생성하는 새로운 방법을 제시한다. 이를 위해, 우리는 GPT를 이용하여 대량의 문장을 생성하고, 문장과 문장 사이의 문법구조 및 의미 거리 계산법을 제시하여, 이를 이용해 가장 유사하지만 새로운 문장을 생성하는 방법을 취한다. 한국어 말뭉치 Weather와 영어 말뭉치 Atis, Snips, M2M-Movie M2M-Reservation을 이용하여 제안방법이 효과적임을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.395-399
• /
• 2019

생성 모델은 최근 단순히 기존 데이터를 증강 시키는 것이 아니라 원하는 속성을 가지도록 스타일을 변화시키는 연구가 활발히 진행되고 있다. 스타일 변화 연구에서 필요한 병렬 데이터 세트는 구축하는데 많은 비용이 들기 때문에 비병렬 데이터를 이용하는 연구가 주를 이루고 있다. 이러한 방법론으로 이미지 분야에서 대표적으로 cycleGAN[1]이 있으며 최근 자연어 처리 분야에서도 많은 연구가 진행되고 있다. 많은 논문들이 사용하는 데이터도메인은 긍정 문장과 부정 문장 사이를 변화시키는 것이다. 본 연구에서는 한국어 영화리뷰 데이터 세트인 NSMC[2]를 이용한 감성 변화를 하는 문장생성에 대한 연구로 자연어 처리에서 좋은 성능을 보여주는 BERT[8]를 생성모델에 이용하였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.211-214
• /
• 2020

Abstract Meaning Representation(AMR)은 문장의 의미를 그래프 구조로 인코딩하여 표현하는 의미 형식표현으로 문장의 각 노드는 사건이나 개체를 취급하는 개념으로 취급하며 간선들은 이러한 개념들의 관계를 표현한다. AMR 파싱은 주어진 문장으로부터 AMR 그래프를 생성하는 자연어 처리 태스크이다. AMR 그래프의 각 개념은 추상 표현으로 문장 내의 토큰과 명시적으로 정렬되지 않는 어려움이 존재한다. 이러한 문제를 해결하기 위해 별도의 사전 학습된 정렬기를 이용하여 해결하거나 별도의 정렬기 없이 Sequence-to-Sequence 계열의 모델로 입력 문장으로부터 그래프의 노드를 생성하는 방식으로 연구되어 왔다. 본 논문에서는 문장의 입력 시퀀스와 부분 생성 그래프 사이에서 반복 추론을 통해 새로운 노드와 기존 노드와의 관계를 구성하여 점진적으로 그래프를 구성하는 모델을 한국어 AMR 데이터 셋에 적용하여 Smatch 점수 39.8%의 실험 결과를 얻었다.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.430-433
• /
• 2018

딥러닝 모델의 성능 향상을 위해 적은 데이터를 증가시킬 수 있는 연구들이 필요하다. 이미지의 경우 회전, 이동, 반전등의 연산으로 쉽게 데이터를 증가시킬 수 있지만 자연어는 그렇지 않다. 그러나 최근 딥러닝 생성 모델의 발전으로 기존 자연어 데이터를 생성 모델을 통해 양을 늘려 실험하는 연구들이 많이 시도되었다. 본 논문에서는 문장 데이터 생성을 위한 VAE, 문장 분류를 위한 CNN이 결합된 모델을 한국어 영화평 데이터에 적용하여 기존 모델보다 0.146% 높은 86.736%의 정확도를 기록하였다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.41 no.5
• /
• pp.592-601
• /
• 2016

The recurrent neural network (RNN) is a deep learning model which is suitable to sequential or length-variable data. The Long Short-Term Memory (LSTM) mitigates the vanishing gradient problem of RNNs so that LSTM can maintain the long-term dependency among the constituents of the given input sequence. In this paper, we propose a LSTM based language model which can predict following words of a given incomplete sentence to generate a complete sentence. To evaluate our method, we trained our model using multiple Korean corpora then generated the incomplete part of Korean sentences. The result shows that our language model was able to generate the fluent Korean sentences. We also show that the word based model generated better sentences compared to the other settings.