• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.55-60
• /
• 2021

최근 한국어에 대한 자연어 처리 연구는 딥러닝 기반의 자연어 이해 모델을 중심으로 각 모델의 성능에 대한 비교 분석과 평가가 활발하게 이루어지고 있다. 그러나 한국어 생성 모델에 대해서도 자연어 이해 영역의 하위 과제(e.g. 감정 분류, 문장 유사도 측정 등)에 대한 수행 능력만을 정량적으로 평가하여, 생성 모델의 한국어 문장 구성 능력이나 상식 추론 과정을 충분히 평가하지 못하고 있다. 또한 대부분의 생성 모델은 여전히 간단하고 일반적인 상식에 부합하는 자연스러운 문장을 생성하는 것에도 큰 어려움을 겪고 있기에 이를 해결하기 위한 개선 연구가 필요한 상황이다. 따라서 본 논문은 이러한 문제를 해결하기 위해 한국어 생성 모델이 일반 상식 추론 능력을 바탕으로 문장을 생성하도록 KommonGen 데이터셋을 제안한다. 그리고 KommonGen을 통해 한국어 생성 모델의 성능을 정량적으로 비교 분석할 수 있도록 평가 기준을 구성하고, 한국어 기반 자연어 생성 모델의 개선 방향을 제시하고자 한다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.211-214
• /
• 2021

다수의 태스크를 처리 가능하면서 일반화된 성능을 제공할 수 있는 모델을 구축하는 자연어 이해 분야의 연구에서는 멀티태스크 학습 기법에 대한 연구가 다양하게 시도되고 있다. 또한, 자연어 문장으로 작성된 문서들에는 대체적으로 시간에 관련된 정보가 포함되어 있을 뿐만 아니라, 문서의 전체 내용과 문맥을 이해하기 위해서 이러한 정보를 정확하게 인식하는 것이 중요하다. NLU 분야의 태스크를 더욱 정확하게 수행하려면 모델 내부적으로 시간정보를 반영할 필요가 있으며, 멀티태스크 학습 과정에서 추가적인 태스크로 시간적 관계정보를 추출하여 활용 가능하다. 본 논문에서는, 한국어 입력문장의 시간적 맥락정보를 활용할 수 있도록 NLU 태스크들의 학습 과정에서 시간관계 추출 태스크를 추가한 멀티태스크 학습 기법을 제안한다. 멀티태스크 학습의 특징을 활용하기 위해서 시간적 관계정보를 추출하는 태스크를 설계하고 기존의 NLU 태스크와 조합하여 학습하도록 모델을 구성한다. 실험에서는 학습 태스크들을 다양하게 조합하여 성능 차이를 분석하며, 기존의 NLU 태스크만 사용했을 경우에 비해 추가된 시간적 관계정보가 어떤 영향을 미치는지 확인한다. 실험결과를 통하여 전반적으로 멀티태스크 조합의 성능이 개별 태스크의 성능보다 높은 경향을 확인하며, 특히 개체명 인식에서 시간관계가 반영될 경우에 크게 성능이 향상되는 결과를 볼 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.11a
• /
• pp.869-872
• /
• 2017

참조 표현이란 영상 내의 특정 물체를 가리키는 자연어 문장을 의미한다. 그리고 이러한 자연어 참조 표현을 기초로, 한 영상에서 실제로 대상 물체의 영역을 찾아내는 일을 참조 표현 이해라고 한다. 본 논문은 참조 표현 이해를 위한 새로운 심층 신경망 모델과 학습 방법을 제안한다. 본 논문에서 제안하는 모델은 효과적인 참조 표현 이래를 위해, 참조 표현에서 언급하는 대상 물체와 보조 물체를 모두 고려할 뿐만 아니라, 두 물체간의 관계정보도 활용한다. 또한, 본 논문에서 제안하는 모델은 이러한 다양한 맥락 정보들을 참조 표현 의존적인 방식으로 가중 결합함으로써, 참조 표현에 부합하는 대상 물체 영역을 보다 정확히 탐지해낼 수 있도록 설계하였다. 본 논문에서는 대규모 참조 표현 데이터 집합인 Google RefExp를 이용한 성능 비교 실험들을 통해, 제안하는 모델의 우수성을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.441-445
• /
• 2020

토큰화(Tokenization)는 사람이 작성한 자연어 문장을 기계가 잘 이해할 수 있도록 최소 단위인 토큰으로 분리하는 작업을 말하여, 이러한 토큰화는 자연어처리 전반적인 태스크들의 전처리에 필수적으로 사용되고 있다. 최근 자연어처리 분야에서 높은 성능을 보이며, 다양한 딥러닝 모델에 많이 활용되고 있는 SentencePiece 토큰화는 여러 단어에서 공통적으로 출현하는 부분단어들을 기준으로, BPE 알고리즘을 이용하여 문장을 압축 표현하는 토큰화 방법이다. 본 논문에서는 한국어 기반 특허 문헌의 초록 자연어 데이터를 기반으로 SentencePiece를 비롯한 여러 토큰화 방법에 대하여 소개하며, 해당 방법을 응용한 기계번역 (Neural Machine Translation) 태스크를 수행하고, 토큰화 방법별 비교 평가를 통해 특허 분야 자연어 데이터에 최적화된 토큰화 방법을 제안한다. 그리고 본 논문에서 제안한 방법을 사용하여 특허 초록 한-영 기계번역 태스크에서 성능이 향상됨을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.352-357
• /
• 2023

자연어 추론은 두 문장(전제, 가설)간의 관계를 이해하고 추론하여 함의, 모순, 중립 세 가지 범주로 분류하며, 전제-가설-라벨(PHL) 데이터셋을 활용하여 자연어 추론 모델을 학습한다. 그러나, 새로운 도메인에 자연어 추론을 적용할 경우 학습 데이터가 존재하지 않거나 이를 구축하는 데 많은 시간과 자원이 필요하다는 문제가 있다. 본 논문에서는 자연어 추론을 위한 학습 데이터인 전제-가설-라벨 삼중항을 자동 생성하기 위해 [1]에서 제안한 문장 변환 규칙 대신에 거대 언어 모델과 Chain-of-Thought(CoT), Program-aided Language Models(PaL) 등의 프롬프팅(Prompting) 방법을 이용하여 전제-가설-라벨 삼중항을 자동으로 생성하는 방법을 제안한다. 실험 결과, CoT와 PaL 프롬프팅 방법으로 자동 생성된 데이터의 품질이 기존 규칙이나 기본 프롬프팅 방법보다 더 우수하였다.

• The Journal of Bigdata
• /
• v.7 no.2
• /
• pp.11-29
• /
• 2022

Pre-trained language models are the most important and widely used tools in natural language processing tasks. Since those have been pre-trained for a large amount of corpus, high performance can be expected even with fine-tuning learning using a small number of data. Since the elements necessary for implementation, such as a pre-trained tokenizer and a deep learning model including pre-trained weights, are distributed together, the cost and period of natural language processing has been greatly reduced. Transformer variants are the most representative pre-trained language models that provide these advantages. Those are being actively used in other fields such as computer vision and audio applications. In order to make it easier for researchers to understand the pre-trained language model and apply it to natural language processing tasks, this paper describes the definition of the language model and the pre-learning language model, and discusses the development process of the pre-trained language model and especially representative Transformer variants.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.23-26
• /
• 2023

본 논문에서는 서술형 수학 문제 풀이 모델의 숫자 대소관계 파악을 위한 명시적 자질추출방식 Explicit Feature Extraction(EFE) Reasoner 모델을 제안한다. 서술형 수학 문제는 자연현상이나 일상에서 벌어지는 사건을 수학적으로 기술한 문제이다. 서술형 수학 문제 풀이를 위해서는 인공지능 모델이 문장에 함축된 논리를 파악하여 수식 또는 답을 도출해야 한다. 때문에 서술형 수학 문제 데이터셋은 인공지능 모델의 언어 이해 및 추론 능력을 평가하는 지표로 활용되고 있다. 기존 연구에서는 문제를 이해할 때 숫자의 대소관계를 파악하지 않고 문제에 등장하는 변수의 논리적인 관계만을 사용하여 수식을 도출한다는 한계점이 존재했다. 본 논문에서는 자연어 이해계열 모델 중 SVAMP 데이터셋에서 가장 높은 성능을 내고 있는 Deductive-Reasoner 모델에 숫자의 대소관계를 파악할 수 있는 방법론인 EFE 를 적용했을 때 RoBERTa-base 에서 1.1%, RoBERTa-large 에서 2.8%의 성능 향상을 얻었다. 이 결과를 통해 자연어 이해 모델이 숫자의 대소관계를 이해하는 것이 정답률 향상에 기여할 수 있음을 확인한다.

• 전기의세계
• /
• v.35 no.6
• /
• pp.347-353
• /
• 1986

본고의 내용은 다음과 같다. 1. 자연어의 이해시스템 2. 문제해결 및 정리의 증명 3. 지각 및 패턴인식 4. 지능 Robot

• Korean Journal of Cognitive Science
• /
• v.2 no.2
• /
• pp.309-339
• /
• 1990

The most common way that people communicate is by speaking or writing natural languages.But if people use computers in the modern technology,they should learn artificial programming languages.If computers could understand what people mean when people speak or type natural languages,people would use the computers more easily and naturally.but there is a problem.The language which people use has vagueness.For example,the convential computer system cant's handle the subjective feeling like 'tall' or 'young'.So peole must specify the exact threshold like 'more'than 25 ages'.We have developed the knowledge-based natural language question answering system which can handle sentences having fuzzy concepts by using blackboard model.Our goal of this research is to develop a portable question answering system as interface for database systems or understanding systems.

• Proceedings of the Korean Society for Information Management Conference
• /
• 1994.12a
• /
• pp.89-92
• /
• 1994

시소러스를 구축하기 위해서는 해당분야의 심도깊은 이해와 지식이 필요하다. 특히, 디스크립터의 선정과 디스크립터의 관계설정은 시소러스 개발자의 주관적인 판단에 따라 이루어지게 된다. 그러나 디스크립터의 선정은 자동색인분야의 연구로서 어느 정도 객관화가 가능하지만, 디스크립터개념간의 관계설정은 개발자의 주관에 전적으로 의존하게 된다. 본 논문은 자연어처리방법과 문헌내 용어출현빈도를 근거로 기계를 이용한 디스크립터간의 관계 설정방안을 제시하고 그 가능성을 조사하였다.