• The Journal of Korea Institute of Information, Electronics, and Communication Technology
• /
• v.16 no.5
• /
• pp.279-291
• /
• 2023

In recent years, language model-based generative AI technologies have made remarkable progress. In particular, it has attracted a lot of attention due to its increasing potential in various fields such as summarization and code writing. As a reflection of this interest, the number of patent applications related to generative AI has been increasing rapidly. In order to understand these trends and develop strategies accordingly, future forecasting is key. Predictions can be used to better understand the future trends in the field of technology and develop more effective strategies. In this paper, we analyzed patents filed to date to identify the direction of development of language model-based generative AI. In particular, we took an in-depth look at research and invention activities in each country, focusing on application trends by year and detailed technology. Through this analysis, we tried to understand the detailed technologies contained in the core patents and predict the future development trends of generative AI.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.439-443
• /
• 2021

기계 독해는 단락과 질의가 주어졌을 때 단락 내 정답을 찾는 자연어 처리 태스크이다. 최근 벤치마킹 데이터셋에서 사전학습 언어모델을 기반으로 빠른 발전을 보이며 특정 데이터셋에서 인간의 성능을 뛰어넘는 성과를 거두고 있다. 그러나 이는 단락 내 범위(span)에서 추출된 정보에 관한 것으로, 실제 연산을 요구하는 질의에 대한 응답에는 한계가 있다. 본 논문에서는 기존 범위 내에서 응답이 가능할 뿐만이 아니라, 연산에 관한 이산 추론을 요구하는 단락 및 질의에 대해서도 응답이 가능한 기계 독해 모델의 효과성을 검증하고자 한다. 이를 위해 영어 DROP (Discrete Reasoning Over the content of Paragraphs, DROP) 데이터셋으로부터 1,794개의 질의응답 쌍을 Google Translator API v2를 사용하여 한국어로 번역 및 정제하여 KoDROP (Korean DROP, KoDROP) 데이터셋을 구축하였다. 단락 및 질의를 참조하여 연산을 수행하기 위한 의미 태그를 한국어 KoBERT 및 KoELECTRA에 접목하여, 숫자 인식이 가능한 KoNABERT, KoNAELECTRA 모델을 생성하였다. 실험 결과, KoDROP 데이터셋은 기존 기계 독해 데이터셋과 비교하여 단락에 대한 더욱 포괄적인 이해와 연산 정보를 요구하였으며, 가장 높은 성능을 기록한 KoNAELECTRA는 KoBERT과 비교하여 F1, EM에서 모두 19.20의 월등한 성능 향상을 보였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.07a
• /
• pp.137-138
• /
• 2022

소스 코드 식별자의 이름을 잘 정하는 것은 소프트웨어 엔지니어링에서 중요한 문제로 다루어지고 있다. 프로그램 엔티티의 의미있고 간결한 이름은 코드 이해도에 중요한 역할을 하며, 소프트웨어 유지보수 관리 비용을 줄이는 데에 큰 효과가 있다. 이러한 코드 식별자 중 평균적으로 가장 복잡한 식별자는 '메소드 이름'으로 알려져 있다. 본 논문에서는 메소드 내용과 일관성 있는 적절한 메소드 이름 생성을 자연어 처리 태스크 중 하나인 '추상적 텍스트 요약'으로 치환하여 수행하는 트랜스포머 기반의 인코더-디코더 모델을 제안한다. 제안하는 모델은 Github 오픈소스를 크롤링한 Java 데이터셋에서 기존 최신 메소드 이름 생성 모델보다 약 50% 이상의 성능향상을 보였다. 이를 통해 적절한 메소드 작명에 필요한 비용 절감 달성 및 다양한 소스 코드 관련 태스크를 언어 모델의 성능을 활용하여 해결하는 데 도움이 될 것으로 기대된다.

• Annual Conference on Human and Language Technology
• /
• 2006.10e
• /
• pp.262-267
• /
• 2006

대화 인터페이스 시스템(dialogue interface system)은 인간과 컴퓨터의 상호작용을 위한 도구로서 자연언어(natural language)를 사용하여 정보를 공유하거나 특정 업무를 수행하는 프로그램이다. 대화 인터페이스 시스템에 대한 기존의 연구들은 영역 의존적인 스크립트나 계획 추론을 위한 계획 지식을 이용해 왔다. 스크립트 모델(script model)은 제한적인 실용시스템 개발을 위해 주로 연구되었고 계획에 기반한 모델은 대화의 원리를 이해하는 분야에서 주로 연구되어 왔다. 그러나 기존의 모델들은 시스템 확장이 매우 어려우며 예측하지 못한 사용자 발화에 대하여 대응이 어렵기 때문에 매우 제한적인 영역이나 정해진 형태의 대화만을 처리할 수 있다. 본 논문에서는 이런 단점들을 보완하기 위하여 통계에 기반한 다 영역(multi-domain) 대화 모델을 제안한다. 제안된 시스템은 각 작업들에 대하여 해당 작업에 적합한 영역 모델(domain model)을 잘 알려진 프레임 구조를 따르면서 사용자 의도 파악과 시스템 의도 생성에 통계적 방법을 사용한다. 이러한 하이브리드 형태의 구조 덕분에 제안된 시스템은 영역 확장성과 이식성이 뛰어나다는 장점을 가진다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.419-422
• /
• 2023

자연어 추론은 전제 문장과 가설 문장의 관계를 함의, 중립, 모순으로 분류하는 자연어 처리 태스크이다. 최근 여러 자연어 처리 태스크에서 딥러닝 모델을 이용하는 방법이 우수한 성능을 보이고 있지만, 이는 미세 조정과정에 드는 비용이 많다는 점과 모델 출력의 근거, 과정을 사람이 이해하기 어려운 한계가 있다. 이러한 이유로 최근에는 소량의 입력, 출력 예시를 포함한 프롬프트를 이용한 방법론과 모델 출력에 대한 근거를 생성, 활용하는 방법에 관한 많은 연구가 진행되고 있다. 본 논문에서는 퓨샷 학습 환경의 한국어 자연어 추론 태스크를 위한 세 가지 프롬프트 방법과 이들을 조합하여 적용하는 방법을 제안한다. 이를 통해 '해석 가능성'과 자연어 추론 성능을 모두 향상시킬 수 있음을 보인다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.521-525
• /
• 2022

사용자와 상호작용하는 대화시스템에서 사용자의 의도를 이해하기 위한 의도 분류는 중요한 역할을 한다. 하지만, 실제 대화시스템에서는 범위 내의 의도를 가진 발화 뿐만 아니라 범위 외의 의도를 가진 발화에 대한 인식도 중요하다. 본 논문에서는 기존에 사용되던 인코더 기반의 모델이 아닌 인코더-디코더 구조를 가지는 T5 모델을 활용하여 의도 분류 실험을 진행하였다. 또한, (K+1)-way 의도 탐지 방식이 아닌 Kway의 방식에 템퍼러처 스케일링 기법을 적용하여 범위 외 의도 발화 데이터 구축과 재학습이 필요 없는 확장성 있는 범위 외 의도 탐지 방법을 제안하였다. 범위 내 의도 분류 실험 결과 인코더-디코더 구조의 T5 모델이 인코더 구조의 모델에 비해 높은 성능을 보이며, 흔히 생성 태스크에서 활용되던 모델의 분류 태스크로의 확장 가능성을 확인하였다. 또한, 범위 외 의도 탐지 실험 결과에서는 T5 모델이 인코더 구조의 모델인 RoBERTa 보다 범위 외 탐지 재현율이 14.2%p 이상의 높은 성능을 기록하여 인코더-디코더 구조를 활용한 모델이 인코더 구조를 활용한 모델보다 범위 외 의도 탐지에 강건함을 확인하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.05a
• /
• pp.437-440
• /
• 2021

지난 10년 동안 기계학습을 통해 자연어 처리 분야에서 많은 발전이 있었다. Machine translation, question answering과 같은 문제는 사용 가능한 데이터가 많은 언어에서 높은 정확도 성능 결과를 보여준다. 그러나 low-resource 언어에선 동일한 수준의 성능에 도달할 수 없다. 카자흐어는 형태학적 분석을 위해 구축된 대용량 데이터셋이 없으므로 low-resource 환경이다. 카자흐어는 단일 어근으로 수백 개의 단어 형태를 생성할 수 있는 교착어이다. 그래서 카자흐어 문장의 형태학적 분석은 카자흐어 문장의 의미를 이해하는 기본적인 단계이다. 기존에 존재하는 카자흐어 데이터셋은 구체적인 형태학적 분석의 부재로 모델이 충분한 학습이 이루어지지 못하기 때문에 본 논문에서 새로운 데이터셋을 제안한다. 본 논문은 low-resource 환경에서 높은 정확도를 달성할 수 있는 신경망 모델 기반의 카자흐어 형태학 분석기를 제안한다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.522-526
• /
• 2019

추출 요약(Extractive summarization)은 문서내에 주요한 요약정보가 되는 문장 또는 단어를 추출하여 요약을 생성하는 기법이다. 딥러닝 기법들이 많이 발전하면서 요약 기법에도 sequence-to-sequence와 같은 많은 시도들이 있었지만 대부분의 방법론들은 딥러닝의 모델 구조관점으로 접근하거나 요약에 있어서 단순히 입력 텍스트를 넣고 알고리즘이 처리하는 머신 리딩(Machine reading)관점으로 접근한다. 텍스트 요약 태스크 자체는 사람이 텍스트에 대한 정보 파악을 요약문을 통해 빠르게 하고 싶은 궁극적인 목표가 있으므로, 사람이 텍스트 요약에 필요한 인지처리과정을 반영할 필요가 있다. 결국, 기존의 머신 리딩보다는 휴먼 리딩(Human reading)에 관한 이해와 구조적 접근이 필요하다. 따라서 본 연구는 휴먼 리딩을 위한 인지처리과정을 위해 아이트래킹 데이터 기반의 새로운 추출 요약 모델을 제안한다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.533-536
• /
• 2019

의존 구문 분석은 문장 구성 성분 간의 의존 관계를 분석하는 태스크로, 자연어 이해의 대표적인 과제 중 하나이다. 본 논문에서는 한국어 의존 구문 분석의 성능 향상을 위해 Deep Bi-Affine Network와 Left to Right Dependency Parser를 적용하고, 새롭게 한국어의 언어적 특징을 반영한 Right to Left Dependency Parser 모델을 제안한다. 3개의 의존 구문 분석 모델에 단어 표현을 생성하는 방법으로 ELMo, BERT 임베딩 방법을 적용하고 여러 종류의 모델을 앙상블하여 세종 의존 구문 분석 데이터에 대해 UAS 94.50, LAS 92.46 성능을 얻을 수 있었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.10a
• /
• pp.97-99
• /
• 2004

현재의 웹 환경에서의 정보는 점점 대량화되고 있으며, 정보에 대한 의미처리가 지원되지 않는 까닭에 많은 양의 정보가 무분별하게 검색되고 필요한 정보를 찾는데 많은 노력이 필요하다. 이를 해결하고자 XML의 의미태그를 중심으로 한 메타데이터 정보 모델링 등이 출현하였고, 이를 개념 수준의 의미처리로 추상화한 온톨로지(ontology) 기술이 개발되게 되었다. 온톨로지는 컴퓨터가 처리할 수 있는 명시적인 개념 표현을 상호 공유할 수 있도록 하여 줌으로써, 컴퓨터가 의미를 이해하고 추론할 수 있는 기반을 제공한다. 최근에는 여러 온톨로지 언어는 기술 논리(Description Logic)의 의미 모델에 기반을 두고 있는 OWL언어로 표준화되고 있다. 그러나, 온톨로지 언어를 사용한 직접적인 온톨로지 구축은 거의 불가능하다. 본 논문에서는 지식 표현의 기초가 되고 OWL의 이론적 기반이 되고 있는 프레임 구조로 개념 모델링 하는 방법을 통해 OWL기반의 온톨로지 구축을 보다 편리하고 효과적으로 수행할 수 있는 방법을 제공하며, 효율적인 OWL 문서의 생성과 편집 방안을 도출한다.