• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.319-323
• /
• 2023

일반 상식 기반의 지식 그래프는 대규모 코퍼스에 포함되어 있는 일반 상식을 수집하고 구조화하는 지식의 표현 방법이다. 일반 상식 기반의 지식 그래프는 코퍼스 내에 포함되어 있는 다양한 일반 상식의 형태와 관계를 모델링하며, 주로 질의응답 시스템, 상식 추론 등의 자연어처리 하위 작업에 활용할 수 있다. 가장 잘 알려진 일반 상식 기반의 지식 그래프로는 ConceptNet [1], ATOMIC [2]이 있다. 하지만 한국어 기반의 일반 상식 기반의 지식 그래프에 대한 연구가 존재했지만, 자연어처리 태스크에 활용하기에는 충분하지 않다. 본 연구에서는 대규모 언어 모델과 프롬프트의 활용을 통해 한국어 일반 상식 기반의 지식 그래프를 효과적으로 구축하는 방법론을 제시한다. 또한, 제안하는 방법론으로 구축한 지식 그래프와 기존의 한국어 상식 그래프의 품질을 양적, 질적으로 검증한다.

• KIPS Transactions on Software and Data Engineering
• /
• v.12 no.11
• /
• pp.481-492
• /
• 2023

This study explores how to build a Korean dataset to extract information from text using generative large language models. In modern society, mixed information circulates rapidly, and effectively categorizing and extracting it is crucial to the decision-making process. However, there is still a lack of Korean datasets for training. To overcome this, this study attempts to extract information using text-based zero-shot learning using a generative large language model to build a purposeful Korean dataset. In this study, the language model is instructed to output the desired result through prompt engineering in the form of "system"-"instruction"-"source input"-"output format", and the dataset is built by utilizing the in-context learning characteristics of the language model through input sentences. We validate our approach by comparing the generated dataset with the existing benchmark dataset, and achieve 25.47% higher performance compared to the KLUE-RoBERTa-large model for the relation information extraction task. The results of this study are expected to contribute to AI research by showing the feasibility of extracting knowledge elements from Korean text. Furthermore, this methodology can be utilized for various fields and purposes, and has potential for building various Korean datasets.

• Proceedings of the Korean Information Science Society Conference
• /
• 2004.04a
• /
• pp.238-240
• /
• 2004

본 논문에서는 대규모 네트워크 보안관리를 위한 계층적인 위임 모델을 제시한다. 대규모 네트워크는 라우터, 방화벽, 침입 탐지 시스템, 웹 서버 등의 수많은 구성요소로 이루어진 네트워크들의 집합이며, 각 네트워크마다의 독립적인 지역 정책들로 관리되어 서로간의 협동이 이루어질 수 없기 때문에 이를 효과적으로 통제하고 일괄적으로 관리하기 위해 계층적인 위임 모델이 사용되어야 한다. 제시하는 모델의 중요 구성 요소로는 관리 서버. 정책 설정 고 수준 언어 고 수준 언어 컴파일러, 도메인 서버. 인터프리터, 정책 관리 데이터베이스가 있다. 관리 서버에서 정책 설정 고 수준 언어를 사용하여 세밀하고 정교한 정책을 작성할 수 있고, 이 정책을 고 수준 언어 컴파일러를 통하여 최하위 노드들에게 적절하고 간결한 형태로 만들어낸다. 각 도메인 서버는 이 결과를 하위의 도메인 서버나 인터프리터에게 전달하면서 Keynote 신뢰 관리 시스템을 이용하여 권한을 위임한다. 그리고 인터프리터는 정책을 라우터, 방화벽, 웹 서버 등의 하위 노드에 맞는 실제 룰로 변환하녀 상위 관리 서버에서 전달한 정책을 적용하게 된다. 정책을 적용한 결과를 상위로 전달하여 데이터베이스를 구축한 뒤 후에 작성된 정책이 기존의 정책과 충돌하는지 검사에 이용하고, 충돌한다면 협상 과정을 거쳐 정책에 순응할 수 있는 결과를 도굴하게 된다. 또한 네트워크에서 많은 새로운 형태들의 노드가 추가될 수 있는데, 각각의 인터프리터만 추가함으로서 다양한 하위 노드를 충족시킬 수 있는 확장성을 제공한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.371-372
• /
• 2023

본 논문에서는 대규모 언어 모델(Large Language Models)을 기반으로 한 입학 상담용 챗봇을 설계하였다. 입시 전문 LLM은 Polyglot-ko 5.8B을 베이스 모델로 대학의 입시 관련 데이터를 수집, 가공한 후 데이터 증강을 하여 파인튜닝 하였다. 또한, 모델 성능 향상을 위해 RLHF의 후 공정을 진행하였다. 제안 챗봇은 생성한 입시 LLM을 기반으로 웹브라우저를 통해 접근하여 입시 상담 자동 응답 서비스를 활용할 수 있다.

• Proceedings of the Acoustical Society of Korea Conference
• /
• 1998.06c
• /
• pp.87-90
• /
• 1998

이 논문에서 우리는 대규모 어휘를 갖는 연속 음성 인식을 위한 방법을 제시한다. 우리말은 영어와 구조적으로 달라서 대용량 어휘를 갖는 연속 음성을 인식하기 위한 언어모델을 만들기가 매우 어렵다. 언어 모델을 우리말 문장에 적용하기 위해 신문의 사설을 3-gram을 이용하여 처리하였다. 우리의 인식 시스템을 평가하기 위하여 시스템 공학 연구소에서 제공한 낭독 음성을 대상으로 인식률을 계산하였다. 589개의 문장을 대상으로 총 20명이 발음한 3,156개의 문장에 대하여 남자 92.2%, 여자 87.9%의 인식률을 얻었다. 발음사전은 낭독음성과 신문 사설에서 추출한 10K 크기이며 uniphone의 음성모델을 사용하였다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.170-175
• /
• 2022

일반적으로 대규모 언어 모델들은 다량의 데이터를 오랜시간 사전학습하면서 레이블을 예측하기 위한 성능을 높여왔다. 최근 언어 모델의 레이블 예측에 대한 정확도가 높아지면서, 언어 모델이 왜 해당 결정을 내렸는지 이해하기 위한 신뢰도 높은 Natural Language Explanation(NLE) 을 생성하는 것이 시간이 지남에 따라 주요 요소로 자리잡고 있다. 본 논문에서는 높은 레이블 정확도를 유지하면서 동시에 언어 모델의 예측에 대한 신뢰도 높은 explanation 을 생성하는 참신한 자연어 추론 시스템을 제시한 Natural-language Inference over Label-specific Explanations(NILE)[1] 을 소개하고 한국어 데이터셋을 이용해 NILE 과 NLE 를 활용하지 않는 일반적인 자연어 추론 태스크의 성능을 비교한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.171-176
• /
• 2023

최근 등장한 대규모 데이터로 사전학습된 자연어 생성 모델들은 대화 능력 및 코드 생성 태스크등에서 인상적인 성능을 보여주고 있어, 본 논문에서는 대형 언어 모델 (LLM)의 한국어 질문을 SQL 쿼리 (Text-to-SQL) 변환하는 성능을 평가하고자 한다. 먼저, 영어 Text-to-SQL 벤치마크 데이터셋을 활용하여 영어 질의문을 한국어 질의문으로 번역하여 한국어 Text-to-SQL 데이터셋으로 만들었다. 대형 생성형 모델 (GPT-3 davinci, GPT-3 turbo) 의 few-shot 세팅에서 성능 평가를 진행하며, fine-tuning 없이도 대형 언어 모델들의 경쟁력있는 한국어 Text-to-SQL 변환 성능을 확인한다. 또한, 에러 분석을 수행하여 한국어 문장을 데이터베이스 쿼리문으로 변환하는 과정에서 발생하는 다양한 문제와 프롬프트 기법을 활용한 가능한 해결책을 제시한다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.619-623
• /
• 2022

대화생성은 대규모 학습 데이터로부터 사전 학습된 언어모델을 활용한 도전적인 다운스트림 태스크 중 하나이다. 대화에서 특정한 지식에 대한 맥락이 보존된 응답 문장을 생성하기 위한 기술의 일환으로써 지식 기반 대화생성이 연구되고 있으며, 현업에서는 사업목표에 따른 대화 서비스를 제공하는 목적으로 이러한 기술을 적용할 수 있다. 본 논문에서는, 각각의 서비스 도메인에 특화된 모델을 적절히 활용 가능하도록 전체 데이터를 도메인별로 구분하여 학습한 다수의 대화생성 모델을 구축한다. 또한, 특정 도메인의 데이터로 학습된 모델이 나머지 도메인에서 어떤 수준의 대화생성이 가능한지 비교 분석함으로써 개별 학습된 모델들이 도메인의 특성에 따라 서로 다른 영향력이나 연관성을 나타낼 가능성을 확인한다. 이러한 실험적인 분석 결과를 바탕으로 현업의 서비스에서 개별 도메인에 특화된 모델이 적절히 활용하는 것이 유용함을 확인하고자 한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.143-148
• /
• 2023

본 논문에서는 금융 도메인 특화 사전학습 언어모델인 KF-DeBERTa(Korean Finance DeBERTa)를 제안한다. KF-DeBERTa는 대규모의 금융 말뭉치를 기반으로 학습하였으며, Transformer 아키텍처와 DeBERTa의 특징을 기반으로 구성되었다. 범용 및 금융 도메인에 대한 평가에서 KF-DeBERTa는 기존 언어모델들에 비해 상당히 높은 성능을 보였다. 특히, 금융 도메인에서의 성능은 매우 두드러졌으며, 범용 도메인에서도 다른 모델들을 상회하는 성능을 나타냈다. KF-DeBERTa는 모델 크기 대비 높은 성능 효율성을 보여주었고, 앞으로 금융 도메인에서의 활용도가 기대된다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.389-390
• /
• 2023

본 논문에서는 파이썬 코딩 플랫폼에서의 LLM(Large Language Models)을 로직 및 문법 에러 확인, 디버깅 도구로 활용할 수 있는 시스템을 제안한다. 이 시스템은 사용자가 코딩 플랫폼에서 작성한 파이썬 코드와 함께 발생한 에러 문구 및 프롬프트를 LLM 모델에 입력함으로써 로직(문법) 에러를 식별하고 디버깅에 활용할 수 있다. 특히, 입문자를 고려해 프롬프트를 제한하여 사용의 편의성을 높인다. 이를 통해 파이썬 코딩 교육에서 입문자들의 학습 과정을 원활하게 진행할 수 있으며, 파이썬 코딩에 대한 진입 장벽을 낮출 수 있다.