• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.428-429
• /
• 2023

개체명 인식은 자연어 처리의 핵심적인 작업으로, 특정 범주의 명칭을 문장에서 식별하고 분류한다. 이러한 기술은 헬스케어 분야에서 진단 지원 및 데이터 관리에 필수적이다. 그러나 기존의 사전 학습된 모델을 특정 도메인에 대해 전이학습하는 방법은 대량의 데이터에 크게 의존하는 한계를 가지고 있다. 본 연구는 방대한 데이터로 학습된 거대 언어 모델(LLM) 활용을 중심으로, 한국어의 교착어 특성을 반영하여 형태소 정보를 활용한 Few-Shot 프롬프트를 통해 한국어 헬스케어 도메인에서의 개체명 인식 방법을 제안한다.

• Knowledge Management Research
• /
• v.22 no.3
• /
• pp.91-106
• /
• 2021

With the recent rapid development of deep learning technology, the demand for analyzing huge text documents in the national R&D field from various perspectives is rapidly increasing. In particular, interest in the application of a BERT(Bidirectional Encoder Representations from Transformers) language model that has pre-trained a large corpus is growing. However, the terminology used frequently in highly specialized fields such as national R&D are often not sufficiently learned in basic BERT. This is pointed out as a limitation of understanding documents in specialized fields through BERT. Therefore, this study proposes a method to build an R&D KoBERT language model that transfers national R&D field knowledge to basic BERT using further pre-training. In addition, in order to evaluate the performance of the proposed model, we performed classification analysis on about 116,000 R&D reports in the health care and information and communication fields. Experimental results showed that our proposed model showed higher performance in terms of accuracy compared to the pure KoBERT model.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2016.10a
• /
• pp.617-620
• /
• 2016

본 논문에서는 이미지 캡션 생성과 모델 전이에 효과적인 심층 신경망 모델을 제시한다. 본 모델은 멀티 모달 순환 신경망 모델의 하나로서, 이미지로부터 시각 정보를 추출하는 컨볼루션 신경망 층, 각 단어를 저차원의 특징으로 변환하는 임베딩 층, 캡션 문장 구조를 학습하는 순환 신경망 층, 시각 정보와 언어 정보를 결합하는 멀티 모달 층 등 총 5 개의 계층들로 구성된다. 특히 본 모델에서는 시퀀스 패턴 학습과 모델 전이에 우수한 LSTM 유닛을 이용하여 순환 신경망 층을 구성하고, 컨볼루션 신경망 층의 출력을 임베딩 층뿐만 아니라 멀티 모달 층에도 연결함으로써, 캡션 문장 생성을 위한 매 단계마다 이미지의 시각 정보를 이용할 수 있는 연결 구조를 가진다. Flickr8k, Flickr30k, MSCOCO 등의 공개 데이터 집합들을 이용한 다양한 비교 실험을 통해, 캡션의 정확도와 모델 전이의 효과 면에서 본 논문에서 제시한 멀티 모달 순환 신경망 모델의 우수성을 입증하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.529-532
• /
• 2023

본 논문은 소셜 네트워크 이용자의 텍스트 데이터를 대상으로, 트랜스포머 계열의 언어모델을 전이학습해 이용자의 MBTI 성격 유형을 분류한 국내 첫 연구이다. Kaggle MBTI Dataset을 대상으로 RoBERTa Distill, DeBERTa-V3 등의 사전 학습모델로 전이학습을 해, MBTI E/I, N/S, T/F, J/P 네 유형에 대한 분류의 평균 정확도는 87.9181, 평균 F-1 Score는 87.58를 도출했다. 해외 연구의 State-of-the-art보다 네 유형에 대한 F1-Score 표준편차를 50.1% 낮춰, 유형별 더 고른 분류 성과를 보였다. 또, Twitter, Reddit과 같은 글로벌 소셜 네트워크 서비스의 텍스트 데이터를 추가로 분류, 트랜스포머 기반의 MBTI 분류 방법론을 확장했다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.289-294
• /
• 2022

의존구문분석은 문장을 의존관계(의존소-지배소)로 분석하는 구문분석 방법론이다. 현재 사전학습모델을 사용한 전이 학습의 딥러닝이 좋은 성능을 보이며 많이 연구되지만, 데이터셋에 의존적이며 그로 인한 자료부족 문제와 과적합의 문제가 발생한다는 단점이 있다. 본 논문에서는 언어학적 지식에 기반한 강화된 지배소-의존소 제약규칙 에지 알고리즘을 심층학습과 결합한 모델을 제안한다. TTAS 표준 가이드라인 기반 모두의 말뭉치로 평가한 결과, 최대 UAS 96.28, LAS 93.19의 성능을 보였으며, 선행연구 대비 UAS 2.21%, LAS 1.84%의 향상된 결과를 보였다. 또한 적은 데이터셋으로 학습했음에도 8배 많은 데이터셋 학습모델 대비 UAS 0.95%의 향상과 11배 빠른 학습 시간을 보였다. 이를 통해 심층학습과 언어지식의 결합이 딥러닝의 문제점을 해결할 수 있음을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.157-161
• /
• 2020

문서 요약(text summarization)은 주어진 문서로부터 중요하고 핵심적인 정보를 포함하는 요약문을 만들어 내는 작업으로, 기계 번역 작업에서 주로 사용되는 Sequence-to-Sequence 모델을 사용한 end-to-end 방식의 생성(abstractive) 요약 모델 연구가 활발히 진행되고 있다. 최근에는 BERT와 MASS 같은 대용량 단일 언어 데이터 기반 사전학습(pre-training) 모델을 이용하여 미세조정(fine-tuning)하는 전이 학습(transfer learning) 방법이 자연어 처리 분야에서 주로 연구되고 있다. 본 논문에서는 MASS 모델에 복사 메커니즘(copying mechanism) 방법을 적용하고, 한국어 언어 생성(language generation)을 위한 사전학습을 수행한 후, 이를 한국어 문서 요약에 적용하였다. 실험 결과, MASS 모델에 복사 메커니즘 방법을 적용한 한국어 문서 요약 모델이 기존 모델들보다 높은 성능을 보였다.

• The Journal of Korean Association of Computer Education
• /
• v.19 no.6
• /
• pp.55-68
• /
• 2016

Informatics curriculum revised 2015 proposed the use of block type and text type of programming language by organizing problem solving and the programming unit in a spiral. The purpose of this study is to find out whether the algorithms helps programming learning and whether there is a positive transition effect in block type programming learning to text type programming trailing learning. For 15 elementary school students was conducted block type and text type programming learning. As a result of the research, it is confirmed that writing the algorithm in a limited way can interfere with the learner's expression of thinking, but the block type programming learning has a positive transition to the text type programming learning. This study is meaningful that it suggested a plan for the programming education which is sequential from elementary school.

• Koreanishche Zeitschrift fur Deutsche Sprachwissenschaft
• /
• v.7
• /
• pp.1-24
• /
• 2003

우리는 지금까지 독일어와 한국어 두 언어간의 오류분석을 논의해 왔다. 특히 언어유형학적인 측면에서 몇 가지 오류유형과 분석을 시도했다. 그 결과는 대체로 다음과 같이 요약될 수 있다. 독일어와 한국어가 서로 근본적으로 상반되는 언어현상과 더불어 약간의 공통성을 나타내며 일정한 유형을 나타낸다. 이는 두로 인간의 언어습득장치에 기인된 언어습득의 결정주의(Determinismus)에서 비롯될 것이다. 언어특성/문제의 체계성/규칙성 또는 일관성은 이를 반영한다. 거대한 언어자료 중에 극히 미미한 일부, 즉 언어최소량를 정복함으로써 그 효용성을 극대화할 수 있는 것은 매우 중요한 의미를 지닌다. 이를 연구 이용하는 경우에는 엄청난 효과와 가능성을 기대할 수 있을 것이다. (1) 독일어와 한국어의 학습 및 오류분석에서 가장 핵심적인 것은 언어유형학적으로 드러난 언어특성, 즉 전치성(독일어/영어)과 후치성(한국어)이다. 이를 토대로 형성된 대립적인 면과 공통적인 문제를 체계화하는 것이 역시 오류분석 문제의 관건이다. 또한 독일어가 아직 후치성 언어(한국어(TXV))에서 출발해서 전치성 언어(영어(SVX))로 발전/변화해 가는 과정, 즉 중간단계인 TVX에 머물고 있다는 사실이 중요한 의미를 지닌다. 즉 그들의 대극성과 유사성을 연결하는 실마리로 볼 수 있기 때문이다. (2) 일치(Kongruenz)/상관(Korrelation) 및 반복(Wiederholung) 현상, 그리고 격변화와 인칭변화 현상은 어순문제와 더불어 형태론적 문제를 통해 문법적인 확인수단으로 작용한다. 이들은 대부분 체계적/구조적으로 나타나기 때문에 학습자는 흔히 같은 유형에서 반복적으로 오류를 범하기 마련이다. 이를 극복하기 위해서 언어 유형학적 오류분석을 이해하고 또한 이를 통해 오류를 줄이거나 예방하는 학습이 필요하다. (3) 명사가 한정사구 안에서 성/수/격에 따라 변화하는 것과 동사가 동사구에서 주어의 인칭/수에 따라 인칭변화 하는 것은 우리 한국인에게는 아주 이색적인 현상이다. 이는 양면적인 수식구조에 대한 확인수단 및 원자가에 의한 강력한 형식위주 언어인 독일어와 전위적인 단일 수식구조와 부정형 동사를 특성으로 형성된 핵/최소문 언어간의 필연적인 적응관계 및 결과라고 볼 수 있다. 이 두 가지 유형 역시 언어특성에 따라 도식화/공식화 할 수 있다. (4) 괄호현상, 즉 으뜸머리(Hauptkopf)가 버금머리(Nebenkopf)와 분리하는 것은 우리 한국인에게는 아주 이색적인 언어현상이다. 한국어에는 머리의 이동이 없기 때문이다. 긴 구문에서 버금머리를 잊어버리거나 실수하는 것은 모든 괄호구문에서 예견되는 결과이다. 그러나 이는 정치성과 후치성 언어간의 전이 과정으로 이해될 수 있다. 으뜸머리가 원래의 자리를 박차고 소속 구/문의 앞자리로 도약한 것처럼 느껴지기 때문이다. (5) 전치 및 후치 수식이 유동적으로 작용하는 독일어는 전치 수식만으로 고정된 한국어보다 복잡하지만 균형적인 언어구조이다. 이러한 수식구조에서 한국인은 흔히 형태 및 어순에서, 그리고 번역에서 오류를 범하고 만다. (6) 그러나 가장 중요한 것은 아는 것을 제대로 이용하는 문제이다. 모국어/L2를 자유로이 말하고 쓸 때까지, 즉 언어습득에는 일체이 문법이나 도표/도식을 이용할 필요가 없다는 사실이다. 이는 17세기 서구의 이성주의 철학자들의 한결같은 경고이다. 오늘날 초고속 과학문명에서 더욱 빛을 발하는 것은 당연한 결과이다. 한 언어 속에 들어있는 문법체계를 익혀 가는 것이 곧 언어습득 과정이지만, 이를 달성하는 가능성 내지 첩경은 실제적인 언어자료와 체험이지 결코 문법이나 추상적인 개념적 접근이 아님을 웅변하고 있기 때문이다. 핵심적인 문제는 모국어교육에서도 최대 장점인 대화를 통한 언어연습/대화 기회를 최대한 보장하는 데 있다. 또한 언어간섭 현상을 조장하는 분위기를 막아야 할 것이다. 이러한 의미에서 교수법 개발이 외국어/L2 성공의 관건일 것이다. (7) 언어학습에서 오류를 극복하는 데는 일차적인 실제 상황에 부합하는 대화적인 연습, 그리고 효과적인 언어자료 접촉, 즉 독서와 모방이 중요하다. 이차적이고 직접적인 것은 통사(Syntax) 및 형태론(Morphologie)를 익힐 수 있는 말/문을 끊임없이 익히는 일이다. 이것이 또한 언어최소량을 충족시켜 언어습득에 이르는 첩경이다. 자연 생태적인 모국어 학습 또는 조정 및 제도적인 언어학습에서도 실제상황에 어긋나는 문법적인 체계에 얽매이는 도식 및 도표 위주의 텟스트는 일시적인 기대일 뿐이다. 인간의 언어습득장치를 이해하지 못한 결과이기 때문이다. 문법적인 개념위주 접근은 상당한 설명이 필요해서 절박한 자료와 체험까지 앗아가기 마련이다. 더구나 이를 위해 수준을 무시하고 모국어로 일관하여 벙어리와 문맹을 자초하는 것은 참으로 어리석은 일이다. 지식 정보화 시대 및 세계화 시대에는 무엇보다도 교육 및 언어정책이 국가 발전의 원동력이다. 특히 영어를 비롯한 외국어 학습능력과 학습방법은 매우 중요하다. 학습자에게 말하고 쓰는 기본 능력을 보장하는 것이 급선무이다. 이를 위한 작업의 하나가 바로 언어간의 오류분석일 것이다. 언어의 습득과 활용이 체계적이듯이 오류분석 역시 상당히 체계적이다. 그래서 인간의 언어습득과 언어습득장치를 두고 결정론(Determinismus)이 지배적이다. 이러한 의미에서 언어습득의 3대 요소, 즉 언어습득장치를 구비한 인간으로 태어나고, 해당 언어를 통한 일관된 언어체험/학습으로 언어최소량을 충족해야 한 언어를 정복할 수 있다는 것은 결정적인 사실이다. 학생고객에게 다가서는 책임교육으로 교육개방에 대비하는 일 역시 시대적인 상황이요 또한 결정적인 단계임엔 틀림이 없을 것이다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.119-123
• /
• 2020

이벤트 추출은 텍스트에서 구조화된 이벤트를 분석하는 것이다. 본 논문은 대화문에서 발생하는 다양한 종류의 이벤트를 다루기 위해 이벤트 스키마를 프레임넷으로 정한다. 대화문에서의 이벤트 논항은 이벤트가 발생하는 문장 뿐만 아니라 다른 문장 또는 대화에 참여하는 발화자에서 발생할 수 있다. 대화문 주석 데이터의 부재로 대화문에서의 프레임 파싱 연구는 진행되지 않았다. 본 논문이 제안하는 모델은 대화문에서의 이벤트 논항 구간이 주어졌을 때, 논항 구간의 역할을 식별하는 모델이다. 해당 모델은 이벤트를 유발한 어휘, 논항 구간, 논항 역할 간의 관계를 학습한다. 대화문 주석 데이터의 부족을 극복하기 위해 문어체 주석 데이터인 한국어 프레임넷을 활용하여 전이학습을 진행한다. 이를 통해 정확도 51.21%를 달성한다.

• Journal of Korea Society of Industrial Information Systems
• /
• v.28 no.5
• /
• pp.15-30
• /
• 2023

Recently, generative models based on the Transformer architecture, such as ChatGPT, have been gaining significant attention. The Transformer architecture has been applied to various neural network models, including Google's BERT(Bidirectional Encoder Representations from Transformers) sentence generation model. In this paper, a method is proposed to create a text binary classification model for determining whether a comment on Korean movie review is positive or negative. To accomplish this, a pre-trained multilingual BERT sentence generation model is fine-tuned and transfer learned using a new Korean training dataset. To achieve this, a pre-trained BERT-Base model for multilingual sentence generation with 104 languages, 12 layers, 768 hidden, 12 attention heads, and 110M parameters is used. To change the pre-trained BERT-Base model into a text classification model, the input and output layers were fine-tuned, resulting in the creation of a new model with 178 million parameters. Using the fine-tuned model, with a maximum word count of 128, a batch size of 16, and 5 epochs, transfer learning is conducted with 10,000 training data and 5,000 testing data. A text sentiment binary classification model for Korean movie review with an accuracy of 0.9582, a loss of 0.1177, and an F1 score of 0.81 has been created. As a result of performing transfer learning with a dataset five times larger, a model with an accuracy of 0.9562, a loss of 0.1202, and an F1 score of 0.86 has been generated.