• 한국어정보학회:학술대회논문집
• /
• 2017.10a
• /
• pp.76-81
• /
• 2017

외국어로 구성된 용어를 발음에 기반하여 자국의 언어로 표기하는 것을 음차 표기라 한다. 국가 간의 경계가 허물어짐에 따라, 외국어에 기원을 두는 용어를 설명하기 위해 뉴스 등 다양한 웹 문서에서는 동일한 발음을 가지는 외국어 표기와 한국어 표기를 혼용하여 사용하고 있다. 이에 좋은 검색 결과를 가져오기 위해서는 외국어 표기와 더불어 사람들이 많이 사용하는 다양한 음차 표기를 함께 검색에 활용하는 것이 중요하다. 음차 표기 모델과 음차 표기 대역 쌍 추출을 통해 음차 표현을 생성하는 기존 방법 대신, 본 논문에서는 신뢰할 수 있는 다양한 음차 표현을 찾기 위해 문서에서 음차 표기 후보를 찾고, 이 음차 표기 후보가 정확한 표기인지 판별하는 방식을 제안한다. 다양한 딥러닝 모델을 비교, 검토하여 최종적으로 음차 표기 대역 쌍 판별에 특화된 모델인 Distance LSTM-CNN 모델을 제안하며, 제안하는 모델의 Batch Size 영향을 줄이고 학습 시 수렴 속도 개선을 위해 Layer Normalization을 적용하는 방법을 보인다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.622-624
• /
• 2021

현재 BERT와 같은 대용량의 코퍼스로부터 학습된 사전 학습 언어 모델을 자연어 응용 태스크에 적용하기 위해 일반적으로 널리 사용되는 방법은 Fine-tuning으로 각 응용 태스크에 적용 시 모델의 모든 파라미터를 조정하기 때문에 모든 파라미터를 조정하는데 필요한 시간적 비용과 함께 업데이트된 파라미터를 저장하기 위한 별도의 저장공간이 요구된다. 언어 모델이 커지면 커질수록 저장 공간의 비용이 증대됨에 따라 이러한 언어모델을 효율적으로 튜닝 할 수 있는 방법들이 연구되었다. 본 연구에서는 문장의 입력 임베딩에 연속적 태스크 특화 벡터인 prefix를 추가하여 해당 prefix와 관련된 파라미터만 튜닝하는 prefix-tuning을 한국어 네이버 감성 분석 데이터 셋에 적용 후 실험결과를 보인다.

• Journal of Korea Society of Industrial Information Systems
• /
• v.29 no.3
• /
• pp.79-87
• /
• 2024

Recently, the importance of pre-trained language models (PLM) has been emphasized for natural language processing (NLP) such as text classification, sentiment analysis, and question answering. Korean PLM shows high performance in NLP in general-purpose domains, but is weak in domains such as finance, medicine, and law. The main goal of this study is to propose a language model learning process and method to build a financial-specific language model that shows good performance not only in the financial domain but also in general-purpose domains. The five steps of the financial-specific language model are (1) financial data collection and preprocessing, (2) selection of model architecture such as PLM or foundation model, (3) domain data learning and instruction tuning, (4) model verification and evaluation, and (5) model deployment and utilization. Through this, a method for constructing pre-learning data that takes advantage of the characteristics of the financial domain and an efficient LLM training method, adaptive learning and instruction tuning techniques, were presented.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.143-148
• /
• 2023

본 논문에서는 금융 도메인 특화 사전학습 언어모델인 KF-DeBERTa(Korean Finance DeBERTa)를 제안한다. KF-DeBERTa는 대규모의 금융 말뭉치를 기반으로 학습하였으며, Transformer 아키텍처와 DeBERTa의 특징을 기반으로 구성되었다. 범용 및 금융 도메인에 대한 평가에서 KF-DeBERTa는 기존 언어모델들에 비해 상당히 높은 성능을 보였다. 특히, 금융 도메인에서의 성능은 매우 두드러졌으며, 범용 도메인에서도 다른 모델들을 상회하는 성능을 나타냈다. KF-DeBERTa는 모델 크기 대비 높은 성능 효율성을 보여주었고, 앞으로 금융 도메인에서의 활용도가 기대된다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.233-236
• /
• 2020

개체 연결 태스크는 문장 내에 등장하는 멘션(Mention)들을 위키피디아(Wikipedia)와 같은 지식 베이스 상의 실제 개체에 연결하는 태스크이다. 본 논문에서는 각 멘션을 시멘틱(Semantic)으로 분류하여 각 시멘틱별 추가 학습을 진행할 수 있는 Adapter Memory Network 모델을 제안한다. 이는 각 시멘틱 별 학습을 하나의 통합된 과정으로 진행하도록 하는 모델이며, 본 논문에서는 Adapter Memory Network 모델을 통해 기존 개체 연결 태스크에서 높은 성능을 보이는 NIL 멘션 탐지와 개체 연결의 통합 모델의 성능을 향상시켰음을 보인다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.602-604
• /
• 2021

최근 자연어 처리 분야에서 사전 학습된 언어 모델은 다양한 응용 태스크에 적용되어 성능을 향상시켰다. 하지만 일반적인 말뭉치로 사전 학습된 언어 모델의 경우 중공업 분야처럼 전문적인 분야의 응용 태스크에서 좋은 성능을 나타내지 못한다. 때문에 본 논문에서는 이러한 문제점을 해결하기 위해 중공업 말뭉치를 이용한 RoBERTa 기반의 중공업 분야에 특화된 언어 모델 HeavyRoBERTa를 제안하고 이를 통해 중공업 말뭉치 상에서 Perplexity와 zero-shot 유의어 추출 태스크에서 성능을 개선시켰다.

• Journal of the Korea Computer Graphics Society
• /
• v.26 no.3
• /
• pp.49-59
• /
• 2020

In this paper, we propose a speech animation synthesis specialized in Korean through a rule-based co-articulation model. Speech animation has been widely used in the cultural industry, such as movies, animations, and games that require natural and realistic motion. Because the technique for audio driven speech animation has been mainly developed for English, however, the animation results for domestic content are often visually very unnatural. For example, dubbing of a voice actor is played with no mouth motion at all or with an unsynchronized looping of simple mouth shapes at best. Although there are language-independent speech animation models, which are not specialized in Korean, they are yet to ensure the quality to be utilized in a domestic content production. Therefore, we propose a natural speech animation synthesis method that reflects the linguistic characteristics of Korean driven by an input audio and text. Reflecting the features that vowels mostly determine the mouth shape in Korean, a coarticulation model separating lips and the tongue has been defined to solve the previous problem of lip distortion and occasional missing of some phoneme characteristics. Our model also reflects the differences in prosodic features for improved dynamics in speech animation. Through user studies, we verify that the proposed model can synthesize natural speech animation.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.19-24
• /
• 2023

자연어 처리 분야에서 데이터의 중요성이 더욱 강조되고 있으며, 특히 리소스가 부족한 도메인에서 데이터 부족 문제를 극복하는 방법으로 데이터 증강이 큰 주목을 받고 있다. 이 연구는 대규모 언어 모델(Large Language Model, LLM)을 활용한 키워드 기반 데이터 증강 방법을 제안하고자 한다. 구체적으로 한국어에 특화된 LLM을 활용하여 주어진 키워드를 기반으로 특정 주제에 관한 대화 내용을 생성하고, 이를 통해 대화 주제를 분류하는 분류 모델의 성능 향상을 입증했다. 이 연구 결과는 LLM을 활용한 데이터 증강의 유의미성을 입증하며, 리소스가 부족한 상황에서도 이를 활용할 수 있는 방법을 제시한다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.353-356
• /
• 2020

관용구는 둘 이상의 단어가 결합하여 특정한 뜻을 생성한 어구로 기계번역 시 종종 오역이 발생한다. 이는 관용구가 지닌 함축적인 의미를 정확하게 번역할 수 없는 기계번역의 한계를 드러낸다. 따라서 신경망 기계 번역(Neural Machine Translation)에서 관용구를 효과적으로 학습하려면 관용구에 특화된 번역 쌍 데이터셋과 학습 방법이 필요하다. 본 논문에서는 한-영 관용구 기계번역에 특화된 데이터셋을 이용하여 신경망 기계번역 모델에 관용구를 효과적으로 학습시키기 위해 특정 토큰을 삽입하여 문장에 포함된 관용구의 위치를 나타내는 방법을 제안한다. 실험 결과, 제안한 방법을 이용하여 학습하였을 때 대부분의 신경망 기계 번역 모델에서 관용구 번역 품질의 향상이 있음을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2017.10a
• /
• pp.76-81
• /
• 2017

외국어로 구성된 용어를 발음에 기반하여 자국의 언어로 표기하는 것을 음차 표기라 한다. 국가 간의 경계가 허물어짐에 따라, 외국어에 기원을 두는 용어를 설명하기 위해 뉴스 등 다양한 웹 문서에서는 동일한 발음을 가지는 외국어 표기와 한국어 표기를 혼용하여 사용하고 있다. 이에 좋은 검색 결과를 가져오기 위해서는 외국어 표기와 더불어 사람들이 많이 사용하는 다양한 음차 표기를 함께 검색에 활용하는 것이 중요하다. 음차 표기 모델과 음차 표기 대역 쌍 추출을 통해 음차 표현을 생성하는 기존 방법 대신, 본 논문에서는 신뢰할 수 있는 다양한 음차 표현을 찾기 위해 문서에서 음차 표기 후보를 찾고, 이 음차 표기 후보가 정확한 표기인지 판별하는 방식을 제안한다. 다양한 딥러닝 모델을 비교, 검토하여 최종적으로 음차 표기 대역 쌍 판별에 특화된 모델인 Distance LSTM-CNN 모델을 제안하며, 제안하는 모델의 Batch Size 영향을 줄이고 학습 시 수렴 속도 개선을 위해 Layer Normalization을 적용하는 방법을 보인다.