• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.463-467
• /
• 2023

사전 학습 모델을 특정 데이터에 미세 조정할 때, 최대 길이는 사전 학습에 사용한 최대 길이 파라미터를 그대로 사용해야 한다. 이는 상대적으로 긴 시퀀스의 처리를 요구하는 일부 작업에서 단점으로 작용한다. 본 연구는 상대적으로 긴 시퀀스의 처리를 요구하는 질의 응답(Question Answering, QA) 작업에서 사전 학습 모델을 활용할 때 발생하는 시퀀스 길이 제한에 따른 성능 저하 문제를 극복하는 방법론을 제시한다. KorQuAD v1.0과 AIHub에서 확보한 데이터셋 4종에 대하여 BERT와 RoBERTa를 이용해 성능을 검증하였으며, 실험 결과, 평균적으로 길이가 긴 문서를 보유한 데이터에 대해 성능이 향상됨을 확인할 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.395-398
• /
• 2023

표 질의응답이란, 주어진 표에서 질의문에 대한 답변을 자동으로 추출하거나 생성하는 기술을 말한다. 최근 언어모델을 사용한 연구들은 정답을 유도할 수 있는 명령문인 프롬프트를 활용하여 더 높은 성능을 보이고 있다. 본 연구에서는 표 질의응답의 성능을 향상시키기 위해, 프롬프트를 효과적으로 사용할 수 있는 모델을 제안한다. 이와 함께, 다양한 형태의 프롬프트를 사용하여 모델을 평가한다. 실험 결과, 기본 모델에 단순 질의문만 입력으로 사용했을 때의 성능 F1 67.5%에 비해, 다양한 프롬프트를 입력으로 사용한 경우 1.6%p 향상된 F1 69.1%을 보였다. 또한, 다양한 프롬프트와 함께 제안 모델을 사용했을 때에는 기본 모델보다 2.2%p 높은 F1 69.7%을 달성했다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.707-710
• /
• 2023

관계추출은 문장 내 두 개체 간의 의미적 관계를 추론하는 자연어분석 태스크이다. 딥러닝의 발전과 더불어 관계추출은 BERT 계열의 이해형 언어모델을 이용하였다. 그러나, ChatGPT의 혁신적인 등장과 함께, GPT계열의 생성형 언어모델에 대한 연구가 활발해졌다. 본 논문에서는 소규모의 생성형 언어모델(Kebyt5)을 이용하여 관계추출 성능개선을 위한 프롬프트 구성 및 생각의 사슬(CoT) 학습 방법을 제안한다. 실험결과 Kebyt5-large 모델에서 CoT 학습을 수행하였을 경우, Klue-RoBERTa-base 모델보다 3.05%의 성능개선이 있었다.

• Annual Conference of KIPS
• /
• 2023.11a
• /
• pp.1033-1034
• /
• 2023

현대 사회에서 정신건강이 중요한 문제로 부상하고 있으나 국내 정신건강 서비스 이용률은 7.2%에 그친다. 코로나 발생 이후 이동성 제약 등의 요인에 따라 디지털 정신건강 관리 시장이 크게 성장할 것으로 보인다. 이에 본 논문에서는 AI 챗봇을 활용한 고민 상담을 통해 위로 및 제안을 제공하고, 대화 내용을 기반으로 영화를 추천하는 시스템을 제안한다. KoBert 모델을 이용하여 사용자의 감성을 분석하고, KoGPT 모델을 활용해 챗봇 응답을 생성한다.

• International Journal of Computer Science & Network Security
• /
• v.24 no.6
• /
• pp.1-7
• /
• 2024

Comparing text features involves evaluating the "similarity" between texts. It is crucial to use appropriate similarity measures when comparing similarities. This study utilized various techniques to assess the similarities between newspaper articles, including deep learning and a previously proposed method: a combination of Pointwise Mutual Information (PMI) and Word Pair Matching (WPM), denoted as PMI+WPM. For performance comparison, law data from medical research in Japan were utilized as validation data in evaluating the PMI+WPM method. The distribution of similarities in text data varies depending on the evaluation technique and genre, as revealed by the comparative analysis. For newspaper data, non-deep learning methods demonstrated better similarity evaluation accuracy than deep learning methods. Additionally, evaluating similarities in law data is more challenging than in newspaper articles. Despite deep learning being the prevalent method for evaluating textual similarities, this study demonstrates that non-deep learning methods can be effective regarding Japanese-based texts.

• Journal of the Semiconductor & Display Technology
• /
• v.23 no.2
• /
• pp.71-75
• /
• 2024

This research focuses on processing unstructured data efficiently, containing various formulas in document processing and management regarding the terms and rules of domestic insurance documents using text mining techniques. Through parsing and compilation technology, document context, content, constants, and variables are automatically separated, and errors are verified in order of the document and logic to improve document accuracy accordingly. Through document debugging technology, errors in the document are identified in real time. Furthermore, it is necessary to predict the changes that intelligent document processing will bring to document management work, in particular, the impact on documents and utilization tasks that are double managed due to various formulas and prepare necessary capabilities in the future.

• Annual Conference of KIPS
• /
• 2024.05a
• /
• pp.784-785
• /
• 2024

형량 예측 연구는 법률 인공지능에서 가장 활발히 연구되고 있는 분야 중 하나이며, 비법률전문가의 사법 신뢰도 상승과 법률전문가의 업무 부담 완화에 긍정적 영향을 줄 수 있다. 본 연구는 형사 사건의 양형 예측에 ChatGPT 를 접목하여 입력된 사실관계와 유사한 선행 판례를 검색함으로써 형량 예측에 필요한 모델의 훈련 시간과 비용을 절감하는 접근법을 제안한다. 본 모델의 weighted F1-score 는 0.53 으로, 미세조정된 BERT 모델과 유사한 성능을 기록하였다.

• Annual Conference of KIPS
• /
• 2024.05a
• /
• pp.680-682
• /
• 2024

현재까지 연구되었던 뉴스 추천 시스템은 일반적으로 뉴스 제목, 뉴스 본문, 카테고리 정보 등의 텍스트 정보를 기반으로 사용자에게 맞춤 뉴스를 추천해주는 방식으로 동작한다. 구체적으로는 뉴스의 텍스트 정보를 통해 뉴스를 표현하는 임베딩 벡터를 생성하여 사용자 맞춤 뉴스를 추천하는 task-specific 한 아키텍처를 기반으로 동작한다. 기존 연구에서는 task-specific 아키텍처 내의 뉴스의 임베딩 벡터를 생성하는 과정에서 BERT 와 같은 언어모델을 이용하여 텍스트 정보를 더 잘 반영하고자 했다. 본 연구에서는 기존의 구조와 다르게, 뉴스 제목 인덱싱을 통해 전체 뉴스 추천 시스템에서의 언어모델을 충분히 활용할 수 있는 방식을 제안하고자 한다.

• Annual Conference of KIPS
• /
• 2024.05a
• /
• pp.739-740
• /
• 2024

본 연구에서는 음성과 텍스트라는 두 가지 모달리티의 데이터를 효과적으로 결합함으로써, 감정 분류의 정확도를 향상시키는 새로운 멀티모달 모델 학습 방법을 제안한다. 이를 위해 음성 데이터로부터 HuBERT 및 MFCC(Mel-Frequency Cepstral Coefficients)기법을 통해 추출한 특징 벡터와 텍스트 데이터로부터 RoBERTa를 통해 추출한 특징 벡터를 결합하여 감정을 분류한다. 실험 결과, 제안한 멀티모달 모델은 F1-Score 92.30으로 유니모달 접근 방식에 비해 우수한 성능 향상을 보였다.

• Proceedings of the Korean Society for Noise and Vibration Engineering Conference
• /
• 2010.05a
• /
• pp.49-49
• /
• 2010

The most commonly used numerical modelling techniques for acoustics and vibration are based on element based techniques, such as the nite element and boundary element method. Due to the huge computational eorts involved, the use of these deterministic techniques is practically restricted to low-frequency applications. For high-frequency modelling, probabilistic techniques such as SEA are well established. However, there is still a wide mid-frequency range, for which no adequate and mature prediction techniques are available. In this frequency range, the computational eorts of conventional element based techniques become prohibitively large, while the basic assumptions of the probabilistic techniques are not yet valid. In recent years, a vast amount of research has been initiated in a quest for an adequate solution for the current midfrequency problem. One family of research methods focuses on novel deterministic approaches with an enhanced convergence rate and computational eciency compared to the conventional element based methods in order to shift the practical frequency limitation towards the mid-frequency range. Amongst those techniques, a wave based prediction technique using an indirect Tretz approach is being developed at the K.U.Leuven - Noise and Vibration Research group. This paper starts with an outline of the major features of the mid-frequency modelling challenge and provides a short overview of the current research activities in response to this challenge. Next, the basic concepts of the wave based technique and its hybrid coupling with nite element schemes are described. Various validations on two- and threedimensional acoustic, elastic, poro-elastic and vibro-acoustic examples are given to illustrate the potential of the method and its benecial performance as compared to conventional element based methods. A closing part shares some views on the open issues and future research directions.