• 지능정보연구
• /
• 제29권3호
• /
• pp.125-144
• /
• 2023

최근 ChatGPT 등 거대언어모델(Large Language Models)의 활용은 대화형상거래, 모바일금융 서비스 등 다양한 분야에서 사용이 증가하고 있다. 그러나 주로 기존 문서를 학습하여 만들어진 거대언어모델은 문서에 내재된 인간의 다양한 편향까지도 학습할 수 있다. 그럼에도 불구하고 거대언어모델에 편향과 차별의 양상에 대한 비교연구는 거의 이루어지지 않았다. 이에 본 연구의 목적은 거대언어모델안에 9가지 차별(Age, Disability status, Gender identity, Nationality, Physical appearance, Race ethnicity, Religion, Socio-economic status, Sexual orientation)의 존재유무 또는 그 정도를 점검하고 발전 방안을 제안하는 것이다. 이를 위해 차별 양상을 특정하기 위한 도구인 BBQ (Bias Benchmark for QA)를 활용하여 ChatGPT, GPT-3, Bing Chat 등 세가지 거대언어모델을 대상으로 비교하였다. 평가 결과 거대언어모델에 적지 않은 차별적 답변이 관찰되었으며, 그 양상은 거대언어모델에 따라 차이가 있었다. 특히 성차별, 인종차별, 경제적 불평등 등 전통적인 인공지능 윤리 이슈가 아닌 노인차별, 장애인차별에서 문제점이 노출되어, 인공지능 윤리의 새로운 관점을 찾을 수 있었다. 비교 결과를 기반으로 추후 거대언어모델의 보완 및 발전 방안에 대해 기술하였다.

• 정보관리학회지
• /
• 제40권3호
• /
• pp.77-98
• /
• 2023

본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.

• 한국빅데이터학회지
• /
• 제7권2호
• /
• pp.11-29
• /
• 2022

사전학습 언어모델은 자연어 처리 작업에서 가장 중요하고 많이 활용되는 도구로, 대량의 말뭉치를 대상으로 사전학습이 되어있어 적은 수의 데이터를 이용한 미세조정학습으로도 높은 성능을 기대할 수 있으며, 사전학습된 토크나이저과 딥러닝 모형 등 구현에 필요한 요소들이 함께 배포되기 때문에 자연어 처리 작업에 소요되는 비용과 기간을 크게 단축시켰다. 트랜스포머 변형 모형은 이와 같은 장점을 제공하는 사전학습 언어모델 중에서 최근 가장 많이 사용되고 있는 모형으로, 번역을 비롯하여 문서 요약, 챗봇과 같은 질의 응답, 자연스러운 문장의 생성 및 문서의 분류 등 다양한 자연어 처리 작업에 활용되고 있으며 컴퓨터 비전 분야와 오디오 관련 분야 등 다른 분야에서도 활발하게 활용되고 있다. 본 논문은 연구자들이 보다 쉽게 사전학습 언어모델에 대해 이해하고 자연어 처리 작업에 활용할 수 있도록 하기 위해, 언어모델과 사전학습 언어모델의 정의로부터 시작하여 사전학습 언어모델의 발전과정과 다양한 트랜스포머 변형 모형에 대해 조사하고 정리하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제17권9호
• /
• pp.2334-2347
• /
• 2023

Metaverse services generate text data, data of ubiquitous computing, in real-time to analyze user emotions. Analysis of user emotions is an important task in metaverse services. This study aims to classify user sentiments using deep learning and pre-trained language models based on the transformer structure. Previous studies collected data from a single platform, whereas the current study incorporated the review data as "Metaverse" keyword from the YouTube and Google Play Store platforms for general utilization. As a result, the Bidirectional Encoder Representations from Transformers (BERT) and Robustly optimized BERT approach (RoBERTa) models using the soft voting mechanism achieved a highest accuracy of 88.57%. In addition, the area under the curve (AUC) score of the ensemble model comprising RoBERTa, BERT, and A Lite BERT (ALBERT) was 0.9458. The results demonstrate that the ensemble combined with the RoBERTa model exhibits good performance. Therefore, the RoBERTa model can be applied on platforms that provide metaverse services. The findings contribute to the advancement of natural language processing techniques in metaverse services, which are increasingly important in digital platforms and virtual environments. Overall, this study provides empirical evidence that sentiment analysis using deep learning and pre-trained language models is a promising approach to improving user experiences in metaverse services.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제38권1호
• /
• pp.49-67
• /
• 2024

최근 인공지능 언어 모델의 다양한 활용에 대한 관심이 높아지면서 수학교육에서의 교수학적 활용 방안 모색에 대한 필요성이 강조되고 있다. 인공지능 언어 모델은 자연어 처리가 가능하다는 특징으로 인하여 수학 문장제 해결과 관련된 활용이 기대된다. 인공지능 언어 모델 중 하나인 ChatGPT의 성능을 확인하기 위하여 초등학교 교과서에 제시된 문장제를 해결하도록 지시하였으며 풀이 과정 및 오류를 분석하였다. 분석 결과, 인공지능 언어 모델은 81.08%의 정답률을 나타내었으며 문제 이해 오류, 식 수립 오류, 계산 오류 등이 발생하였다. 이러한 문장제 해결 과정 및 오류 유형의 분석을 바탕으로 인공지능 언어 모델의 교수학적 활용 방안과 관련된 시사점을 제안하였다.

• 한국컴퓨터정보학회논문지
• /
• 제29권3호
• /
• pp.43-54
• /
• 2024

최근 언어모델을 활용하기 위한 연구가 활발히 이루어지며, 큰 규모의 언어모델이 다양한 과제에서 혁신적인 성과를 달성하고 있다. 하지만 실제 현장은 거대 언어모델 활용에 필요한 자원과 비용이 한정적이라는 한계를 접하면서, 최근에는 주어진 자원 내에서 모델을 효과적으로 활용할 수 있는 방법에 주목하고 있다. 대표적으로 학습 데이터를 난이도에 따라 구분한 뒤 순차적으로 학습하는 방법론인 커리큘럼 러닝이 주목받고 있지만, 난이도를 측정하는 방법이 복잡하거나 범용적이지 않다는 한계를 지닌다. 따라서, 본 연구에서는 신뢰할 수 있는 사전 정보를 통해 데이터의 학습 난이도를 측정하고, 이를 다양한 과제에 쉽게 활용할 수 있는 데이터 이질성 기반 커리큘럼 러닝 방법론을 제안한다. 제안방법론의 성능 평가를 위해 국가 R&D 과제 전문 문서 중 정보통신 분야 전문 문서 5,000건, 보건의료전문 문서 데이터 4,917건을 적용하여 실험을 수행한 결과, 제안 방법론이 LoRA 미세조정과 전체 미세조정 모두에서 전통적인 미세조정에 비해 분류 정확도 측면에서 우수한 성능을 나타냄을 확인했다.

• 한국지능시스템학회논문지
• /
• 제14권3호
• /
• pp.357-362
• /
• 2004

언어 모델은 음성 인식이나 필기체 문자 인식 등에서 다음 단어를 예측함으로써 인식률을 높이게 된다. 그러나 언어 모델은 그 도메인에 따라 모두 다르며 충분한 분량의 말뭉치를 수집하는 것이 거의 불가능하다. 본 논문에서는 N그램 방식의 언어모델을 구축함에 있어서 크기가 제한적인 말뭉치의 한계를 극복하기 위하여 두개의 말뭉치, 즉 소규모의 구어체 말뭉치와 대규모의 문어체 말뭉치의 통계를 이용하는 방법을 제시한다. 이 이론을 검증하기 위하여 수십만 단어 규모의 방송용 말뭉치에 수백만 이상의 신문 말뭉치를 결합하여 방송 스크립트에 대한 퍼플렉시티를 30% 향상시킨 결과를 획득하였다.

• 한국CDE학회논문집
• /
• 제17권4호
• /
• pp.234-245
• /
• 2012

This paper proposes a multi-level product modeling framework for long-term lifecycle products. The framework can help engineers to define product models and relate them to physical instances. The framework is defined in three levels; data, design model, modeling language. The data level represents real-world products, The model level describes design models of real-world products. The modeling language level defines concepts and relationships to describe product design models. The concepts and relationships in the modeling language level enable engineers to express the semantics of product models in an engineering-friendly way. The interactions between these three levels are explained to show how the framework can manage long-term lifecycle product information. A prototype system is provided for further understanding of the framework.

• Korean Journal of Radiology
• /
• 제25권5호
• /
• pp.499-500
• /
• 2024

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 1998년도 추계종합학술대회 논문집
• /
• pp.931-934
• /
• 1998

We have implemented a sign language animation system using 2D and 3D models. From the previous studies, we find out that both models have several limitations based on the linear interpolation and fixed number of frames, and they result in incorrectness of actions and unnatural movements. To solve the problems, in this paper, we propose a sign language animation system using spline interpolation method and variable number of frames. Experimental results show that the proposed method could generate animation more correctly and rapidly than previous methods.