• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.698-703
• /
• 2023

최근 ChatGPT와 같은 사전학습 생성모델은 자연어 이해 (natural language understanding)에서 좋은 성능을 보이고 있다. 또한 코드 작업을 도와주고 대학수학능력시험, 중고등학교 수준의 문제를 풀거나 도와주는 다양한 분야에서 활용되고 있다. 본 논문은 사전학습 생성모델을 이용하여 영어 교육을 위해 말뭉치를 확장하는 프레임 워크를 제시한다. 이를 위해 ChatGPT를 사용해 말뭉치를 확장 한 후 의미 유사도, 상황 유사도, 문장 교육 난이도를 사용해 생성된 문장의 교육적 효과를 검증한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.80-85
• /
• 2023

기계 번역에서 품질 검증은 정답 문장 없이 기계 번역 시스템에서 생성된 번역의 품질을 자동으로 추정하는 것을 목표로 한다. 일반적으로 이 작업은 상용화된 기계 번역 시스템에서 후처리 모듈 역할을 하여 사용자에게 잠재적인 번역 오류를 경고한다. 품질 검증의 하위 작업인 치명적인 오류 탐지는 번역의 오류 중에서도 정치, 경제, 사회적으로 문제를 일으킬 수 있을 만큼 심각한 오류를 찾는 것을 목표로 한다. 본 논문은 치명적인 오류의 유무를 분류하는 것을 넘어 문장에서 치명적인 오류가 존재하는 부분을 제시하기 위한 새로운 데이터셋과 모델을 제안한다. 이 데이터셋은 거대 언어 모델을 활용하는 구축 방식을 채택하여 오류의 구체적인 범위를 표시한다. 또한, 우리는 우리의 데이터를 효과적으로 활용할 수 있는 다중 작업 학습 모델을 제시하여 오류 범위 탐지에서 뛰어난 성능을 입증한다. 추가적으로 언어 모델을 활용하여 번역 오류를 삽입하는 데이터 증강 방법을 통해 보다 향상된 성능을 제시한다. 우리의 연구는 기계 번역의 품질을 향상시키고 치명적인 오류를 줄이는 실질적인 해결책을 제공할 것이다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.352-357
• /
• 2023

자연어 추론은 두 문장(전제, 가설)간의 관계를 이해하고 추론하여 함의, 모순, 중립 세 가지 범주로 분류하며, 전제-가설-라벨(PHL) 데이터셋을 활용하여 자연어 추론 모델을 학습한다. 그러나, 새로운 도메인에 자연어 추론을 적용할 경우 학습 데이터가 존재하지 않거나 이를 구축하는 데 많은 시간과 자원이 필요하다는 문제가 있다. 본 논문에서는 자연어 추론을 위한 학습 데이터인 전제-가설-라벨 삼중항을 자동 생성하기 위해 [1]에서 제안한 문장 변환 규칙 대신에 거대 언어 모델과 Chain-of-Thought(CoT), Program-aided Language Models(PaL) 등의 프롬프팅(Prompting) 방법을 이용하여 전제-가설-라벨 삼중항을 자동으로 생성하는 방법을 제안한다. 실험 결과, CoT와 PaL 프롬프팅 방법으로 자동 생성된 데이터의 품질이 기존 규칙이나 기본 프롬프팅 방법보다 더 우수하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.1116-1119
• /
• 2021

2018 년 Google 사의 사전 학습된 언어 인공지능 BERT 를 기점으로, 자연어 처리 학계는 주요 구조를 유지한 채 경쟁적으로 모델을 대형화하는 방향으로 발전했다. 그 결과, 오늘날 자연어 인공지능은 거대 사기업과 그에 준하는 컴퓨팅 자원을 소유한 연구 단체만의 전유물이 되었다. 본 논문에서는 다층 퍼셉트론을 병렬적으로 배열해 자연어 인공지능을 제작하는 기법의 모델을 제안하고, 이를 적용한'조건부 게이트 다층 퍼셉트론 모델(SG-MLP)'을 구현하고 그 결과를 비교 관찰하였다. SG-MLP 는 BERT 의 20%에 해당하는 사전 학습량만으로 다수의 지표에서 그것과 준하는 성능을 보였고, 동일한 과제에 대해 더 적은 연산 비용을 소요한다.

• Transactions on Semiconductor Engineering
• /
• v.1 no.1
• /
• pp.23-30
• /
• 2023

With the recent development of Generative AI technology by IT giants, the size of the transformer model is increasing exponentially over trillion won. In order to continuously enable these AI services, it is essential to reduce the weight of the model. In this paper, we find a hardware-friendly structured pruning pattern and propose a lightweight method of the transformer model. Since compression proceeds by utilizing the characteristics of the model algorithm, the size of the model can be reduced and performance can be maintained as much as possible. Experiments show that the structured pruning proposed when pruning GPT-2 and BERT language models shows almost similar performance to fine-grained pruning even in highly sparse regions. This approach reduces model parameters by 80% and allows hardware acceleration in structured form with 0.003% accuracy loss compared to fine-tuned pruning.

• Journal of Service Research and Studies
• /
• v.13 no.3
• /
• pp.172-189
• /
• 2023

This study investigated the potential contribution of ChatGPT, a massive language and information model, in the decision-making process of public design policies, focusing on the characteristics inherent to public design. Public design utilizes the principles and approaches of design to address societal issues and aims to improve public services. In order to formulate public design policies and plans, it is essential to base them on extensive data, including the general status of the area, population demographics, infrastructure, resources, safety, existing policies, legal regulations, landscape, spatial conditions, current state of public design, and regional issues. Therefore, public design is a field of design research that encompasses a vast amount of data and language. Considering the rapid advancements in artificial intelligence technology and the significance of public design, this study aims to explore how massive language and information models like ChatGPT can contribute to public design policies. Alongside, we reviewed the concepts and principles of public design, its role in policy development and implementation, and examined the overview and features of ChatGPT, including its application cases and preceding research to determine its utility in the decision-making process of public design policies. The study found that ChatGPT could offer substantial language information during the formulation of public design policies and assist in decision-making. In particular, ChatGPT proved useful in providing various perspectives and swiftly supplying information necessary for policy decisions. Additionally, the trend of utilizing artificial intelligence in government policy development was confirmed through various studies. However, the usage of ChatGPT also unveiled ethical, legal, and personal privacy issues. Notably, ethical dilemmas were raised, along with issues related to bias and fairness. To practically apply ChatGPT in the decision-making process of public design policies, first, it is necessary to enhance the capacities of policy developers and public design experts to a certain extent. Second, it is advisable to create a provisional regulation named 'Ordinance on the Use of AI in Policy' to continuously refine the utilization until legal adjustments are made. Currently, implementing these two strategies is deemed necessary. Consequently, employing massive language and information models like ChatGPT in the public design field, which harbors a vast amount of language, holds substantial value.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.664-671
• /
• 2023

최근 다양한 거대 언어모델(Large Language Model)들이 개발되면서 프롬프트 엔지니어링의 대한 다양한 연구가 진행되고 있다. 본 논문에서는 퓨삿 학습 환경에서 개체명 인식의 성능을 높이기 위해서 제안된 템플릿이 필요 없는 프롬프트 튜닝(Template-free Prompt Tuning) 방법을 이용하고, 이 방법에서 사용된 라벨 단어 집합 생성 방법에 Maximal Marginal Relevance 알고리즘을 적용하여 해당 개체명에 대해 보다 다양하고 구체적인 라벨 단어 집합을 생성하도록 개선하였다. 실험 결과, 'LOC' 타입을 제외한 나머지 개체명 타입에서 'PER' 타입은 0.60%p, 'ORG' 타입은 4.98%p, 'MISC' 타입은 1.38%p 성능이 향상되었고, 전체 개체명 인식 성능은 1.26%p 향상되었다. 이를 통해 본 논문에서 제안한 라벨 단어 집합 생성 기법이 개체명 인식 성능 향상에 도움이 됨을 보였다.

• Proceedings of the KIEE Conference
• /
• 1997.07c
• /
• pp.1091-1093
• /
• 1997

조류계산은 전력계통해석에서 가장 기본적인 것이다. 일반적으로 조류계산은 선로의 3상을 평형으로 간주하여 한상에 대해서만 해석하였다. 삼상조류계산의 복잡함에 비해 그 필요성은 크지 않았기 때문이었다. 한편, 80년대에 소프트웨어 위기의 대안으로 제시되었던 객체지향기법(OOP)은 객체의 효율적인 모델링을 통해 복잡하고 거대한 프로그램의 작성을 보다 용이하게 할 수 있도록 하였다. 본 논문에서는 전력계통의 콤포넌트와 그 콤포넌트로 구성된 전력계통을 모델링하였고 계산에서 사용하는 수학적 모델을 모델링하였다. 또한 본 논문에서 사용한 객체지향 언어인 C++의 큰 특징인 template을 적응하였다. 결과적으로 기존의 단상 조류계산과 삼상조류계산이 사용되는 콤포넌트의 모델이 다른 것을 제외하고는 전체적인 구조를 동일하게 할 수 있었다.

• Proceedings of the Korea Society for Simulation Conference
• /
• 1999.10a
• /
• pp.331-336
• /
• 1999

웹은 지난 수년간 급속도로 발전하였으며 웹의 다양한 활용 분야 중에서 시뮬레이션은 웹의 특성을 가장 잘 이용하는 분야 중 하나로, 웹 기반 시뮬레이션의 구현에 대한 연구가 활발히 이루어지고 있다. 또한 Java 언어의 출현은 웹에서 실질적인 애니메이션과 애니메이션들간의 상호동작을 가능하게 한다. 웹 기반 분산 시뮬레이션은 웹의 분산 특성과 자바의 객체지향 특성을 이용한 분산 시뮬레이션이다. time-warp 기법을 사용하는 웹 기반 분산 시뮬레이션에서 speedup에 대한 성능은 rollback과 통신 지연이 가장 중요한 요인이다. rollback이 발생한 경우 시뮬레이션을 다시 수행하여 시뮬레이션을 매우 느리게 한다. 이러한 rollback과 통신 지연의 방대한 오버헤드는 시뮬레이션 모델의 지역적 분할을 사용할 때 발생한다. 본 발표에서는 time-warp을 기본 구졸 자바의 RMI를 사용하는 웹 기반 분산 시뮬레이션에서 통신 지연에 의한 오버헤드 및 거대한 병렬성과 분산을 고려한 시뮬레이션의 구현 모델을 제안하고 구현한다.

• KIPS Transactions on Software and Data Engineering
• /
• v.12 no.10
• /
• pp.455-460
• /
• 2023

Text augmentation is a methodology that creates new augmented texts by transforming or generating original texts for the purpose of improving the performance of NLP models. However existing text augmentation techniques have limitations such as lack of expressive diversity semantic distortion and limited number of augmented texts. Recently text augmentation using large language models and few-shot learning can overcome these limitations but there is also a risk of noise generation due to incorrect generation. In this paper, we propose a text augmentation method called TAGS that generates multiple candidate texts and selects the appropriate text as the augmented text. TAGS generates various expressions using few-shot learning while effectively selecting suitable data even with a small amount of original text by using contrastive learning and similarity comparison. We applied this method to task-oriented chatbot data and achieved more than sixty times quantitative improvement. We also analyzed the generated texts to confirm that they produced semantically and expressively diverse texts compared to the original texts. Moreover, we trained and evaluated a classification model using the augmented texts and showed that it improved the performance by more than 0.1915, confirming that it helps to improve the actual model performance.