• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.715-718
• /
• 2023

본 연구는 ChatGPT 모델의 특성과 장점을 활용하여 프롬프트 엔지니어링 기법을 연구하고자 하였다. 프롬프트는 엔지니어가 원하는 결과를 잘 얻을 수 있도록 하는 것이 목표이기 때문에 ChatGPT와 프롬프트 엔지니어링의 상호작용과 효과적인 프롬프트 엔지니어링 기법을 개발할 필요가 있다. 연구 방법으로는 ChatGPT에 대한 학습자 사전 설문조사에서 학습자를 분석하였고, 이를 반영하여 프로그래밍 문제를 제시하고 해결하는 과정을 거치면서 다양한 ChatGPT 사용에 대한 분석과 학습자 분석이 이루어졌다. 그 결과 비전공자가 듣고 있는 프로그래밍 수업에서 ChatGPT를 활용하여 얻은 통찰력으로 프롬프트에 필요한 가이드 라인을 마련하였다. 본 연구를 기반으로 향후 비전공자를 위한 파이썬 프로그래밍 수업에서 ChatGPT를 활용한 수업모델을 제시하고 학습자의 피드백 또는 적응형 학습에 활용할 수 있는 방법을 모색할 것이다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.23-24
• /
• 2023

가상 면접은 현대 사회에서 필수적인 기술이지만, 상호작용의 부족으로 인해 한계가 존재한다. 현실적이고 현장감 있는 가상 면접을 구현하기 위해서는 면접관을 자동으로 생성하여 다양한 상황에서의 면접을 진행할 필요가 있다. 본 논문은 Stable Diffusion 기반의 프롬프트 엔지니어링을 통해 가상 면접관 생성에 대한 연구 결과를 제시한다. 프롬프트 엔지니어링은 Stable Diffusion 모델이 생성하는 결과의 품질을 향상시킬 수 있으며 다양한 조건에 따른 실험 결과를 제시한다.

• Journal of Intelligence and Information Systems
• /
• v.29 no.4
• /
• pp.287-308
• /
• 2023

After launching its service in November 2022, ChatGPT has rapidly increased the number of users and is having a significant impact on all aspects of society, bringing a major turning point in the history of artificial intelligence. In particular, the inference ability of large language models such as ChatGPT is improving at a rapid pace through prompt engineering techniques. This reasoning ability can be considered as an important factor for companies that want to adopt artificial intelligence into their workflows or for individuals looking to utilize it. In this paper, we begin with an understanding of in-context learning that enables inference in large language models, explain the concept of prompt engineering, inference with in-context learning, and benchmark data. Moreover, we investigate the prompt engineering techniques that have rapidly improved the inference performance of large language models, and the relationship between the techniques.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.419-422
• /
• 2023

자연어 추론은 전제 문장과 가설 문장의 관계를 함의, 중립, 모순으로 분류하는 자연어 처리 태스크이다. 최근 여러 자연어 처리 태스크에서 딥러닝 모델을 이용하는 방법이 우수한 성능을 보이고 있지만, 이는 미세 조정과정에 드는 비용이 많다는 점과 모델 출력의 근거, 과정을 사람이 이해하기 어려운 한계가 있다. 이러한 이유로 최근에는 소량의 입력, 출력 예시를 포함한 프롬프트를 이용한 방법론과 모델 출력에 대한 근거를 생성, 활용하는 방법에 관한 많은 연구가 진행되고 있다. 본 논문에서는 퓨샷 학습 환경의 한국어 자연어 추론 태스크를 위한 세 가지 프롬프트 방법과 이들을 조합하여 적용하는 방법을 제안한다. 이를 통해 '해석 가능성'과 자연어 추론 성능을 모두 향상시킬 수 있음을 보인다.

• Journal of the Korea Society of Computer and Information
• /
• v.28 no.8
• /
• pp.195-204
• /
• 2023

In this study, prompt engineering that improves prompts was explored to improve the performance of teaching and learning materials recommendations using generative artificial intelligence such as GPT and Stable Diffusion. Picture materials were used as the types of teaching and learning materials. To explore the impact of the prompt composition, a Zero-Shot prompt, a prompt containing learning target grade information, a prompt containing learning goals, and a prompt containing both learning target grades and learning goals were designed to collect responses. The collected responses were embedded using Sentence Transformers, dimensionalized to t-SNE, and visualized, and then the relationship between prompts and responses was explored. In addition, each response was clustered using the k-means clustering algorithm, then the adjacent value of the widest cluster was selected as a representative value, imaged using Stable Diffusion, and evaluated by 30 elementary school teachers according to the criteria for evaluating teaching and learning materials. Thirty teachers judged that three of the four picture materials recommended were of educational value, and two of them could be used for actual classes. The prompt that recommended the most valuable picture material appeared as a prompt containing both the target grade and the learning goal.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.209-213
• /
• 2023

최근 자연어 이해 분야에서 대규모 언어모델 기반으로 프롬프트를 활용하여 모델과 상호작용하는 방법이 널리 연구되고 있으며, 특히 상담 분야에서 언어모델을 활용한다면 내담자와의 자연스러운 대화를 주도할 수 있는 대화생성 모델로 확장이 가능하다. 내담자의 상황에 따라 개인화된 상담대화를 진행하는 모델을 학습시키려면 동일한 내담자에 대한 과거 및 차기 상담대화가 필요하지만, 기존의 데이터셋은 대체로 단일 대화세션으로 구축되어 있다. 본 논문에서는 언어모델을 활용하여 단일 대화세션으로 구축된 기존 상담대화 데이터셋을 확장하여 연속된 대화세션 구성의 학습데이터를 확보할 수 있는 프롬프트 기반 데이터 증강 기법을 제안한다. 제안 기법은 기존 대화내용을 반영한 요약질문 생성단계와 대화맥락을 유지한 차기 상담대화 생성 단계로 구성되며, 프롬프트 엔지니어링을 통해 상담 분야의 데이터셋을 확장하고 사용자 평가를 통해 제안 기법의 데이터 증강이 품질에 미치는 영향을 확인한다.

• KIPS Transactions on Software and Data Engineering
• /
• v.12 no.11
• /
• pp.481-492
• /
• 2023

This study explores how to build a Korean dataset to extract information from text using generative large language models. In modern society, mixed information circulates rapidly, and effectively categorizing and extracting it is crucial to the decision-making process. However, there is still a lack of Korean datasets for training. To overcome this, this study attempts to extract information using text-based zero-shot learning using a generative large language model to build a purposeful Korean dataset. In this study, the language model is instructed to output the desired result through prompt engineering in the form of "system"-"instruction"-"source input"-"output format", and the dataset is built by utilizing the in-context learning characteristics of the language model through input sentences. We validate our approach by comparing the generated dataset with the existing benchmark dataset, and achieve 25.47% higher performance compared to the KLUE-RoBERTa-large model for the relation information extraction task. The results of this study are expected to contribute to AI research by showing the feasibility of extracting knowledge elements from Korean text. Furthermore, this methodology can be utilized for various fields and purposes, and has potential for building various Korean datasets.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.664-671
• /
• 2023

최근 다양한 거대 언어모델(Large Language Model)들이 개발되면서 프롬프트 엔지니어링의 대한 다양한 연구가 진행되고 있다. 본 논문에서는 퓨삿 학습 환경에서 개체명 인식의 성능을 높이기 위해서 제안된 템플릿이 필요 없는 프롬프트 튜닝(Template-free Prompt Tuning) 방법을 이용하고, 이 방법에서 사용된 라벨 단어 집합 생성 방법에 Maximal Marginal Relevance 알고리즘을 적용하여 해당 개체명에 대해 보다 다양하고 구체적인 라벨 단어 집합을 생성하도록 개선하였다. 실험 결과, 'LOC' 타입을 제외한 나머지 개체명 타입에서 'PER' 타입은 0.60%p, 'ORG' 타입은 4.98%p, 'MISC' 타입은 1.38%p 성능이 향상되었고, 전체 개체명 인식 성능은 1.26%p 향상되었다. 이를 통해 본 논문에서 제안한 라벨 단어 집합 생성 기법이 개체명 인식 성능 향상에 도움이 됨을 보였다.

• The Journal of the Convergence on Culture Technology
• /
• v.10 no.2
• /
• pp.493-498
• /
• 2024

With the rapid advancement of generative artificial intelligence technology, there is growing interest in how to utilize it in practical applications. Additionally, the importance of prompt engineering to generate results that meet user demands is being newly highlighted. Exploring the new possibilities of generative AI can hold significant value. This study aims to utilize ChatGPT 4.0, a leading generative AI, to propose an effective method for evaluating user experience through the analysis of online customer review data. The user experience evaluation method was based on the six-layer elements of user experience: 'functionality', 'reliability', 'usability', 'convenience', 'emotion', and 'significance'. For this study, a literature review was conducted to enhance the understanding of prompt engineering and to grasp the clear concept of the user experience hierarchy. Based on this, prompts were crafted, and experiments for the user experience evaluation method were carried out using the analysis of collected online customer review data. In this study, we reveal that when provided with accurate definitions and descriptions of the classification processes for user experience factors, ChatGPT demonstrated excellent performance in evaluating user experience. However, it was also found that due to time constraints, there were limitations in analyzing large volumes of data. By introducing and proposing a method to utilize ChatGPT 4.0 for user experience evaluation, we expect to contribute to the advancement of the UX field.

• Journal of Service Research and Studies
• /
• v.14 no.1
• /
• pp.77-90
• /
• 2024

This research aims to investigate methods of leveraging generative artificial intelligence in service sectors where consumer sentiment and experience are paramount, focusing on minimizing hallucination phenomena during usage and developing strategic services tailored to consumer sentiment and experiences. To this end, the study examined both mechanical approaches and user-generated prompts, experimenting with factors such as business item definition, provision of persona characteristics, examples and context-specific imperative verbs, and the specification of output formats and tone concepts. The research explores how generative AI can contribute to enhancing the accuracy of personalized content and user satisfaction. Moreover, these approaches play a crucial role in addressing issues related to hallucination phenomena that may arise when applying generative AI in real services, contributing to consumer service innovation through generative AI. The findings demonstrate the significant role generative AI can play in richly interpreting consumer sentiment and experiences, broadening the potential for application across various industry sectors and suggesting new directions for consumer sentiment and experience strategies beyond technological advancements. However, as this research is based on the relatively novel field of generative AI technology, there are many areas where it falls short. Future studies need to explore the generalizability of research factors and the conditional effects in more diverse industrial settings. Additionally, with the rapid advancement of AI technology, continuous research into new forms of hallucination symptoms and the development of new strategies to address them will be necessary.