• 한국컴퓨터정보학회논문지
• /
• 제28권8호
• /
• pp.195-204
• /
• 2023

본 연구에서는 GPT, Stable Diffusion과 같은 생성형 인공지능을 이용한 교수·학습 자료 추천 성능 향상을 위해 프롬프트를 개선하는 프롬프트 엔지니어링에 대해 탐색하였다. 분석할 교수·학습 자료의 종류는 그림 자료이다. 프롬프트 구성에 따른 영향을 탐색하기 위해 명령만 담긴 Zero-Shot 프롬프트, 학습 대상 학년 정보가 담긴 프롬프트, 학습 목표가 담긴 프롬프트, 학습 대상 학년과 학습 목표가 모두 담긴 프롬프트를 설계하여 각각을 GPT-3.5모델에 입력하고 응답을 수집하였다. 수집한 응답을 Sentence Transformers로 임베딩 하고 t-SNE를 활용하여 차원 축소하여 시각화 한 다음 프롬프트와 응답 간의 관계를 탐색하였다. 그리고 각 응답을 k-means clustering algorithm을 활용하여 군집화 한 다음 가장 넓은 클러스터의 첫 번째 값을 대표로 선택하여 Stable Diffusion을 이용하여 이미지화 한 다음 교수·학습자료 평가 기준에 따라 초등학교 교사 30명에게 평가 받았다. 초등학교 교사 30인은 추천한 4종의 그림 자료 중 3종은 교육적 가치가 있다고 판단하였으며, 그 중 2종은 실제 수업에 사용할 수 있다고 하였다. 가장 가치 있는 그림 자료를 추천한 프롬프트는 대상 학년과 학습 목표가 모두 담긴 프롬프트로 나타났다.

• 한국컴퓨터정보학회논문지
• /
• 제29권4호
• /
• pp.9-21
• /
• 2024

최근 딥러닝 분야가 빠르게 발전하는 가운데, 다양한 영역에서 거대 언어 모델을 활용하기 위한 많은 연구들이 진행되고 있다. 하지만 언어 모델의 개발 및 활용을 위해서는 방대한 데이터와 고성능 자원이 필요하다는 현실적인 어려움이 존재한다. 이에 따라 프롬프트를 활용하여 언어 모델을 효율적으로 학습할 수 있는 문맥 내 학습이 등장하였지만, 학습에 효과적인 프롬프트가 무엇인지에 대한 명확한 기준은 구체적으로 제시되지 않았다. 이에 본 연구에서는 문맥 내 학습 방법 중 하나인 PET 기법을 활용하여 기존 데이터의 문맥과 유사한 PVP를 선정하고, 이를 통해 생성한 프롬프트를 학습하여 모델의 성능을 향상시킬 수 있는 프롬프트 기반 학습 성능 향상 방법론을 제안한다. 제안 방법론의 성능 평가를 위해 온라인 비즈니스 리뷰 플랫폼인 Yelp에서 수집된 레스토랑 리뷰 데이터 30,100개로 실험을 수행한 결과, 제안 방법론이 기존의 PET 방법론에 비해 정확도와 안정성, 그리고 학습 효율성의 모든 측면에서 우수한 성능을 보임을 확인하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.47-52
• /
• 2022

환자와 주변인들에게 다양한 문제를 야기하는 치매와 조현병 진단을 위한 모델을 제안한다. 치매와 조현병 진단을 위해 프로토콜에 따라 녹음한 의사와 내담자 음성 시료를 전사 작업하여 분류 태스크를 수행하였다. 사전 학습한 언어 모델의 MLM Head를 이용해 분류 태스크를 수행하는 Prompt 기반의 분류 모델을 제안하였다. 또한 많은 수의 데이터 수를 확보하기 어려운 의료 분야에 효율적인 Few-Shot 학습 방식을 이용하였다. CLS 토큰을 미세조정하는 일반적 학습 방식의 Baseline과 비교해 Full-Shot 실험에서 7개 태스크 중 1개 태스크에서 macro, micro-F1 점수 모두 향상되었고, 3개 태스크에서 하나의 F1 점수만 향샹된 것을 확인 하였다. 반면, Few-Shot 실험에서는 7개 태스크 중 2개 태스크에서 macro, micro-F1 점수가 모두 향상되었고, 2개 태스크에서 하나의 F1 점수만 향상되었다.

• 지능정보연구
• /
• 제29권4호
• /
• pp.287-308
• /
• 2023

ChatGPT는 2022년 11월에 서비스를 시작한 후 급격하게 사용자 수가 늘어나며 인공지능의 역사에서 큰 전환점을 가져올 정도로 사회 곳곳에 많은 영향을 미치고 있다. 특히 ChatGPT와 같은 거대언어모델의 추론 능력은 프롬프트 엔지니어링 기법을 통해 빠른 속도로 그 성능이 발전하고 있다. 인공지능을 워크플로우에 도입하려고 하는 기업이나 활용하려고 하는 개인에게 이와 같은 추론 능력은 중요한 요소로 고려될 수 있다. 본 논문에서는 거대언어모델에서 추론을 가능하게 한 문맥내 학습에 대한 이해를 시작으로 하여 프롬프트 엔지니어링의 개념과 추론 유형 및 벤치마크 데이터에 대해 설명하고, 이를 기반으로 하여 최근 거대언어모델의 추론 성능을 급격히 향상시킨 프롬프트 엔지니어링 기법들에 대해 조사하고 발전과정과 기법들 간의 연관성에 대해 상세히 알아보고자 한다.

• Nuclear Engineering and Technology
• /
• 제55권5호
• /
• pp.1708-1717
• /
• 2023

The grade analysis of lead-zinc ore is the basis for the optimal development and utilization of deposits. In this study, a method combining Prompt Gamma Neutron Activation Analysis (PGNAA) technology and machine learning is proposed for lead-zinc mine borehole logging, which can identify lead-zinc ores of different grades and gangue in the formation, providing real-time grade information qualitatively and semi-quantitatively. Firstly, Monte Carlo simulation is used to obtain a gamma-ray spectrum data set for training and testing machine learning classification algorithms. These spectra are broadened, normalized and separated into inelastic scattering and capture spectra, and then used to fit different classifier models. When the comprehensive grade boundary of high- and low-grade ores is set to 5%, the evaluation metrics calculated by the 5-fold cross-validation show that the SVM (Support Vector Machine), KNN (K-Nearest Neighbor), GNB (Gaussian Naive Bayes) and RF (Random Forest) models can effectively distinguish lead-zinc ore from gangue. At the same time, the GNB model has achieved the optimal accuracy of 91.45% when identifying high- and low-grade ores, and the F₁ score for both types of ores is greater than 0.9.

• 인지과학
• /
• 제14권3호
• /
• pp.23-36
• /
• 2003

학습에 대한 이해-기반 접근에 따르면 새로운 정보는 기존의 배경지식과 통합되어 정신표상을 형성하며 이는 다른 새로운 정보를 결합하는데 사용된다고 가정한다. 지시문을 통한 학습상황에서 인간과 계산적 모형의 수행비교를 통해 이 접근법이 타당하다는 것을 보여주었다. 구성-통합 이론 (Kintsch, 1988; 1998)에 근거한 계산적 모형 (ADAPT-UNIX)은 사용자들이 UNIX 복합 명령문을 생성하는데 도움을 주기위해 제시된 지시문 학습에 높은 예측력을 보였다. 더불어, 제시된 지시문을 사용하여 올바른 복합명령문을 생성하는 과제수행도 실제 인간수행과 높은 유사성 보였다. 배경지식의 수준에 따라 지시문이 학습과 적용에 차별적인 영향을 미친다는 교육적 함의와 이해-기반 인지모델의 이론적 함의가 논의되었다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권11호
• /
• pp.481-492
• /
• 2023

본 연구는 생성형 대규모 언어 모델을 활용하여 텍스트에서 정보를 추출하기 위한 한글 데이터셋 구축 방법을 탐구한다. 현대 사회에서는 혼합된 정보가 빠르게 유포되며, 이를 효과적으로 분류하고 추출하는 것은 의사결정 과정에 중요하다. 그러나 이에 대한 학습용 한국어 데이터셋은 아직 부족하다. 이를 극복하기 위해, 본 연구는 생성형 대규모 언어 모델을 사용하여 텍스트 기반 제로샷 학습(zero-shot learning)을 이용한 정보 추출을 시도하며, 이를 통해 목적에 맞는 한국어 데이터셋을 구축한다. 본 연구에서는 시스템-지침-소스입력-출력형식의 프롬프트 엔지니어링을 통해 언어 모델이 원하는 결과를 출력하도록 지시하며, 입력 문장을 통해 언어 모델의 In-Context Learning 특성을 활용하여 데이터셋을 구축한다. 생성된 데이터셋을 기존 데이터셋과 비교하여 본 연구 방법론을 검증하며, 관계 정보 추출 작업의 경우 KLUE-RoBERTa-large 모델 대비 25.47% 더 높은 성능을 달성했다. 이 연구 결과는 한국어 텍스트에서 지식 요소를 추출하는 가능성을 제시함으로써 인공지능 연구에 도움을 줄 것으로 기대된다. 더욱이, 이 방법론은 다양한 분야나 목적에 맞게 활용될 수 있어, 다양한 한국어 데이터셋 구축에 잠재력을 가진다고 볼 수 있다.

• 공학교육연구
• /
• 제20권1호
• /
• pp.53-62
• /
• 2017

This paper explored how university students viewed flipped learning from their own perspectives. Using qualitative research methods, 5 students from a Computer Graphics course at a mid-scale university in Seoul were interviewed for this purpose. Researchers collected data about their learning experiences, emotions, and reflections about flipped learning in general and its components such as online materials, in-class activities, and instructor guidance. Research findings indicated that students were not so much conscious about the unfamiliarity of the class, the increased work load, nor the online lectures. They rather prioritized 'what they could actually learn' from the course, and thus defined flipped learning as a method which enabled students to constantly check and fill in the gaps in their learning through team-based activities and prompt feedback from the professor. A combination of students' positive attitude and active participation in team-based activities, the overall atmosphere of the department which supported interactivity and collaboration, the professor's emphasis on learning-by-doing and student-centered learning appeared to form their notions of flipped learning. The use of technology did not appear to heavily impact students' conceptions of flipped learning. Researchers suggest that pedagogical beliefs of the professor, culture surrounding the learner, and the good match between the course content and instructional strategies are central for designing a successful flipped learning class.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.343-347
• /
• 2022

최근 자연어처리 분야에서는 BERT, RoBERTa, 그리고 BART와 같은 사전 학습된 언어 모델 (Pre-trained Language Models, PLM) 기반 미세 조정 학습을 통하여 여러 하위 과업에서 좋은 성능을 거두고 있다. 이는 사전 학습된 언어 모델 및 데이터 집합의 크기, 그리고 모델 구성의 중요성을 보여주며 대규모 사전 학습된 언어 모델이 각광받는 계기가 되었다. 하지만, 거대한 모델의 크기로 인하여 실제 산업에서 쉽게 쓰이기 힘들다는 단점이 명백히 존재함에 따라 최근 매개변수 효율적인 미세 조정 및 Few-Shot 학습 연구가 많은 주목을 받고 있다. 본 논문은 Prompt tuning, Prefix tuning와 프롬프트 기반 미세 조정 (Prompt-based fine-tuning)을 결합한 Few-Shot 학습 연구를 제안한다. 제안한 방법은 미세 조정 ←→ 사전 학습 간의 지식 격차를 줄일 뿐만 아니라 기존의 일반적인 미세 조정 기반 Few-Shot 학습 성능보다 크게 향상됨을 보인다.

• 한국지능시스템학회논문지
• /
• 제5권3호
• /
• pp.3-10
• /
• 1995

This paper proposedan on-line learning controller which can be applied to nonlinear systems. The proposed on-line learning controller is based on the universal approximation by the local affine mapping-based neural networks. It has self-organizing and learning capability to adapt itself to the new environment arising from the variation of operating point of the nonlinear system. Since the learning controller retains the knowledge of trained dynamics, it can promptly adapt itself to situations similar to the previously experienced one. This prompt adaptability of the proposed control system is illustrated through simulations.