• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.591-595
• /
• 2023

최근 지시 학습을 통해 미세 조정한 자연어 처리 모델들이 큰 성능 향상을 보이고 있다. 하지만 한국어로 학습된 자연어 처리 모델에 대해 지시 학습을 진행할 수 있는 데이터 세트는 공개되어 있지 않아 관련 연구에 큰 어려움을 겪고 있다. 본 논문에서는 T5 기반 한국어 자연어 처리 모델인 Long KE-T5로 영어 데이터 세트를 번역하여 한국어 지시 학습 데이터 세트를 구축한다. 또한 구축한 데이터 세트로 한국어로 사전 학습된 Long KE-T5 모델을 미세 조정한 후 성능을 확인한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.79-80
• /
• 2023

동기식 분산 딥러닝 기법은 그래디언트 계산 작업을 다수의 워커가 나누어 병렬 처리함으로써 모델 학습 과정을 효율적으로 단축시킨다. 배치 사이즈는 이터레이션 단위로 처리하는 데이터 개수를 의미하며, 학습 속도 및 학습 모델의 품질에 영향을 미치는 중요한 요소이다. 멀티 GPU 환경에서 작동하는 분산 학습의 경우, 가용 GPU 메모리 용량이 커짐에 따라 선택 가능한 배치 사이즈의 상한이 증가한다. 하지만 배치 사이즈가 학습 속도 및 학습 모델 품질에 미치는 영향은 GPU 활용률, 총 에포크 수, 모델 파라미터 개수 등 다양한 변수에 영향을 받으므로 최적값을 찾기 쉽지 않다. 본 연구는 동기식 분산 딥러닝 환경에서 실험을 통해 최적의 배치 사이즈 선택에 영향을 미치는 주요 요인을 분석한다.

• Journal of Korea Society of Industrial Information Systems
• /
• v.28 no.5
• /
• pp.15-30
• /
• 2023

Recently, generative models based on the Transformer architecture, such as ChatGPT, have been gaining significant attention. The Transformer architecture has been applied to various neural network models, including Google's BERT(Bidirectional Encoder Representations from Transformers) sentence generation model. In this paper, a method is proposed to create a text binary classification model for determining whether a comment on Korean movie review is positive or negative. To accomplish this, a pre-trained multilingual BERT sentence generation model is fine-tuned and transfer learned using a new Korean training dataset. To achieve this, a pre-trained BERT-Base model for multilingual sentence generation with 104 languages, 12 layers, 768 hidden, 12 attention heads, and 110M parameters is used. To change the pre-trained BERT-Base model into a text classification model, the input and output layers were fine-tuned, resulting in the creation of a new model with 178 million parameters. Using the fine-tuned model, with a maximum word count of 128, a batch size of 16, and 5 epochs, transfer learning is conducted with 10,000 training data and 5,000 testing data. A text sentiment binary classification model for Korean movie review with an accuracy of 0.9582, a loss of 0.1177, and an F1 score of 0.81 has been created. As a result of performing transfer learning with a dataset five times larger, a model with an accuracy of 0.9562, a loss of 0.1202, and an F1 score of 0.86 has been generated.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2016.07a
• /
• pp.251-252
• /
• 2016

프로그래밍 언어 수업은 학습자들 간의 학습 수준의 차이가 크게 나타나고 수업 내용의 연관성이 높은 특성을 가지고 있다. 이로 인해 다른 어떠한 수업보다 학습자들의 학습동기를 향상시켜 지속적으로 학습에 적극적으로 참여할 수 있는 외재적 동기 부여를 통한 학습효과 증진 방법이 필요하다. 본 연구에서는 프로그래밍 교육에서 성찰일지를 활용한 학습동기 증진 교수 학습 모델을 제시하고, 실제 수업에 적용 후 학습동기에 대한 사전 사후 설문을 실시하여 제시한 교수 학습 모델이 학습동기 증진에 효과 있었음을 조사 분석하였다.

• Journal of KIISE:Computing Practices and Letters
• /
• v.15 no.3
• /
• pp.226-230
• /
• 2009

Intelligent Tutoring System (ITS) is a procedure of analyzing collected data for teaming, making a strategy and performing adequate service for learners. To perform suitable service for learners, modeling is the first step to collect data from the process of their learning. The model, however, cannot be authentic if collected data can contain learners' inconsistent behaviors or unpredictable learning inclination. This study focused on how to sort normal and abnormal data by analyzing collected data from learners through visualization. A model has been set up to assort unusual data from collected learner's data by using DOLLS-HI which makes possible to diagnose learner's learning propensity based on housing interior learning contents in the experiment. The created model has been confirmed its improved reliability comparing to previous one.

• Proceedings of the Acoustical Society of Korea Conference
• /
• spring
• /
• pp.65-68
• /
• 2004

본 논문에서는 반복학습으로 음소모델을 강건하게 하여 음소기반 핵심어 검출 시스템의 성능을 개선하고자 하였다. 가변어휘 핵심어 검출 시스템은 인식 대상 핵심어의 추가와 변경이 용이하도록 모노폰 단위로 핵심어 모델과 필러 모델을 구성하였다. 핵심어 모델과 필러 모델은 동일한 음소모델을 이용하므로 각각의 음소 모델의 분별력 향상은 핵심어 검출 성능과 밀접한 관계에 있다. 따라서 본 논문에서는 음소 HMM(Hidden Markov Model)의 학습시에 반복 학습을 통하여 음소 모델을 강건하게 만든 후 핵심어 검출 실험을 수행하였다. 그 결과, 10회의 반복학습을 통하여 얻어진 음소 HMM을 이용한 핵심어 검출의 성능은 반복학습을 하지 않은 경우보다 핵심어 검출의 CA-CR 평균 성능이 $4\%$ 향상됨을 확인할 수 있었다.

• Journal of The Korean Association of Information Education
• /
• v.21 no.5
• /
• pp.583-593
• /
• 2017

In order to overcome the difficulties of programming education for beginners, various research strategies such as UMC(Use-Modify-Create), design based learning, discovery learning and play learning are applied. In this study, we developed a HVC(History-VR Coding-Collaboration) learning strategy model for the improvement of learner's computational thinking. The HVC model is composed of a combination module of block type. We developed a 12th session storytelling - based virtual reality programming curriculum. As a result, HVC model and SW education program showed significant difference in improvement of learner's computational thinking.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.343-347
• /
• 2022

최근 자연어처리 분야에서는 BERT, RoBERTa, 그리고 BART와 같은 사전 학습된 언어 모델 (Pre-trained Language Models, PLM) 기반 미세 조정 학습을 통하여 여러 하위 과업에서 좋은 성능을 거두고 있다. 이는 사전 학습된 언어 모델 및 데이터 집합의 크기, 그리고 모델 구성의 중요성을 보여주며 대규모 사전 학습된 언어 모델이 각광받는 계기가 되었다. 하지만, 거대한 모델의 크기로 인하여 실제 산업에서 쉽게 쓰이기 힘들다는 단점이 명백히 존재함에 따라 최근 매개변수 효율적인 미세 조정 및 Few-Shot 학습 연구가 많은 주목을 받고 있다. 본 논문은 Prompt tuning, Prefix tuning와 프롬프트 기반 미세 조정 (Prompt-based fine-tuning)을 결합한 Few-Shot 학습 연구를 제안한다. 제안한 방법은 미세 조정 ←→ 사전 학습 간의 지식 격차를 줄일 뿐만 아니라 기존의 일반적인 미세 조정 기반 Few-Shot 학습 성능보다 크게 향상됨을 보인다.

• The Journal of the Korea Contents Association
• /
• v.9 no.12
• /
• pp.467-476
• /
• 2009

As web technology and educational environments are in rapid progress, web-based cooperative learning systems have gained a lot of interests. Recently some studies have attempted to combine a learning system and simple games that enable learners to actively participate and have high interests in learning. These studies are based on TGT model, a cooperative learning model using games, and mostly remain system design levels. A few implemented systems have many problems because they focus only on pure TGT model. To solve these problems, this paper builds a extended TGT model and a new web-based cooperative learning system using this new model. The extended part contains ideas such as expert learning from Jigsaw II model, improvement scores from STAD model and making game problems by learners. A system using pure TGT model and a suggested system are implemented and used by two classes of middle school students to evaluate our system. The experimental results show that our system outperforms the other system.

• Journal of Internet Computing and Services
• /
• v.22 no.4
• /
• pp.13-28
• /
• 2021

Reinforcement Learning (RL) is a machine learning algorithm that repeat the closed-loop process that agents perform actions specified by the policy, the action is evaluated with a reward function, and the policy gets updated accordingly. The key benefit of RL is the ability to optimze the policy with action evaluation. Hence, it can effectively be applied to developing advanced intelligent systems and autonomous systems. Conventional RL incoporates a single policy, a reward function, and relatively simple policy update, and hence its utilization was limited. In this paper, we propose an extended RL model that considers multiple instances of RL elements. We define a formal model of the key elements and their computing model of the extended RL. Then, we propose design methods for applying to system development. As a case stud of applying the proposed formal model and the design methods, we present the design and implementation of an advanced car navigator system that guides multiple cars to reaching their destinations efficiently.