• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.591-595
• /
• 2023

최근 지시 학습을 통해 미세 조정한 자연어 처리 모델들이 큰 성능 향상을 보이고 있다. 하지만 한국어로 학습된 자연어 처리 모델에 대해 지시 학습을 진행할 수 있는 데이터 세트는 공개되어 있지 않아 관련 연구에 큰 어려움을 겪고 있다. 본 논문에서는 T5 기반 한국어 자연어 처리 모델인 Long KE-T5로 영어 데이터 세트를 번역하여 한국어 지시 학습 데이터 세트를 구축한다. 또한 구축한 데이터 세트로 한국어로 사전 학습된 Long KE-T5 모델을 미세 조정한 후 성능을 확인한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.79-80
• /
• 2023

동기식 분산 딥러닝 기법은 그래디언트 계산 작업을 다수의 워커가 나누어 병렬 처리함으로써 모델 학습 과정을 효율적으로 단축시킨다. 배치 사이즈는 이터레이션 단위로 처리하는 데이터 개수를 의미하며, 학습 속도 및 학습 모델의 품질에 영향을 미치는 중요한 요소이다. 멀티 GPU 환경에서 작동하는 분산 학습의 경우, 가용 GPU 메모리 용량이 커짐에 따라 선택 가능한 배치 사이즈의 상한이 증가한다. 하지만 배치 사이즈가 학습 속도 및 학습 모델 품질에 미치는 영향은 GPU 활용률, 총 에포크 수, 모델 파라미터 개수 등 다양한 변수에 영향을 받으므로 최적값을 찾기 쉽지 않다. 본 연구는 동기식 분산 딥러닝 환경에서 실험을 통해 최적의 배치 사이즈 선택에 영향을 미치는 주요 요인을 분석한다.

• 한국산업정보학회논문지
• /
• 제28권5호
• /
• pp.15-30
• /
• 2023

근래에 트랜스포머(Transformer) 구조를 기초로 하는 ChatGPT와 같은 생성모델이 크게 주목받고 있다. 트랜스포머는 다양한 신경망 모델에 응용되는데, 구글의 BERT(bidirectional encoder representations from Transformers) 문장생성 모델에도 사용된다. 본 논문에서는, 한글로 작성된 영화 리뷰에 대한 댓글이 긍정적인지 부정적인지를 판단하는 텍스트 이진 분류모델을 생성하기 위해서, 사전 학습되어 공개된 BERT 다국어 문장생성 모델을 미세조정(fine tuning)한 후, 새로운 한국어 학습 데이터셋을 사용하여 전이학습(transfer learning) 시키는 방법을 제안한다. 이를 위해서 104 개 언어, 12개 레이어, 768개 hidden과 12개의 집중(attention) 헤드 수, 110M 개의 파라미터를 사용하여 사전 학습된 BERT-Base 다국어 문장생성 모델을 사용했다. 영화 댓글을 긍정 또는 부정 분류하는 모델로 변경하기 위해, 사전 학습된 BERT-Base 모델의 입력 레이어와 출력 레이어를 미세 조정한 결과, 178M개의 파라미터를 가지는 새로운 모델이 생성되었다. 미세 조정된 모델에 입력되는 단어의 최대 개수 128, batch_size 16, 학습 횟수 5회로 설정하고, 10,000건의 학습 데이터셋과 5,000건의 테스트 데이터셋을 사용하여 전이 학습시킨 결과, 정확도 0.9582, 손실 0.1177, F1 점수 0.81인 문장 감정 이진 분류모델이 생성되었다. 데이터셋을 5배 늘려서 전이 학습시킨 결과, 정확도 0.9562, 손실 0.1202, F1 점수 0.86인 모델을 얻었다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2016년도 제54차 하계학술대회논문집 24권2호
• /
• pp.251-252
• /
• 2016

프로그래밍 언어 수업은 학습자들 간의 학습 수준의 차이가 크게 나타나고 수업 내용의 연관성이 높은 특성을 가지고 있다. 이로 인해 다른 어떠한 수업보다 학습자들의 학습동기를 향상시켜 지속적으로 학습에 적극적으로 참여할 수 있는 외재적 동기 부여를 통한 학습효과 증진 방법이 필요하다. 본 연구에서는 프로그래밍 교육에서 성찰일지를 활용한 학습동기 증진 교수 학습 모델을 제시하고, 실제 수업에 적용 후 학습동기에 대한 사전 사후 설문을 실시하여 제시한 교수 학습 모델이 학습동기 증진에 효과 있었음을 조사 분석하였다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제15권3호
• /
• pp.226-230
• /
• 2009

지능형 학습 시스템은 학습자의 학습 과정에서 수집된 데이터를 분석하여 학습자에게 맞는 전략을 세우고 적합한 서비스를 제공하는 시스템이다. 학습자에게 적합한 서비스를 위해서는 학습자 모델링 작업이 우선시 되며, 이 모델 생성을 위해서 학습자의 학습 과정에서 발생한 데이터를 수집하고 분석하게 된다. 하지만, 수집된 데이터가 학습자의 일관되지 못한 행위나 비예측 학습 성향을 포함하고 있다면, 생성된 모델을 신뢰하기 어렵다. 본 논문에서는 학습자에게서 수집된 데이터를 시각화 분석 방법을 이용하여 비정상 데이터를 선별한다. 실험에서는 홈 인테리어 컨텐츠 기반에 학습자의 학습 행위에 대한 학습 성향을 진단하기 위한 DOLLS-HI를 이용하여, 수집된 학습자의 데이터에서 비정상 데이터를 분류하고 학습 성향 진단을 위한 모델을 생성하였다. 생성된 모델은 비정상 데이터 분류전과 비교하여 신뢰가 향상된 것을 확인하였다.

• 한국음향학회:학술대회논문집
• /
• 한국음향학회 2004년도 춘계학술발표대회 논문집 제23권 1호
• /
• pp.65-68
• /
• 2004

본 논문에서는 반복학습으로 음소모델을 강건하게 하여 음소기반 핵심어 검출 시스템의 성능을 개선하고자 하였다. 가변어휘 핵심어 검출 시스템은 인식 대상 핵심어의 추가와 변경이 용이하도록 모노폰 단위로 핵심어 모델과 필러 모델을 구성하였다. 핵심어 모델과 필러 모델은 동일한 음소모델을 이용하므로 각각의 음소 모델의 분별력 향상은 핵심어 검출 성능과 밀접한 관계에 있다. 따라서 본 논문에서는 음소 HMM(Hidden Markov Model)의 학습시에 반복 학습을 통하여 음소 모델을 강건하게 만든 후 핵심어 검출 실험을 수행하였다. 그 결과, 10회의 반복학습을 통하여 얻어진 음소 HMM을 이용한 핵심어 검출의 성능은 반복학습을 하지 않은 경우보다 핵심어 검출의 CA-CR 평균 성능이 $4\%$ 향상됨을 확인할 수 있었다.

• 정보교육학회논문지
• /
• 제21권5호
• /
• pp.583-593
• /
• 2017

초보자들을 위한 프로그래밍 교육의 어려움을 극복하기 위해 UMC(Use-Modify-Create) 학습, 디자인 기반학습, 발견학습, 놀이학습 등 다양한 학습전략을 적용한 연구들이 이루어지고 있다. 이에 본 연구에서는 학습자의 컴퓨팅 사고 향상을 위해 HVC(History-VR Coding-Collaboration) 학습전략 모델을 개발하였다. HVC 모델은 블록형태의 결합 모듈로 구성되어 있으며 이를 12차시로 구성된 스토리텔링 기반의 가상현실 블록 프로그래밍 교육과정을 개발하여 적용하였다. 연구 결과 HVC 모델 및 SW교육 프로그램이 학습자의 컴퓨팅 사고 향상에 유의미한 차이를 보였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.343-347
• /
• 2022

최근 자연어처리 분야에서는 BERT, RoBERTa, 그리고 BART와 같은 사전 학습된 언어 모델 (Pre-trained Language Models, PLM) 기반 미세 조정 학습을 통하여 여러 하위 과업에서 좋은 성능을 거두고 있다. 이는 사전 학습된 언어 모델 및 데이터 집합의 크기, 그리고 모델 구성의 중요성을 보여주며 대규모 사전 학습된 언어 모델이 각광받는 계기가 되었다. 하지만, 거대한 모델의 크기로 인하여 실제 산업에서 쉽게 쓰이기 힘들다는 단점이 명백히 존재함에 따라 최근 매개변수 효율적인 미세 조정 및 Few-Shot 학습 연구가 많은 주목을 받고 있다. 본 논문은 Prompt tuning, Prefix tuning와 프롬프트 기반 미세 조정 (Prompt-based fine-tuning)을 결합한 Few-Shot 학습 연구를 제안한다. 제안한 방법은 미세 조정 ←→ 사전 학습 간의 지식 격차를 줄일 뿐만 아니라 기존의 일반적인 미세 조정 기반 Few-Shot 학습 성능보다 크게 향상됨을 보인다.

• 한국콘텐츠학회논문지
• /
• 제9권12호
• /
• pp.467-476
• /
• 2009

웹 기술과 교육 환경의 급속한 발전으로 웹기반 협동학습 시스템이 많은 관심을 받고 있다. 최근에는 협동학습에 학습의 흥미와 능동적 참여를 높일 수 있는 게임을 접목하는 연구들이 등장하고 있다. 이러한 연구들은 게임을 사용하는 TGT 학습 모델에 기반한 것들로 대부분 시스템 설계 제안 수준에 머물렀으며, 구현 연구도 순수 TGT 모델만을 구현해 여러 문제점들을 가지고 있었다. 본 논문에서는 이러한 문제점들을 해결하기 위해 확장된 TGT 모델을 정의하고 이에 기반한 새로운 웹기반 협동학습 시스템을 제안하였다. 확장 부분은 Jigsaw II 모델의 전문가 학습, STAD 모델의 향상점수 아이디어, 피드백 학습을 위한 학습자의 게임 문제 출제 참여 등을 포함한다. 순수 TGT 모델 기반 시스템에 대한 제안 시스템의 유용성을 검증하기 위해 두 시스템을 실제 중학교 두 반에게 적용하여 실험을 하였으며 그 결과 제안 시스템이 비교 시스템보다 더 나은 결과를 보임을 보였다.

• 인터넷정보학회논문지
• /
• 제22권4호
• /
• pp.13-28
• /
• 2021

강화학습은 한 환경에서 에이전트가 정책에 따라 액션을 취하고 보상 함수를 통해 액션을 평가 및 정책 최적화 과정을 반복하는 Closed-Loop 구조로 이루어진 알고리즘이다. 이러한 강화학습의 주요 장점은 액션의 품질을 평가하고 정책을 지속적으로 최적화 하는 것이다. 따라서, 강화학습은 지능형 시스템, 자율제어 시스템 개발에 효과적으로 활용될 수 있다. 기존의 강화학습은, 단일 정책, 단일 보상함수 및 비교적 단순한 정책 업데이트 기법을 제한적인 문제에 대해 제시하고 적용하였다. 본 논문에서는 구성요소의 복수성을 지원하는 확장된 강화학습 모델을 제안한다. 제안되는 확정 강화학습의 주요 구성 요소들을 정의하고, 그들의 컴퓨팅 모델을 포함하는 정형 모델을 제시한다. 또한, 이 정형모델을 기반으로 시스템 개발을 위한 설계 기법을 제시한다. 제안한 모델을 기반으로 자율 최적화 자동차 내비게이터 시스템에 적용 및 실험을 진행한다. 제시된 정형 모델과 설계 기법을 적용한 사례연구로, 복수의 자동차들이 최적 목적지에 단 시간에 도착할 수 있는 진화된 내비게이터 시스템 설계 및 구현을 진행한다.