• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.354-359
• /
• 2022

에세이 자동 평가는 주어진 에세이를 읽고 자동으로 평가하는 작업이다. 본 논문에서는 효과적인 에세이 자동 평가 모델을 위해 Argument Mining 작업을 사용하여 에세이의 논증 구조가 반영된 에세이 표현을 만들고, 에세이의 평가 항목별 표현을 학습하는 방법을 제안한다. 실험을 통해 제안하는 에세이 표현이 사전 학습 언어 모델로 얻은 표현보다 우수함을 입증했으며, 에세이 평가를 위해 평가 항목별로 다른 표현을 학습하는 것이 보다 효과적임을 보였다. 최종 제안 모델의 성능은 QWK 기준으로 0.543에서 0.627까지 향상되어 사람의 평가와 상당히 일치한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
• /
• pp.257-260
• /
• 2020

사전 학습을 기반으로 하는 BERT계열의 모델들이 다양한 언어 및 자연어 처리 태스크들에서 뛰어난 성능을 보이고 있지만, masked language model의 경우 입력 문장의 15%만 마스킹을 함으로써 학습 효율이 떨어지고 미세 조정 시 마스킹 토큰이 등장하지 않는 불일치 문제도 존재한다. 이러한 문제를 효과적으로 해결한 ELECTRA는 영어 벤치마크에서 기존의 언어모델들 보다 뛰어난 성능을 보여주었지만 한국어에 대한 관련 연구는 부족한 실정이다. 본 연구에서는 ELECTRA를 한국어 코퍼스에 대해 학습시키고, 다양한 한국어 자연어 이해 태스크들에 대해 실험을 진행한다. 실험을 통해 ELECTRA의 모델 크기별 성능 평가를 진행하였고, 여러 한국어 태스크들에 대해서 평가함으로써 ELECTRA 모델이 기존의 언어 모델들보다 좋은 성능을 보인다는 것을 입증하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2024년도 춘계학술발표대회
• /
• pp.666-669
• /
• 2024

연합학습은 원본 데이터를 공유하지 않고 모델을 학습할 수 있는 각광받는 프라이버시를 위한 학습방법론이다. 이를 위해 참여자의 데이터를 수집하는 대신, 데이터를 인공지능 모델 학습의 요소들(가중치, 기울기 등)로 변환한 뒤, 이를 공유한다. 이러한 강점에 더해 기존 연합학습을 개선하는 방법론들이 추가적으로 연구되고 있다. 기존 연합학습은 모델 가중치를 평균내는 것으로 참여자 간에 동일한 모델 구조를 강요하기 때문에, 참여자 별로 자신의 환경에 알맞은 모델 구조를 사용하기 어렵다. 이를 해결하기 위해 지식 증류 기반의 연합학습 방법(Knowledge Distillation-based Federated Learning)으로 서로 다른 모델 구조를 가질 수 있도록(Model Heterogenousity) 하는 방법이 제시되고 있다. 연합학습은 여러 참여자가 연합하기 때문에 일부 악의적인 참여자로 인한 모델 포이즈닝 공격에 취약하다. 수많은 연구들이 기존 가중치를 기반으로한 연합학습에서의 위협을 연구하였지만, 지식 증류 기반의 연합학습에서는 이러한 위협에 대한 조사가 부족하다. 본 연구에서는 최초로 지식 증류 기반의 연합학습에서의 모델 성능 하락 공격에 대한 위협을 실체화하고자 한다. 이를 위해 우리는 GMA(Gaussian-based Model Poisoning Attack)과 SMA(Sign-Flip based Model Poisoning Attack)을 제안한다. 결과적으로 우리가 제안한 공격 방법은 실험에서 최신 학습 기법에 대해 평균적으로 모델 정확도를 83.43%에서 무작위 추론에 가깝게 떨어뜨리는 것으로 공격 성능을 입증하였다. 우리는 지식 증류 기반의 연합학습의 강건성을 평가하기 위해, 새로운 공격 방법을 제안하였고, 이를통해 현재 지식 증류 기반의 연합학습이 악의적인 공격자에 의한 모델 성능 하락 공격에 취약한 것을 보였다. 우리는 방대한 실험을 통해 제안하는 방법의 성능을 입증하고, 결과적으로 강건성을 높이기 위한 많은 방어 연구가 필요함을 시사한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2019년도 제59차 동계학술대회논문집 27권1호
• /
• pp.41-42
• /
• 2019

본 논문에서는 다양한 기계학습 모델을 이용한 신용 데이터 분석 기법에 대해 서술한다. 기계학습 모델은 크게 Canonical models, Committee machines, 그리고 Deep learning models로 분류된다. 이러한 다양한 기계학습 모델 중 일부 학습 모델을 기반으로 Benchmark dataset인 Credit Approval 데이터를 분석하고 성능을 평가한다. 성능 평가에는 k-fold evaluation method를 사용하며, k-fold evaluation 결과에 대한 평균 성능을 측정하기 위해 Accuracy, Precision, Recall, 그리고 F1-score가 사용되었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
• /
• pp.694-696
• /
• 2001

인터넷의 이용이 생활화되면서 학생들의 인터넷 이용능력은 점차 향상되어가고 있으며 그 이용시간도 증가하는 추세다. 인터넷은 접근하기가 편리하고 시간적, 공간적 제약을 극복할 수 있고, 경제적 이점도 가져다주므로 인터넷의 교육적 활용에 대한 연구가 필요하다. 본 논문은 인터넷에 기반한 교육적 활용의 한 모델로서 WEB기반 학습지도.평가 시스템의 설계 및 구현에 관한 것이다. 즉 가상의 공간에서 교사와 학생이 상호 작용하면서 교수 학습할 수 있는 방법에 주목하여 교사는 WEB상에서 문제를 출제하고 학생 역시 WEB을 통해 손쉽게 문제를 풀고 결과를 확인할 수 있게 하는 것이다. 제안한 시스템의 설계를 위해 기존의 유사시스템을 비교.분석하여 필수 구성요소를 모두 포함하면서 미래의 학습평가방식에 적합한 효율적이고 유연성있는 모델을 만들었다. 설문조사를 통한 평가에서는 시스템의 학습효과성과 발전가능성이 높은 것으로 나타났다. 향후 평가를 통해 나타난 문제점을 보완하고 새로운 기능에 대한 연구가 따른다면 교사와 학생 모두에게 새로운 학습도구로서 흥미를 불러일으킬 수 있고, 학습 도구에 관한 새로운 인식전환의 기회가 될 것으로 생각된다.

• 한국수학교육학회지시리즈A:수학교육
• /
• 제33권2호
• /
• pp.167-175
• /
• 1994

결측치를 가진 회귀모형의 모수 추정법을 이용하여 목표지향형 평가 모델에서 기초고사(X)와 신고사(I)(Y), 신고사(II)(Z)등 두 개 이상의 고사지로 이루어진 고사집에서 기초고사에는 결측치가 없고 신고사(I), 신고사(II)등에는 결측치가 있는 경우 모수의 최우추정량 계산법을 논하고 E.M. 알고리즘과 평가치는 희귀방적식화에 의하여 우리나라 중등학교 학생의 수학학습능력과 수학적 사고력의 크기를 변별하며 학생들의 진능력이 반영된 평가모델과 최종 성적을 평가 할 수 있는 계산법을 제시하였다.

• 한국지능시스템학회논문지
• /
• 제22권5호
• /
• pp.624-630
• /
• 2012

피어리뷰(peer review)를 통한 학습은 학습자간 피드백을 주고받으며 다양한 정보를 관찰, 분석하는 과정을 통해 학습성과를 향상시키는 방법이다. 피어리뷰 시스템의 중요한 문제 중 하나는, 학습자의 여러 특징을 고려하여 학습자의 학습성과를 향상시키는데 적합한 평가자를 찾는 것이다. 그러나 기존 피어리뷰 시스템에서는 학습자들이 가지는 다양한 특징을 고려하지 않고 단순히 피어리뷰 평가자를 임의로 할당하거나 제한적인 학습 전략에 따라 피어리뷰 평가자를 편성하였다. 본 논문에서는 학습자와 평가자의 다양한 특징을 고려하여, 특정 학습자와 평가자의 조합으로 피어리뷰 학습이 이루어졌을 때 학습자에게 어느 정도의 학습성과 향상이 있을지 예측하는 방법을 제안한다. 제안하는 방법은 학습자와 평가자의 프로파일 정보로부터 대표 속성을 추출하고 다양한 회귀 모델을 적용하였다. 또한 학습자들의 다양한 특징으로 인하여 나타날 수 있는 이상치(outlier)가 학습성과 예측에 미치는 영향을 알아보기 위해, 회귀 모델에 다양한 이상치 제거 방법을 적용하여 학습성과 예측성능을 비교하였다. 실험 결과 이상치를 제거 하지 않은 SVR 모델이 평균 0.47%의 에러율을 보이며 가장 우수한 학습성과 예측결과를 보였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (B)
• /
• pp.265-267
• /
• 2000

본 논문에서는 텍스트 문서의 주제어를 추출하고 문서를 주제별로 분류하기 위해 확률적 그래프 모델을 사용하는 방법을 제안하였다. 텍스트 문서 데이터를 문서와 단어의 쌍으로(dyadic)표현하여 확률적 생성 모델을 학습하였다. 확률적 그래프 모델의 학습에는 정의된 likelihood를 최대화하기 위한 EM(Expected Maximization)알고리즘을 사용하였다. TREC-8 AdHoc 텍스트 에이터에 대하여 학습된 확률 그래프 모델의 성능을 실험적으로 평가하였다. 이로부터 찾아 낸 문서에 대한 주제어가 사람이 제시한 주제어와 유사한 지와, 사람이 각 주제에 대해 분류한 문서가 이 확률모델로부터의 분류와 유사한 지를 실험적으로 검토하였다.

• 한국수학교육학회지시리즈A:수학교육
• /
• 제61권2호
• /
• pp.257-271
• /
• 2022

본 연구는 학습분석학을 기반으로 블렌디드 수학 수업에서 발생하는 학습 데이터를 활용하여 수학 학업성취도를 예측하는 요인이 무엇인지 탐색하고, 그 결과를 활용하여 수학 학업성취도를 예측하는 인공지능 모델을 개발하고자 하였다. 초등학교 5~6학년 학생 205명의 수학 학습 성향, LMS 데이터, 평가 결과를 수집하여 랜덤포레스트 모델을 분석하였다. 수학 학습성향에는 수학학습 자신감, 수학불안, 수학교과 흥미, 수학학습 자기관리, 수학학습 전략이 포함되었다. LMS 데이터로 e학습터의 진도율, 학습 횟수, 학습 시간을 수집하였다. 평가는 진단평가와 각 단원의 단원평가 결과를 사용하였다. 분석 결과 수학 학습성향 중 수학 학습 전략이 저성취 학생을 예측에 가장 중요한 요인으로 나타났다. LMS 학습 데이터는 예측에 미미한 영향을 주었다. 본 연구는 인공지능 모델이 블렌디드 수학 수업에서 발생하는 학습 데이터로 저성취 학생을 예측할 수 있음을 시사한다. 또한 분석 결과를 통해 교사가 학생을 평가하고 피드백하는 데 구체적인 정보를 제공하여 교사의 평가 활동에 보조적인 역할을 할 수 있을 것으로 기대한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.704-706
• /
• 2023

이 논문에서는 과학기술분야 특화 한국어 사전학습 언어모델인 KorSciDeBERTa를 소개한다. DeBERTa Base 모델을 기반으로 약 146GB의 한국어 논문, 특허 및 보고서 등을 학습하였으며 모델의 총 파라미터의 수는 180M이다. 논문의 연구분야 분류 태스크로 성능을 평가하여 사전학습모델의 유용성을 평가하였다. 구축된 사전학습 언어모델은 한국어 과학기술 분야의 여러 자연어처리 태스크의 성능향상에 활용될 것으로 기대된다.