• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(B)
• /
• pp.336-338
• /
• 2012

본 연구에서는 고차 데이터 분류를 위해 순차적 베이지만 샘플링 기반의 진화연산 기법을 이용한 하이퍼네트워크 모델의 학습 알고리즘을 제시한다. 제시하는 방법에서는 모델의 조건부 확률의 사후(posterior) 분포를 최대화하도록 학습이 진행된다. 이를 위해 사전(prior) 분포를 문제와 관련된 사전지식(prior knowledge) 및 모델 복잡도(model complexity)로 정의하고, 측정된 모델의 분류성능을 우도(likelihood)로 사 용하며, 측정된 사전분포와 우도를 이용하여 모델의 적합도(fitness)를 정의한다. 이를 통해 하이퍼네트워크 모델은 고차원 데이터를 효율적으로 학습 가능할 뿐이 아니라 모델의 학습시간 및 분류성능이 개선될 수 있다. 또한 학습 시에 파라미터로 주어지던 하이퍼에지의 구성 및 모델의 크기가 학습과정 중에 적응적으로 결정될 수 있다. 제안하는 학습방법의 검증을 위해 본 논문에서는 약 25,000개의 유전자 발현정보 데이터셋에 대한 분류문제에 모델을 적용한다. 실험 결과를 통해 제시하는 방법이 기존 하이퍼네트워크 학습 방법 뿐 아니라 다른 모델들에 비해 우수한 분류 성능을 보여주는 것을 확인할 수 있다. 또한 다양한 실험을 통해 사전분포로 사용된 사전지식이 모델 학습에 끼치는 영향을 분석한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.558-562
• /
• 2023

최근 ChatGPT의 등장으로 텍스트 생성 모델에 대한 관심이 높아지면서, 텍스트 생성 태스크의 성능평가를 위한 지표에 대한 연구가 활발히 이뤄지고 있다. 전통적인 단어 빈도수 기반의 성능 지표는 의미적인 유사도를 고려하지 못하기 때문에, 사전학습 언어모델을 활용한 지표인 BERTScore를 주로 활용해왔다. 하지만 이러한 방법은 사전학습 언어모델이 학습한 데이터에 존재하는 편향으로 인해 공정성에 대한 문제가 우려된다. 이에 따라 한국어 사전학습 언어모델의 편향에 대한 분석 연구가 필요한데, 기존의 한국어 사전학습 언어모델의 편향 분석 연구들은 사회에서 생성되는 다양한 속성 별 편향을 고려하지 못했다는 한계가 있다. 또한 서로 다른 언어를 기반으로 하는 사전학습 언어모델들의 속성 별 편향을 비교 분석하는 연구 또한 미비하였다. 이에 따라 본 논문에서는 한국어 사전학습 언어모델의 속성 별 편향을 비교 분석하며, 영어 사전학습 언어모델이 갖고 있는 속성 별 편향과 비교 분석하였고, 비교 가능한 데이터셋을 구축하였다. 더불어 한국어 사전학습 언어모델의 종류 및 크기 별 편향 분석을 통해 적합한 모델을 선택할 수 있도록 가이드를 제시한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제63차 동계학술대회논문집 29권1호
• /
• pp.245-247
• /
• 2021

최근 코로나 19로 인하여 온라인 강의가 증가하고 있으며 이를 활용한 학습 분석에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 학습 분석 중 학습 결과에 영향을 미칠 수 있는 학습 활동 데이터를 수집하여 학습 결과를 예측하는 모델을 설계하고자 한다. 예측 모델은 기계학습을 이용하며 이전 학기의 학습 결과 데이터를 학습시켜 학습 결과에 영향을 미치는 학습 활동 데이터를 도출한다. 도출된 데이터를 이용하여 차후 학습자의 학습 결과를 예측한다. 학습 결과를 예측하기 위한 모델로 딥러닝의 DNN을 활용한다. 향후 연구로는 예측한 결과를 바탕으로 학습자의 학습 동기 부여와 학습 지도 방향을 정하는 것이다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.234-238
• /
• 2023

미세 조정은 대부분의 연구에서 사전학습 모델을 위한 표준 기법으로 활용되고 있으나, 최근 초거대 모델의 등장과 환경 오염 등의 문제로 인해 더 효율적인 사전학습 모델 활용 방법이 요구되고 있다. 패턴 추출 학습은 사전학습 모델을 효율적으로 활용하기 위해 제안된 방법으로, 본 논문에서는 한국어 주장 탐지 및 입장 분류를 위해 패턴 추출 학습을 활용하는 모델을 구현하였다. 우리는 기존 미세 조정 방식 모델과의 비교 실험을 통해 본 논문에서 구현한 한국어 주장 탐지 및 입장 분류 모델이 사전학습 단계에서 학습한 모델의 내부 지식을 효과적으로 활용할 수 있음을 보였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
• /
• pp.243-248
• /
• 2020

인공 신경망을 통한 심층 학습 모델의 발전은 컴퓨터 비전, 자연언어 이해 문제들에서 인간을 뛰어넘는 성능을 보이고 있다. 특히 트랜스포머[1] 기반의 사전 학습 모델은 질의응답, 대화문과 같은 자연언어 이해 문제에서 최근 높은 성능을 보이고 있다. 하지만 트랜스포머 기반의 모델과 같은 심층 학습 모델의 급격한 발전 양상에 비해, 이의 동작 방식은 상대적으로 잘 알려져 있지 않다. 인공 신경망을 통한 심층 학습 모델을 해석하는 방법으로 모델의 예측 값과 실제 값이 얼마나 일치하는지를 측정하는 모델의 보정(Calibration)이 있다. 본 연구는 한국어 기반의 심층학습 모델의 해석을 위해 모델의 보정을 수행하였다. 그리고 사전 학습된 한국어 언어 모델이 문장이 내포하는 애매성을 잘 파악하는지의 여부를 확인하고, 완화 기법들을 적용하여 문장의 애매성을 확신 수준을 통해 정량적으로 출력할 수 있도록 하였다. 또한 한국어의 문법적 특징으로 인한 문장의 의미 변화를 모델 보정 관점에서 평가하여 한국어의 문법적 특징을 심층학습 언어 모델이 잘 이해하고 있는지를 정량적으로 확인하였다.

• 디지털융복합연구
• /
• 제12권2호
• /
• pp.467-473
• /
• 2014

적응적 학습 시스템은 학습자의 학습 요구에 따라서 학습 자료를 적응적으로 제공해주는 시스템을 의미한다. 적응적 학습 시스템은 전문가 모델, 수업 모델, 학습자 모델로 구성되어있다. 전문가 모델은 가르치는 정보를 저장하고 있다. 학습자 모델은 학생들의 학습 정보와 학습 이력에 대한 데이터를 저장한다. 수업 모델은 실제 학습자에게 필요한 학습 자료를 제공해주는 모델이다. 본 논문에서는 학습자 프로파일 정보를 통하여 학습자 모델을 구성하였으며, 동적 시나리오 구축을 통하여 수업 모델을 구성하였다. 이후 학습자의 프로파일 정보 기반의 동적 시나리오를 구축해줌으로써 학습자에게 적응적으로 학습 콘텐츠를 제공해주는 시스템을 개발하였다. 마지막으로 시스템에 대한 만족도 결과는 88%로 높은 만족도를 보였다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2005년도 춘계학술대회 학술발표 논문집 제15권 제1호
• /
• pp.289-292
• /
• 2005

본 논문에서는 클러스터링과 뉴로-퍼지 모델링을 동시에 실시하는 학습 기법을 제안하였다. 클러스터링을 이용하여 뉴로-퍼지 모델링을 실시하는 일반적인 경우, 클러스터링 학습을 실시한 후 학습된 파라미터를 뉴로-퍼지 모델의 초기 파라미터로 설정하고 모델을 다시 학습하는 방법을 취한다. 즉 클러스터링에서 클러스터의 수를 구하고 파라미터를 최적화함으로써 초기 구조동정과 파라미터 동정을 실시하며 이를 다시 뉴로-퍼지 모델에서 세부적인 파라미터 동정을 실시하는 것이다. 또한 모델에서의 학습은 출력데이터의 오차를 이용한 오차미분기반 학습으로 전제부 소속함수 파라미터를 수정하는 방법을 이용한다. 이 경우 클러스터링의 영향과 모델의 영향이 각각 별개로 고려될 수 있다. 따라서 본 논문에서는 클러스터링을 전제부 소속함수로 부여하고 클러스터링의 학습에 뉴로-퍼지 모델을 이용하면서 또한 모델의 학습에 클러스터링을 직접 적용하는 클러스터링 기반 뉴로-퍼지 모델링을 제안하였으며 이 경우 클러스터링의 학습과 모델의 학습이 동시에 이루어지며 뉴로-퍼지 모델에서 클러스터링의 효과를 직접적으로 확인할 수 있다. 제안된 방법의 유용성을 시뮬레이션을 통하여 보이고자 한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.514-517
• /
• 2023

본 연구는 인 컨택스트 러닝 (In-Context Learning)을 오디오-언어 작업에 적용하기 위한 멀티모달 (Multi-Modal) 딥러닝 모델을 다룬다. 해당 모델을 통해 학습 단계에서 오디오와 텍스트의 소통 가능한 형태의 표현 (Representation)을 학습하고 여러가지 오디오-텍스트 작업을 수행할 수 있는 멀티모달 딥러닝 모델을 개발하는 것이 본 연구의 목적이다. 모델은 오디오 인코더와 언어 인코더가 연결된 구조를 가지고 있으며, 언어 모델은 6.7B, 30B 의 파라미터 수를 가진 자동회귀 (Autoregressive) 대형 언어 모델 (Large Language Model)을 사용한다 오디오 인코더는 자기지도학습 (Self-Supervised Learning)을 기반으로 사전학습 된 오디오 특징 추출 모델이다. 언어모델이 상대적으로 대용량이기 언어모델의 파라미터를 고정하고 오디오 인코더의 파라미터만 업데이트하는 프로즌 (Frozen) 방법으로 학습한다. 학습을 위한 과제는 음성인식 (Automatic Speech Recognition)과 요약 (Abstractive Summarization) 이다. 학습을 마친 후 질의응답 (Question Answering) 작업으로 테스트를 진행했다. 그 결과, 정답 문장을 생성하기 위해서는 추가적인 학습이 필요한 것으로 보였으나, 음성인식으로 사전학습 한 모델의 경우 정답과 유사한 키워드를 사용하는 문법적으로 올바른 문장을 생성함을 확인했다.

• Journal of Platform Technology
• /
• 제11권4호
• /
• pp.80-88
• /
• 2023

인공지능 분야에서 학습모델을 구성하기 위해서는 학습데이터의 수집이 선행되어야 하며, 학습데이터를 학습모델 구성이 이루어지는 중앙 서버로 전달하여야 한다. 연합 학습은 클라이언트 측면의 데이터 이동없이 협력적은 방법으로 전역 학습 모델을 구성하는 기계학습 방법이다. 연합학습은 개인 정보를 보호하기 위해 활용될 수 있으며, 개별 클라이언트에서 로컬 학습모델을 구성한 후 로컬 모델의 매개변수를 중앙에서 집계하여 전역 모델을 업데이트한다. 이 본문에서는 연합학습의 개선을 위해 기존의 학습 결과인 학습 매개변수를 사용한다. 이를 위해 연합학습 프레임워크인 Flower를 사용하여 실험을 수행한 후 알고리즘의 수행시간 및 최적화에 따른 결과를 평가하여 제시한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제63차 동계학술대회논문집 29권1호
• /
• pp.129-130
• /
• 2021

본 연구의 목적은 학생의 주도적 학습을 돕는 하브루타 학습방법을 대학의 비대면 실시간 온라인 수업에서 활용할 수 있는 하브루타 학습모델 개발과 그 적용 가능성을 탐색하는 것이다. 이를 위해 온라인 학습환경에서 하브루타 학습법 적용사례에 대한 선행연구 고찰과 관련 이론들을 분석하고 하브루타 수업운영 경험자 2인의 인터뷰를 통해 비대면 실시간 온라인 수업 상황에서 적용 가능한 학습 모델안을 고안할 것이다. 이를 하브루타 수업 운영 경험이 풍부한 6인의 전문가를 대상으로 수업 모델안의 적절성과 적용가능성에 대한 평가를 실시하여 비대면 실시간 온라인 수업을 위한 하브루타 학습모델을 개발하고자 한다. 이 연구를 통해 비대면으로 수업을 해야 하는 상황에서도 학습자의 주도적 학습을 가능하게 함으로써 학습효과를 높여 미래 사회에 필요한 역량을 개발하는 데 기여할 수 있을 것이라고 기대한다.