• 제목/요약/키워드: 이질성 학습

검색결과 38건 처리시간 0.024초

블록체인 기반 연합학습을 위한 레퍼런스 아키텍처 (A Reference Architecture for Blockchain-based Federated Learning)

  • 고은수;문종현;이광기;손채봉
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2022년도 추계학술대회
    • /
    • pp.119-122
    • /
    • 2022
  • 연합학습은, 데이터 샘플을 보유하는 다수의 분산 에지 디바이스 또는 서버들이 원본 데이터를 공유하지 않고 기계학습 문제를 해결하기 위해 협력하는 기술로서, 각 클라이언트는 소유한 원본 데이터를 로컬모델 학습에만 사용함으로써, 데이터 소유자의 프라이버시를 보호하고, 데이터 소유 및 활용의 파편화 문제를 해결할 수 있다. 연합학습을 위해서는 통계적 이질성 및 시스템적 이질성 문제 해결이 필수적이며, 인공지능 모델 정확도와 시스템 성능을 향상하기 위한 다양한 연구가 진행되고 있다. 최근, 중앙서버 의존형 연합학습의 문제점을 극복하고, 데이터 무결성 및 추적성과 데이터 소유자 및 연합학습 참여자에게 보상을 효과적으로 제공하기 위한, 블록체인 융합 연합학습기술이 주목받고 있다. 본 연구에서는 이더리움 기반 블록체인 인프라와 호환되는 연합학습 레퍼런스 아키텍처를 정의 및 구현하고, 해당 아키텍처의 실용성과 확장성을 검증하기 위하여 대표적인 연합학습 알고리즘과 데이터셋에 대한 실험을 수행하였다.

  • PDF

Temporal Fusion Transformers와 심층 학습 방법을 사용한 다층 수평 시계열 데이터 분석 (Temporal Fusion Transformers and Deep Learning Methods for Multi-Horizon Time Series Forecasting)

  • 김인경;김대희;이재구
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제11권2호
    • /
    • pp.81-86
    • /
    • 2022
  • 시계열 데이터는 주식, IoT, 공장 자동화와 같은 다양한 실생활에서 수집되고 활용되고 있으며, 정확한 시계열 예측은 해당 분야에서 운영 효율성을 높일 수 있어서 전통적으로 중요한 연구 주제이다. 전반적인 시계열 데이터의 향상된 특징을 추출할 수 있는 대표적인 시계열 데이터 분석 방법인 다층 수평 예측은 최근 부가적 정보를 포함하는 시계열 데이터에 내재한 이질성(heterogeneity)까지 포괄적으로 분석에 활용하여 향상된 시계열 예측한다. 하지만 대부분의 심층 학습 기반 시계열 분석 모델들은 시계열 데이터의 이질성을 반영하지 못했다. 따라서 우리는 잘 알려진 temporal fusion transformers 방법을 사용하여 실생활과 밀접한 실제 데이터를 이질성을 고려한 다층 수평 예측에 적용하였다. 결과적으로 주식, 미세먼지, 전기 소비량과 같은 실생활 시계열 데이터에 적용한 방법이 기존 예측 모델보다 향상된 정확도를 가짐을 확인할 수 있었다.

Enhancing LoRA Fine-tuning Performance Using Curriculum Learning

  • Daegeon Kim;Namgyu Kim
    • 한국컴퓨터정보학회논문지
    • /
    • 제29권3호
    • /
    • pp.43-54
    • /
    • 2024
  • 최근 언어모델을 활용하기 위한 연구가 활발히 이루어지며, 큰 규모의 언어모델이 다양한 과제에서 혁신적인 성과를 달성하고 있다. 하지만 실제 현장은 거대 언어모델 활용에 필요한 자원과 비용이 한정적이라는 한계를 접하면서, 최근에는 주어진 자원 내에서 모델을 효과적으로 활용할 수 있는 방법에 주목하고 있다. 대표적으로 학습 데이터를 난이도에 따라 구분한 뒤 순차적으로 학습하는 방법론인 커리큘럼 러닝이 주목받고 있지만, 난이도를 측정하는 방법이 복잡하거나 범용적이지 않다는 한계를 지닌다. 따라서, 본 연구에서는 신뢰할 수 있는 사전 정보를 통해 데이터의 학습 난이도를 측정하고, 이를 다양한 과제에 쉽게 활용할 수 있는 데이터 이질성 기반 커리큘럼 러닝 방법론을 제안한다. 제안방법론의 성능 평가를 위해 국가 R&D 과제 전문 문서 중 정보통신 분야 전문 문서 5,000건, 보건의료전문 문서 데이터 4,917건을 적용하여 실험을 수행한 결과, 제안 방법론이 LoRA 미세조정과 전체 미세조정 모두에서 전통적인 미세조정에 비해 분류 정확도 측면에서 우수한 성능을 나타냄을 확인했다.

과학 협동학습에서 중학생들의 집단주의 성향에 따른 집단구성의 효과 및 학생들의 인식 (The Effects of Grouping by Middle School Students' Collectivism in Science Cooperative Learning and Their Perceptions)

  • 주영;김경순;노태희
    • 한국과학교육학회지
    • /
    • 제32권10호
    • /
    • pp.1551-1566
    • /
    • 2012
  • 이 연구에서는 중학교 과학 수업에 협동학습 전략을 적용하여 학생들의 집단주의 성향을 고려한 소집단 구성이 학업 성취도, 과학 학습 동기, 과학 수업 환경에 대한 인식에 미치는 효과를 조사하였다. 또한, 협동학습에 대한 인식도 설문과 면담을 통하여 조사하였다. 188명의 학생들을 통제 집단과 이질 및 동질집단으로 무선 배치하고, 12차시 동안 수업을 실시하였다. 분석 결과, 학업 성취도, 과학 학습 동기, 관련성에서 수업 처치와 집단주의 성향 수준 사이의 상호작용 효과가 나타났으며, 자신감, 과학 수업 환경에 대한 인식, 친화성, 규칙의 명확성 영역에서 수업 처치의 주 효과가 나타났다. 집단주의 성향 하위 학생들의 학업 성취도는 이질 집단에서보다 동질 집단에서 더 높았다. 집단주의 성향 상위 학생들은 이질 및 동질 집단에서 과학 학습 동기와 관련성이 높게 나타났다. 또한, 동질 집단과 이질 집단의 자신감과 친화성 검사 점수가 통제 집단에 비하여 유의미하게 높았다. 동질 집단의 과학 수업 환경에 대한 인식과 규칙의 명확성 검사 점수가 통제 집단에 비하여 유의미하게 높았다. 집단주의 성향 수준에 따라 학생들이 가진 협동학습에 대한 인식의 차이가 있었다.

한정된 교통환경하에서 운전자의 합리적 신념형성에 관한 연구 (Drivers' Rational Belief Formation under Bounded Traffic Environments)

  • 도명식
    • 대한교통학회지
    • /
    • 제25권3호
    • /
    • pp.87-97
    • /
    • 2007
  • 본 연구에서는 기존의 한정합리적인 모델에서 자주 언급된 운전자의 인지의 한계와 정보처리능력의 한계에 초점을 두어 운전자의 경로선택 행동에 대한 모델링과 정보제공에 따른 운전자의 교통환경에 대한 신념(belief) 형성과정을 살펴보기로 한다. 나아가 기존의 운전자의 기대형성 및 경로선택 행동에서 자주 인용된 모델들이 가지는 문제점과 현실에서 도입을 위한 한계점을 지적하고 실제의 도로 네트워크를 가정한 시뮬레이션을 통하여 운전자의 이질 성에 따른 경로선택 행동과 운전자의 도로 환경에 대한 신념 형성의 과정을 모델링 하였다. 본 연구를 통해 도로의 특성 및 운전자 그룹의 특성에 따라 운전자의 학습 과정과 정보의 가치가 달라짐을 확인 할 수 있었다. 먼저 교통량의 증가에 민감하게 도로의 혼잡이 심해지는 환경에서 정보의 효용이 커지는 것을 알 수 있었으며, 운전하는 횟수의 차이에 따라 정보의 가치가 차이가 남을 확인할 수 있었다. 나아가 한정된 교통환경하에서 매일 주행하는 운전자의 비율 차이가 운전자가 형성하게 되는 경로의 특성에 대한 신념의 차이로 이어짐도 확인할 수 있었다.

이질성 학습을 통한 문서 분류의 정확성 향상 기법 (Improving the Accuracy of Document Classification by Learning Heterogeneity)

  • 윌리엄;현윤진;김남규
    • 지능정보연구
    • /
    • 제24권3호
    • /
    • pp.21-44
    • /
    • 2018
  • 최근 인터넷 기술의 발전과 함께 스마트 기기가 대중화됨에 따라 방대한 양의 텍스트 데이터가 쏟아져 나오고 있으며, 이러한 텍스트 데이터는 뉴스, 블로그, 소셜미디어 등 다양한 미디어 매체를 통해 생산 및 유통되고 있다. 이처럼 손쉽게 방대한 양의 정보를 획득할 수 있게 됨에 따라 보다 효율적으로 문서를 관리하기 위한 문서 분류의 필요성이 급증하였다. 문서 분류는 텍스트 문서를 둘 이상의 카테고리 혹은 클래스로 정의하여 분류하는 것을 의미하며, K-근접 이웃(K-Nearest Neighbor), 나이브 베이지안 알고리즘(Naïve Bayes Algorithm), SVM(Support Vector Machine), 의사결정나무(Decision Tree), 인공신경망(Artificial Neural Network) 등 다양한 기술들이 문서 분류에 활용되고 있다. 특히, 문서 분류는 문맥에 사용된 단어 및 문서 분류를 위해 추출된 형질에 따라 분류 모델의 성능이 달라질 뿐만 아니라, 문서 분류기 구축에 사용된 학습데이터의 질에 따라 문서 분류의 성능이 크게 좌우된다. 하지만 현실세계에서 사용되는 대부분의 데이터는 많은 노이즈(Noise)를 포함하고 있으며, 이러한 데이터의 학습을 통해 생성된 분류 모형은 노이즈의 정도에 따라 정확도 측면의 성능이 영향을 받게 된다. 이에 본 연구에서는 노이즈를 인위적으로 삽입하여 문서 분류기의 견고성을 강화하고 이를 통해 분류의 정확도를 향상시킬 수 있는 방안을 제안하고자 한다. 즉, 분류의 대상이 되는 원 문서와 전혀 다른 특징을 갖는 이질적인 데이터소스로부터 추출한 형질을 원 문서에 일종의 노이즈의 형태로 삽입하여 이질성 학습을 수행하고, 도출된 분류 규칙 중 문서 분류기의 정확도 향상에 기여하는 분류 규칙만을 추출하여 적용하는 방식의 규칙 선별 기반의 앙상블 준지도학습을 제안함으로써 문서 분류의 성능을 향상시키고자 한다.

취향검사 지능적 에이전트기반 학습공동체 그룹핑 E-learning 시스템 설계 및 개발 (Development of Intelligent Agent Based Inclination Test Grouping E-learning System (IIGS))

  • 김명숙;조영임
    • 한국멀티미디어학회논문지
    • /
    • 제8권4호
    • /
    • pp.544-553
    • /
    • 2005
  • 본 논문에서는 사회적 상호작용을 극대화 하고, 중도 탈락률을 낮추며, 학습자의 고립감을 해소하기 위해 바람직한 온라인 학습공동체 형성을 위해 취향검사 항목을 개발 하였으며, 개발한 취향검사 항목을 동질성과 이질성으로 구분하여 항목을 개발하고, 이를 바탕으로 온라인상에서 지능적 에이전트 기법에 의한 학습공동체를 자동으로 그룹핑하는 e-learning 시스템(IIGS)을 개발하였다. 실제 1,000명을 대상으로 실험한 결과, 151개 그룹이 자동으로 생성되었으며 이중 34% 정도가 매우 높은 학습만족을 보여 그룹을 계속적으로 유지하고자 하였다.

  • PDF

7학년 광합성 개념의 지위 중복 변화에 따른 소집단 구성의 효과 분석 (An analysis of effect for grouping methods corresponding to ecological niche overlap of 7th graders' photosynthesis concepts)

  • 장혜지;김영신
    • 과학교육연구지
    • /
    • 제41권2호
    • /
    • pp.195-212
    • /
    • 2017
  • 소집단 학습은 소집단 내 학생들 간의 상호작용을 통해 공동의 목표 및 과제를 해결해 나가는 학습 방법이다. 과학 교육에서 소집단 학습은 중요 학습 전략 중의 하나이며, 학업 성취도와 태도 향상에 효과적이다. 소집단 구성은 3명일 때 학생들이 적극적으로 참여하며 과학 탐구 능력 향상에 효과적인 것으로 보고되었다. 그러나 집단의 구성 방법 즉, 동질과 이질 집단으로 구성하느냐에 따라 그 효과가 다른 것으로 보고되고 있다. 따라서 이 연구에서는 집단의 구성에 따라 7학년 학생의 광합성 개념의 생태적 지위에 차이가 있는지를 검증하였다. 이를 위해서 7학년 학생 1107명을 대상으로 이질 집단과 동질 집단은 상위, 중위, 하위로 구분하여 구성하였다. 광합성 개념은 광합성 장소, 광합성 생성물질, 광합성 필요물질, 광합성 환경 요인 영역으로 구분하였다. 광합성 개념의 생태적 지위 변화에 대한 선행 연구에 기초하여 빈도율 4%이상인 개념을 선정하여 설문을 구성하였다. 설문지는 4가지 영역에 각각 제시된 관련 개념들에 대한 관련성 점수와 이해 수준 점수를 측정하였다. 이 연구의 결론은 다음과 같다. 1) 3명의 소집단 수업에서는 과학 개념 학습에 향상이 있었다. 2) 집단 구성 시 평균을 향상시키고자 할 때는 동질 집단으로 구성하고 구성원간의 편차를 줄이고자 할 때는 이질 집단으로 구성하는 것을 제안한다. 이 연구를 통해서 집단 구성에 따른 결과의 이중성에 대한 차이 또는 효과를 검증하는 구체적인 연구가 이루어지길 기대한다.

산업군 내 동질성을 고려한 온라인 뉴스 기반 주가예측 (Online news-based stock price forecasting considering homogeneity in the industrial sector)

  • 성노윤;남기환
    • 지능정보연구
    • /
    • 제24권2호
    • /
    • pp.1-19
    • /
    • 2018
  • 주가 예측은 학문적으로나 실용적으로나 중요한 문제이기에, 주가 예측에 관련된 연구가 활발히 진행되었다. 빅 데이터 시대에 도입하면서, 빅 데이터를 결합한 주가 예측 연구도 활발히 진행되고 있다. 다수의 데이터를 기반으로 기계 학습을 이용한 연구가 주를 이룬다. 특히 언론의 효과를 접목한 연구 방법들이 주목을 받고 있는데, 그중 온라인 뉴스를 분석하여 주가 예측에 활용하는 연구가 주를 이루고 있다. 기존 연구들은 온라인 뉴스가 개별 회사에 대한 미치는 영향을 주로 살펴보았다. 또한, 관련성이 높은 기업끼리 서로 영향을 주는 것을 고려하는 방법도 최근에 연구되고 있다. 이는 동질성을 가지는 산업군에 대한 효과를 살펴본 것인데, 기존 연구에서 동질성을 가지는 산업군은 국제 산업 분류 표준에 따른다. 즉, 기존 연구들은 국제 산업 분류 표준으로 나뉜 산업군이 동질성을 가진다는 가정하에서 분석을 시행하였다. 하지만 기존 연구들은 영향력을 가지는 회사를 고려하지 못한 채 예측하였거나 산업군 내에서 이질성이 존재하는 점을 반영하지 못했다는 한계점을 가진다. 본 연구는 산업군 내에 이질성이 존재함을 밝히고, 이질성을 반영하지 못한 기존 연구의 한계점을 K-평균 군집 분석을 적용하여, 주가에 영향을 미치는 산업군의 동질적인 효과를 반영할 수 있는 방법론을 제안하였다. 방법론이 적합하다는 것을 증명하기 위해 3년간의 온라인 뉴스와 주가를 통해 실험한 결과, 다수의 경우에서 본 논문에서 제시한 방법이 좋은 결과를 나타냄을 확인할 수 있었으며, 국제 산업 분류 표준 산업군 내에서 이질성이 클수록 본 논문에서 제시한 방법이 좋은 효과를 보인다는 것을 확인할 수 있었다. 본 연구는 국제 산업 분류 표준으로 나누어진 기업들이 높은 동질성을 가지지 않는 다는것을 밝히고 이를 반영한 예측 모형의 효율성을 입증하였다는 점에서 의의를 가진다.

초등 과학 협동학습에서 유화성을 고려한 소집단 구성의 효과 (The Effect of Grouping on the Basis of Students' Agreeableness in Cooperative Elementary Science Classes)

  • 강석진;서아영;권혁순
    • 대한화학회지
    • /
    • 제51권3호
    • /
    • pp.270-278
    • /
    • 2007
  • 이 연구에서는 협동학습에서 학생의 유화성 수준을 고려한 집단 구성이 초등학교 6학년 학생들의 과 학 성취도, 자아효능감, 과학 학습 동기에 미치는 영향을 조사했다. 1개 초등학교의 6학년 3개 학급 학생 72명 을 학급 단위로 통제 집단과 처치 집단으로 임의 배정했다. 사전 검사로 유화성 검사, 자아효능감 검사, 과학 학 습 동기 검사를 실시했다. 처치 집단의 학생들은 유화성 수준에 따라 동질 혹은 이질적으로 소집단을 편성한 후, 협동학습 전략에 따라 수업을 실시했다. 반면, 통제 집단 학생들은 임의로 소집단을 편성한 후, 전통적인 방 식으로 수업을 실시했다. 협동학습 처치는 5주(16차시) 동안 실시했다. 수업 처치가 끝난 후, 성취도, 자아효능 감, 과학 학습 동기 검사를 실시했다. 연구 결과, 이질 집단과 동질 집단의 성취도 검사 점수가 통제 집단에 비 해 유의미하게 높았지만, 유화성 수준에 따른 집단 구성은 성취도에 영향을 주지 않았다. 자아효능감과 과학 학 습 동기 검사에서는 수업 처치에 따른 차이가 나타나지 않았다.