• Title/Summary/Keyword: 결합 학습 모델

Search Result 402, Processing Time 0.056 seconds

A Learning Model for Recommendation of Humor Documents (유머문서 추천을 위한 기계학습 기법)

  • 이종우;장병탁
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.04b
    • /
    • pp.253-255
    • /
    • 2001
  • 인터넷을 통한 사용자의 선호도를 분석하고 협력적 여과 및 내용기반 여과 기술을 결합 이용하여 유머문서를 추천하는 MrHumor 시스템을 구축하였다. 유머문서 추천 기술은 다양한 아이템에 대한 여과 및 추천 기술로 확장되어 인터넷을 통한 과다 정보 시대에 필요한 소프트봇 혹은 지능형 에이전트 기술에 적용될 수 있다. MrHumor 추천시스템은 적응형 학습 시스템으로서 새로운 사용자의 선호도에 대한 학습량과 추천시기에 따라 이용할 추천방식이 다른 성능을 보이는데 여러 가지 상황에서도 적절한 동작을 보이기 위하여 MrHumor에서는 은닉변수 모델을 이용하여 사용자의 인구통계적 정보와 문서의 내용적 특징간의 관계를 학습하여 초기 추천을 행하고 SVM을 이용하여 개인의 선호도를 학습한 내용 기반의 여과와 적응형 k-NN모델을 이용한 협력적 여과를 결합하여 추천을 수행한다. 제안된 방식에 의한 추천 성능은 3방식이 각각 이용된 경우에 비해 안정적이고 높은 예측 정확도를 보인다.

  • PDF

Korean Spatial Elements Extraction using BERT (BERT 모델을 이용한 한국어 공간 개체 추출)

  • Shin, Hyeong Jin;Yuk, Dae Bum;Lee, Jae Sung
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.478-480
    • /
    • 2019
  • 텍스트에서 공간 정보를 추출하기 위해 그동안 통계 및 확률 기반 방법, 심층학습 방법 등이 연구되어 왔다. 본 연구에서는 최근 자연언어처리에서 우수한 성능을 보이고 있는 BERT 모델을 적용하여 공간 개체 정보를 추출한다. 공간 개체 추출은 공간 관계에 관련된 속성 추출을 함께 고려한 결합(joint) 모델로 구성하였으며, 한국어를 대상으로 BERT 기학습된 언어모델인 korBERT를 이용하였다. 실험결과, 기존의 방법들에 비해 1.9% 포인트 이상 증가한 성능을 보였다.

  • PDF

Optimial Identification of Fuzzy-Neural Networks Structure (퍼지-뉴럴 네트워크 구조의 최적 동정)

  • 윤기찬;박춘성;안태천;오성권
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 1998.03a
    • /
    • pp.99-102
    • /
    • 1998
  • 본 논문에서는 복잡하고 비선형적인 시스템의 최적 모델링을 우해서 지능형 퍼지-뉴럴네트워크의 최적 모델 구축을 위한 방법을 제안한다. 기본 모델은 퍼지 추론 시스템의 언어적인 규칙생성의 장점과 뉴럴 네트워크의 학습기능을 결합한 FNNs 모델을 사용한다. FNNs 모델의 퍼지 추론부는 간략추론이 사용되고, 학습은 요류 역전파 알고리즘을 사용하여 다른 모델들에 비해 학습속도가 빠르고 수렴능력이 우수하다. 그러나 기본 모델은 주어진 시스템에 대하여 퍼지 공간을 균등하게 분할하여 퍼지 소속을 정의한다. 이것은 비선형 시스템의 모델링에 있어어서 성능을 저하시켜 최적의 모델을 얻기가 어렵다. 논문에서는 주어진 데이터의 특성을 부여한 공간을 설정하기 위하여 클러스터링 알고리즘을 사용한다. 클러스터링 알고리즘은 주어진 시스템에 대하여 상호 연관성이 있는 데이터들끼리 특성을 나누어 몇 개의 클래스를 이룬다. 클러스터링 알고리즘을 사용하여 초기 FNNs 모델의 퍼지 공간을 나누고 소속함수를 정의한다. 또한, 최적화 기법중의 하나로 자연선택과 자연계의 유전자 메카니즘에 바탕을 둔 탐색 알고리즘인 유전자 알고리즘을 사용하여 주\ulcorner 진 모델에 대하여 최적화를 수행한다. 또한 본 연구에서는 학습 및 테스트 데이터의 성능 결과의 상호 균형을 얻기 위한 하중값을 가긴 성능지수가 제시된다.

  • PDF

Learner Activity Modeling Based on Teaching and Learning Activities Data (교수-학습 활동 데이터기반 학습자 활동 모델링)

  • Kim, Kyungrog
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.5 no.9
    • /
    • pp.411-418
    • /
    • 2016
  • Learning analytic has been utilized to helps us to successfully complete the course by using the interaction of the teacher and the learner data generated from the teaching and learning support system. In other words, Learning analytic is a method in order to understand the activities of learners. In the learning analytic, the data model is needed in order to utilize the more useful for teaching and learning activities data. Therefore, in this study, we propose a user centric data model of learning styles and learning objects. This model is expressed by aggregating of user learning style, learning objects, and learning activities. The proposed model is significant that laid the foundation for analyzing the activities of the learners in course units.

Environment Adaptation by Discriminative Noise Adaptive Training Methods (잡음적응 변별학습 방식을 이용한 환경적응)

  • Kang, Byung-Ok;Jung, Ho-Young;Lee, Yun-Keun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2007.05a
    • /
    • pp.397-398
    • /
    • 2007
  • 본 논문에서는 환경변화에 대해 강인하게 동작하는 음성인식 시스템을 위해 잡음적응 훈련과 변별학습 방식을 결합한 형태의 환경적응 방식을 제안한다. 다중환경 훈련과 잡음제거방식을 결합한 형태인 잡음적응 훈련 방식은 음성인식을 위한 MCE (Minimum Classification Error)의 목적과는 거리가 있고, 음성인식 시스템이 사용되는 모든 환경을 반영하는 것은 현실적으로 어렵다는 점에서 한계가 있다. 이에 잡음적응 훈련방식으로 훈련된 기본 음향모델을 목적환경에서 수집한 소량의 데이터를 이용한 변별학습을 통해 환경적응 모델로 변환함으로써 이러한 단점을 보완할 수 있는 잡음 적응 변별학습을 이용한 훈련방식을 제안한다.

  • PDF

Table Question Answering based on Pre-trained Language Model using TAPAS (TAPAS를 이용한 사전학습 언어 모델 기반의 표 질의응답)

  • Cho, Sanghyun;Kim, Minho;Kwon, Hyuk-Chul
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.87-90
    • /
    • 2020
  • 표 질의응답은 반-정형화된 표 데이터에서 질문에 대한 답을 찾는 문제이다. 본 연구에서는 한국어 표 질의응답을 위한 표 데이터에 적합한 TAPAS를 이용한 언어모델 사전학습 방법과 표에서 정답이 있는 셀을 예측하고 선택된 셀에서 정확한 정답의 경계를 예측하기 위한 표 질의응답 모형을 제안한다. 표 사전학습을 위해서 약 10만 개의 표 데이터를 활용했으며, 텍스트 데이터에 사전학습된 BERT 모델을 이용하여 TAPAS를 사전학습한 모델이 가장 좋은 성능을 보였다. 기계독해 모델을 적용했을 때 EM 46.8%, F1 63.8%로 텍스트 텍스트에 사전학습된 모델로 파인튜닝한 것과 비교하여 EM 6.7%, F1 12.9% 향상된 것을 보였다. 표 질의응답 모델의 경우 TAPAS를 통해 생성된 임베딩을 이용하여 행과 열의 임베딩을 추출하고 TAPAS 임베딩, 행과 열의 임베딩을 결합하여 기계독해 모델을 적용했을 때 EM 63.6%, F1 76.0%의 성능을 보였다.

  • PDF

A Comparative Study on Sentiment Analysis Based on Psychological Model (감정 분석에서의 심리 모델 적용 비교 연구)

  • Kim, Haejun;Do, Junho;Sun, Juoh;Jeong, Seohee;Lee, Hyunah
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.450-452
    • /
    • 2020
  • 기술의 발전과 함께 사용자에게 가까이 자리 잡은 소셜 네트워크 서비스는 이미지, 동영상, 텍스트 등 활용 가능한 데이터의 수를 폭발적으로 증가시켰다. 작성자의 감정을 포함하고 있는 텍스트 데이터는 시장 조사, 주가 예측 등 다양한 분야에서 이용할 수 있으며, 이로 인해 긍부정의 이진 분류가 아닌 다중 감정 분석의 필요성 또한 높아지고 있다. 본 논문에서는 딥러닝 기반 감정 분류에 심리학 이론의 기반 감정 모델을 활용한 결합 모델과 단일 모델을 비교한다. 학습을 위해 AI Hub에서 제공하는 데이터와 노래 가사 데이터를 복합적으로 사용하였으며, 결과에서는 대부분의 경우에 결합 모델이 높은 결과를 보였다.

  • PDF

Development of SW Education Model based on HVC Learning Strategy for Improving Computational Thinking (컴퓨팅 사고 함양을 위한 HVC 학습전략 기반 SW교육모델 개발)

  • Sung, Younghoon
    • Journal of The Korean Association of Information Education
    • /
    • v.21 no.5
    • /
    • pp.583-593
    • /
    • 2017
  • In order to overcome the difficulties of programming education for beginners, various research strategies such as UMC(Use-Modify-Create), design based learning, discovery learning and play learning are applied. In this study, we developed a HVC(History-VR Coding-Collaboration) learning strategy model for the improvement of learner's computational thinking. The HVC model is composed of a combination module of block type. We developed a 12th session storytelling - based virtual reality programming curriculum. As a result, HVC model and SW education program showed significant difference in improvement of learner's computational thinking.

Parameter-Efficient Prompting for Few-Shot Learning (Prompting 기반 매개변수 효율적인 Few-Shot 학습 연구)

  • Eunhwan Park;Sung-Min Lee;Daeryong Seo;Donghyeon Jeon;Inho Kang;Seung-Hoon Na
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.343-347
    • /
    • 2022
  • 최근 자연어처리 분야에서는 BERT, RoBERTa, 그리고 BART와 같은 사전 학습된 언어 모델 (Pre-trained Language Models, PLM) 기반 미세 조정 학습을 통하여 여러 하위 과업에서 좋은 성능을 거두고 있다. 이는 사전 학습된 언어 모델 및 데이터 집합의 크기, 그리고 모델 구성의 중요성을 보여주며 대규모 사전 학습된 언어 모델이 각광받는 계기가 되었다. 하지만, 거대한 모델의 크기로 인하여 실제 산업에서 쉽게 쓰이기 힘들다는 단점이 명백히 존재함에 따라 최근 매개변수 효율적인 미세 조정 및 Few-Shot 학습 연구가 많은 주목을 받고 있다. 본 논문은 Prompt tuning, Prefix tuning와 프롬프트 기반 미세 조정 (Prompt-based fine-tuning)을 결합한 Few-Shot 학습 연구를 제안한다. 제안한 방법은 미세 조정 ←→ 사전 학습 간의 지식 격차를 줄일 뿐만 아니라 기존의 일반적인 미세 조정 기반 Few-Shot 학습 성능보다 크게 향상됨을 보인다.

  • PDF

Development of hybrid precipitation nowcasting model by using conditional GAN-based model and WRF (GAN 및 물리과정 기반 모델 결합을 통한 Hybrid 강우예측모델 개발)

  • Suyeon Choi;Yeonjoo Kim
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.100-100
    • /
    • 2023
  • 단기 강우 예측에는 주로 물리과정 기반 수치예보모델(NWPs, Numerical Prediction Models) 과 레이더 기반 확률론적 방법이 사용되어 왔으며, 최근에는 머신러닝을 이용한 레이더 기반 강우예측 모델이 단기 강우 예측에 뛰어난 성능을 보이는 것을 확인하여 관련 연구가 활발히 진행되고 있다. 하지만 머신러닝 기반 모델은 예측 선행시간 증가 시 성능이 크게 저하되며, 또한 대기의 물리적 과정을 고려하지 않는 Black-box 모델이라는 한계점이 존재한다. 본 연구에서는 이러한 한계를 극복하기 위해 머신러닝 기반 blending 기법을 통해 물리과정 기반 수치예보모델인 Weather Research and Forecasting (WRF)와 최신 머신러닝 기법 (cGAN, conditional Generative Adversarial Network) 기반 모델을 결합한 Hybrid 강우예측모델을 개발하고자 하였다. cGAN 기반 모델 개발을 위해 1시간 단위 1km 공간해상도의 레이더 반사도, WRF 모델로부터 산출된 기상 자료(온도, 풍속 등), 유역관련 정보(DEM, 토지피복 등)를 입력 자료로 사용하여 모델을 학습하였으며, 모델을 통해 물리 정보 및 머신러닝 기반 강우 예측을 생성하였다. 이렇게 생성된cGAN 기반 모델 결과와 WRF 예측 결과를 결합하는 머신러닝 기반 blending 기법을 통해Hybrid 강우예측 결과를 최종적으로 도출하였다. 본 연구에서는 Hybrid 강우예측 모델의 성능을 평가하기 위해 수도권 및 안동댐 유역에서 발생한 호우 사례를 기반으로 최대 선행시간 6시간까지 모델 예측 결과를 분석하였다. 이를 통해 물리과정 기반 모델과 머신러닝 기반 모델을 결합하는 Hybrid 기법을 적용하여 높은 정확도와 신뢰도를 가지는 고해상도 강수 예측 자료를 생성할 수 있음을 확인하였다.

  • PDF