• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.437-440
• /
• 2020

최근 자연어 처리에서는 사전 학습과 전이 학습을 통하여 다양한 과제에 높은 성능 향상을 성취하고 있다. 사전 학습의 대표적 모델로 구글의 BERT가 있으며, 구글에서 제공한 다국어 모델을 포함해 한국의 여러 연구기관과 기업에서 한국어 데이터셋으로 학습한 BERT 모델을 제공하고 있다. 하지만 이런 BERT 모델들은 사전 학습에 사용한 말뭉치의 특성에 따라 이후 전이 학습에서의 성능 차이가 발생한다. 본 연구에서는 소셜미디어에서 나타나는 구어체와 신조어, 특수문자, 이모지 등 일반 사용자들의 문장에 보다 유연하게 대응할 수 있는 한국어 뉴스 댓글 데이터를 통해 학습한 KcBERT를 소개한다. 본 모델은 최소한의 데이터 정제 이후 BERT WordPiece 토크나이저를 학습하고, BERT Base 모델과 BERT Large 모델을 모두 학습하였다. 또한, 학습된 모델을 HuggingFace Model Hub에 공개하였다. KcBERT를 기반으로 전이 학습을 통해 한국어 데이터셋에 적용한 성능을 비교한 결과, 한국어 영화 리뷰 코퍼스(NSMC)에서 최고 성능의 스코어를 얻을 수 있었으며, 여타 데이터셋에서는 기존 한국어 BERT 모델과 비슷한 수준의 성능을 보였다.

• Proceedings of the Korea Inteligent Information System Society Conference
• /
• 2007.11a
• /
• pp.294-302
• /
• 2007

멀티 에이전트 강화학습에서 중요한 이슈 중의 하나는 자신의 성능에 영향을 미칠 수 있는 다른 에이전트들이 존재하는 동적 환경에서 어떻게 최적의 행동 정책을 학습하느냐 하는 것이다. 멀티 에이전트 강화 학습을 위한 기존 연구들은 대부분 단일 에이전트 강화 학습기법들을 큰 변화 없이 그대로 적용하거나 비록 다른 에이전트에 관한 별도의 모델을 이용하더라도 현실적이지 못한 가정들을 요구한다. 본 논문에서는 상대 에이전트에 대한RBFN기반의 행동 정책 모델을 소개한 뒤, 이것을 이용한 강화 학습 방법을 설명한다. 본 논문에서는 제안하는 멀티 에이전트 강화학습 방법은 기존의 멀티 에이전트 강화 학습 연구들과는 달리 상대 에이전트의 Q 평가 함수 모델이 아니라 RBFN 기반의 행동 정책 모델을 학습한다. 또한, 표현력은 풍부하나 학습에 시간과 노력이 많이 요구되는 유한 상태 오토마타나 마코프 체인과 같은 행동 정책 모델들에 비해 비교적 간단한 형태의 행동 정책 모델을 이용함으로써 학습의 효율성을 높였다. 본 논문에서는 대표적이 절대적 멀티 에이전트 환경인 고양이와 쥐 게임을 소개한 뒤, 이 게임을 테스트 베드 삼아 실험들을 전개함으로써 제안하는 RBFN 기반의 정책 모델의 효과를 분석해본다.

• Transactions of the Korean Society of Mechanical Engineers A
• /
• v.41 no.1
• /
• pp.63-68
• /
• 2017

This paper reviews the learning model of a forward slip ratio in order to improve the mass-flow stability and strip qualities in the hot strip finishing mill process. Firstly, it is shown, from mathematical analysis, that the significant parameters of the forward slip ratio are the tension, looper angle, and roll velocity. Secondly, a discrete-time learning model of the forward slip ratio is proposed from these parameters, which is identified by an instrumental variable (IV) identification algorithm. Finally, it is shown from computer simulation that the proposed learning model is more effective than the existing learning model.

• Journal of Digital Convergence
• /
• v.10 no.6
• /
• pp.189-196
• /
• 2012

In this paper, we propose a Scorm-based Sequencing & Navigation Model for Collaborative Learning. It is an e-Learning process control model that is used to efficiently and graphically defining Scorm's content aggregation model and its sequencing prerequistites through a formal approach. To define a process based model uses the expanded ICN(Information Control Net) model. which is called SCOSNCN(SCO Sequencing & Navigation Control Net). We strongly believe that the process-driven model delivers a way of much more convenient content aggregating work and system, in terms of not only defining the intended sequence and ordering of learning activities, but also building the runtime environment for sequencing and navigation of learning activities and experiences.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.10d
• /
• pp.253-255
• /
• 2002

본 논문에서는 다중 모델 기계학습 기법을 이용하여 문서 자동 분류의 성능과 신뢰도를 향상시킬 수 있는 연구와 실험 결과를 기술하였다. 기존의 다중 모텔 기계 학습법들이 훈련 데이터 또는 학습 알고리즘의 편향에 의한 오류를 극복하고 한 것들인데 비해 본 논문에서 제안한 메타 학습을 이용한 하이브리드 다중 모델 방식은 이 두 가지의 오류 원인을 동시에 해소하고자 하였다. 다양한 문서 집합에 대한 실험 결과, 본 연구에서 제안한 하이브리드 다중 모델 학습법이 전반적으로 기존의 일반 다중모델 학습법들에 비해 높은 성능을 보였으며, 다중 모델의 결합 방식으로서 메타 학습이 투표 방식에 비해 효율적인 것으로 나타났다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.613-618
• /
• 2022

효과적인 자연어 처리를 위해 제안된 Transformer 구조의 등장 이후, 이를 활용한 대규모 언어 모델이자 사전학습 모델인 BERT, GPT, OPT 등이 공개되었고, 이들을 한국어에 보다 특화한 KoBERT, KoGPT 등의 사전학습 모델이 공개되었다. 자연어 처리 모델의 확보를 위한 학습 자원이 늘어나고 있지만, 사전학습 모델을 각종 응용작업에 적용하기 위해서는 데이터 준비, 코드 작성, 파인 튜닝 및 저장과 같은 복잡한 절차를 수행해야 하며, 이는 다수의 응용 사용자에게 여전히 도전적인 과정으로, 올바른 결과를 도출하는 것은 쉽지 않다. 이러한 어려움을 완화시키고, 다양한 기계 학습 모델을 사용자 데이터에 보다 쉽게 적용할 수 있도록 AutoML으로 통칭되는 자동 하이퍼파라미터 탐색, 모델 구조 탐색 등의 기법이 고안되고 있다. 본 연구에서는 한국어 사전학습 모델과 한국어 텍스트 데이터를 사용한 자연어 처리 모델 산출 과정을 정형화 및 절차화하여, 궁극적으로 목표로 하는 예측 모델을 자동으로 산출하는 시스템의 설계를 소개한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.05a
• /
• pp.530-531
• /
• 2023

딥러닝에서 지식 증류 기법은 큰 모델의 지식을 작은 모델로 전달하여 작은 모델의 성능을 개선하는 방식이다. 지식 증류 기법은 모델 경량화, 학습 속도 향상, 학습 정확도 향상 등에 활용될 수 있는데, 교사 모델이라 불리는 큰 모델은 일반적으로 학습된 딥러닝 모델을 사용한다. 본 연구에서는 학습된 딥러닝 모델 대신에 수치 기반 시뮬레이션 모델을 사용함으로써 어떠한 효과가 있는지 검증하였으며, 수치 모델을 활용한 기상 예측 모델에서의 지식 증류는 기존 단독 딥러닝 모델 학습 대비 더 작은 학습 횟수(epoch)에서도 동일한 에러 수준(RMSE)까지 도달하여, 학습 속도 측면에서 이득이 있음을 확인하였다.

• Journal of the Korean Society for information Management
• /
• v.19 no.4
• /
• pp.35-51
• /
• 2002

Inductive learning and classification techniques have been employed in various research and applications that organize textual data to solve the problem of information access. In this study, we develop hybrid model combination methods which incorporate the concepts and techniques for multiple modeling algorithms to improve the accuracy of text classification, and conduct experiments to evaluate the performances of proposed schemes. Boosted stacking, one of the extended stacking schemes proposed in this study yields higher accuracy relative to the conventional model combination methods and single classifiers.

• Proceedings of the KIEE Conference
• /
• 2005.07d
• /
• pp.2879-2881
• /
• 2005

본 논문에서는 뉴로-퍼지 모델의 전제부 소속함수의 새로운 학습방법을 통한 모델링 기법을 제안한다. 모델의 크기와 학습시간을 줄이는 기법으로 클러스터링 기법을 이용한 모델의 초기 파라미터 결정 방법이 있다. 이는 클러스터링 후 이들 파라미터를 다시 모델에 적용하여 모델을 학습하는 순차적 방법으로써 모델의 학습이 끝난 후의 전제부 파라미터가 클러스터링 파라미터와 연관성을 가지지 못하는 경우가 발생하였다. 또한 오차미분 기반 학습에서는 전제부 초기치가 국부적 최적해에서 벋어나지 못하는 문제점을 가지고 있다. 본 논문에서는 자율적으로 클러스터의 수를 추정하며 이들 파라미터를 최적화하며 이를 이용하여 뉴로-퍼지 모델의 학습을 실시하는 학습기법을 제안하였다. 제안된 방법에서는 기존의 오차미분 기반 학습을 클러스터링 기반 학습으로 확장하였으며 이를 이용한 모델의 성능을 기존의 연구결과와 비교하여 우수성을 보인다.

• KIPS Transactions on Software and Data Engineering
• /
• v.9 no.1
• /
• pp.25-32
• /
• 2020

In the context-aware system, rule-based AI technology has been used in the abstraction process for getting context information. However, the rules are complicated by the diversification of user requirements for the service and also data usage is increased. Therefore, there are some technical limitations to maintain rule-based models and to process unstructured data. To overcome these limitations, many studies have applied machine learning techniques to Context-aware systems. In order to utilize this machine learning-based model in the context-aware system, a management process of periodically injecting training data is required. In the previous study on the machine learning based context awareness system, a series of management processes such as the generation and provision of learning data for operating several machine learning models were considered, but the method was limited to the applied system. In this paper, we propose a training data generating method of a machine learning model to extend the machine learning based context-aware system. The proposed method define the training data generating model that can reflect the requirements of the machine learning models and generate the training data for each machine learning model. In the experiment, the training data generating model is defined based on the training data generating schema of the cardiac status analysis model for older in health status notification service, and the training data is generated by applying the model defined in the real environment of the software. In addition, it shows the process of comparing the accuracy by learning the training data generated in the machine learning model, and applied to verify the validity of the generated learning data.