• Journal of the Korea Society of Computer and Information
• /
• v.29 no.4
• /
• pp.31-38
• /
• 2024

This study proposes hyper-parameter settings for developing a generative AI-based learning support tool to facilitate programming education in online distance learning. We implemented an experimental tool that can set research hyper-parameters according to three different learning contexts, and evaluated the quality of responses from the generative AI using the tool. The experiment with the default hyper-parameter settings of the generative AI was used as the control group, and the experiment with the research hyper-parameters was used as the experimental group. The experiment results showed no significant difference between the two groups in the "Learning Support" context. However, in other two contexts ("Code Generation" and "Comment Generation"), it showed the average evaluation scores of the experimental group were found to be 11.6% points and 23% points higher than those of the control group respectively. Lastly, this study also observed that when the expected influence of response on learning motivation was presented in the 'system content', responses containing emotional support considering learning emotions were generated.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.26 no.5
• /
• pp.335-342
• /
• 2016

When dynamics changes occurred in an existing Bayesian Network (BN), the related parameters embedding on the BN have to be updated to new parameters adapting to changed patterns. In this case, these parameters have to be updated with the consideration of the causalities in the BN. This research suggests a framework for updating parameters dynamically using Expectation Maximization (EM) algorithm and Harmony Search (HS) algorithm among several Meta-Heuristics techniques. While EM is an effective algorithm for estimating hidden parameters, it has a limitation that the generated solution converges a local optimum in usual. In order to overcome the limitation, this paper applies HS for tracking the global optimum values of Maximum Likelihood Estimators (MLE) of parameters. The proposed method suggests a learning and propagation framework of BN with dynamic changes for overcoming disadvantages of EM algorithm and converging a global optimum value of MLE of parameters.

• Journal of the Korean Institute of Telematics and Electronics C
• /
• v.36C no.11
• /
• pp.75-83
• /
• 1999

We propose a PfSGA(parameter-free species genetic algorithm) to learn the topological structure of MLP classifiers being adequate to given applications. The PfSGA is a combinational method of SGA(species genetic algorithm) and PfGA(parameter-free genetic algorithm). In SGA, we divide the total search space into several subspaces(species) according to the number of hidden units, and reduce the unnecessary search by eliminating the low promising species from the evolutionary process. However the performances of SGA classifiers are readily affected by the values of parameters such as mutation ratio and crossover ratio. In this paper, therefore, we combine SGA with PfGA, for which it is not necessary to determine the learning parameters. Experimental results on benchmark data and sign language words show that PfSGA can reduce the learning time of SGA and is not affected by the selection parameter values on structural learning. The results also show that PfSGA is more efficient than the exisiting methods in the aspect of misclassification ratio, learning rate, and complexity of MLP structure.

• ICROS
• /
• v.17 no.3
• /
• pp.22-26
• /
• 2011

신경회로망 기술은 다양한 공학적 및 과학적 문제에 적용되어 왔으며 복잡한 동특성을 갖는 시스템의 모델링에 특히 효율적인 것으로 알려져 있다. 신경회로망 학습은 신경회로망의 가중치 및 바이러스로서 주어지는 파라미터 벡터의 요소를 주어진 목적함수를 최소화하는 최적의 값으로 추정하는 연산과정을 의미한다. 따라서 신경회로망 파라미터 학습은 전체시스템의 성능을 직접적으로 좌우하는 매우 중요한 단계라 할 수 있으며 일반적으로 파라미터의 수정규칙 알고리즘을 도출한다. 이러한 수정규칙은 주로 최적화 기법을 적용하며 경사함수(gradient function)를 포함한다. 최근에는 이러한 경사함수를 포함하지 않는 학습 알고리즘이 많이 개발되고 있으며 특히 칼만 필터링 이론을 접목한 미분 신경회로망의 학습 알고리즘이 최근에 발표되었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04c
• /
• pp.241-243
• /
• 2003

일반적으로 사용되는 반도체 공정에 대한 진단 기법은 한 공정을 진행하기 전에 테스트 공정을 수행하여 공정의 진행 여부를 결정하고, 한 공정의 진행을 완료한 후에 다시 테스트 공정을 수행하여 공정의 결과를 진단하는 방법이다. 본 논문에서 제안하는 실시간 자동 진단 시스템은 기존 방법의 문제점인 자원의 낭비를 막고, 실시간으로 진단함으로써 시간의 낭비를 막는 진단 시스템을 제안한다. 실시간 자동 진단 시스템은 크게 시스템 초기화 단계, 학습 단계 그리고 예측 단계로 나누어진다. 초기화 단계는 진단할 공정에 대한 사전 입력값을 받아 시스템을 초기화하는 과정으로 공정장비 파라미터별 중요도 자동 설정 과정과 초기화 클러스터링으로 이루어진다. 학습 단계는 실시간으로 저장된 공정장치별 데이터와 계측기로부터 획득된 데이터를 이용하여 최적의 유사 클래스를 결정하는 단계와 결정된 유사 클래스를 이용하여 가중치를 학습하는 단계로 나누어진다. 예측 단계는 공정 진행 중 획득된 실시간 데이터를 학습 단계에서 결정된 파라미터별 가중치를 사용하여 공정에 대한 진단을 한다. 본 시스템에서 사용하는 클러스터링 알고리즘은 DTW(Dynamic Time Warping)를 이용하여 파라미터 데이터에 대한 특징을 추출하고 LBG(Linde, Buzo and Gray) 알고리즘을 사용하여 데이터를 군집화 한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.514-517
• /
• 2023

본 연구는 인 컨택스트 러닝 (In-Context Learning)을 오디오-언어 작업에 적용하기 위한 멀티모달 (Multi-Modal) 딥러닝 모델을 다룬다. 해당 모델을 통해 학습 단계에서 오디오와 텍스트의 소통 가능한 형태의 표현 (Representation)을 학습하고 여러가지 오디오-텍스트 작업을 수행할 수 있는 멀티모달 딥러닝 모델을 개발하는 것이 본 연구의 목적이다. 모델은 오디오 인코더와 언어 인코더가 연결된 구조를 가지고 있으며, 언어 모델은 6.7B, 30B 의 파라미터 수를 가진 자동회귀 (Autoregressive) 대형 언어 모델 (Large Language Model)을 사용한다 오디오 인코더는 자기지도학습 (Self-Supervised Learning)을 기반으로 사전학습 된 오디오 특징 추출 모델이다. 언어모델이 상대적으로 대용량이기 언어모델의 파라미터를 고정하고 오디오 인코더의 파라미터만 업데이트하는 프로즌 (Frozen) 방법으로 학습한다. 학습을 위한 과제는 음성인식 (Automatic Speech Recognition)과 요약 (Abstractive Summarization) 이다. 학습을 마친 후 질의응답 (Question Answering) 작업으로 테스트를 진행했다. 그 결과, 정답 문장을 생성하기 위해서는 추가적인 학습이 필요한 것으로 보였으나, 음성인식으로 사전학습 한 모델의 경우 정답과 유사한 키워드를 사용하는 문법적으로 올바른 문장을 생성함을 확인했다.

• Journal of the Korea Society of Computer and Information
• /
• v.24 no.11
• /
• pp.51-59
• /
• 2019

Due to the exponential growth of access information on the web, the need for predicting web users' next access has increased. Various models such as markov models, deep neural networks, support vector machines, and fuzzy inference models were proposed to handle web access prediction. For deep learning based on neural network models, training time on large-scale web usage data is very huge. To address this problem, deep neural network models are trained on cluster of computers in parallel. In this paper, we investigated impact of several important spark parameters related to data partitions, shuffling, compression, and locality (basic spark parameters) for training Multi-Layer Perceptron model on Spark standalone cluster. Then based on the investigation, we tuned basic spark parameters for training Multi-Layer Perceptron model and used it for tuning Spark when training Multi-Layer Perceptron model for web access prediction. Through experiments, we showed the accuracy of web access prediction based on our proposed web access prediction model. In addition, we also showed performance improvement in training time based on our spark basic parameters tuning for training Multi-Layer Perceptron model over default spark parameters configuration.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2020.11a
• /
• pp.69-72
• /
• 2020

Log Structured Merged Tree(LSM-Tree)구조를 사용하여 빠른 데이터 쓰기 성능을 보유한 RocksDB에는 쓰기 증폭과 공간 증폭 현상이 발생한다. 쓰기 증폭은 과도한 쓰기 연산을 유발하여 데이터 처리 성능 저하와 플래시 메모리 기반 장치의 수명 저하를 초래하며, 공간 증폭은 데이터 저장 공간 점유로 인한 저장 공간 부족 문제를 야기한다. 본 논문에서는 쓰기 증폭과 공간 증폭 완화를 위해 RocksDB 의 성능에 영향 주는 주요 파라미터를 추출하고, 기계학습 기법인 랜덤 포레스트를 사용하여 추출한 파라미터가 쓰기 증폭과 공간 증폭에 미치는 영향을 분석하였다. 실험결과 쓰기 증폭과 공간 증폭에 영향을 많이 주는 주요 요소를 선별하였고 다른 파라미터에 대비해서 성능 격차가 61.7% 더 나타낸 것을 발견하였다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.622-624
• /
• 2021

현재 BERT와 같은 대용량의 코퍼스로부터 학습된 사전 학습 언어 모델을 자연어 응용 태스크에 적용하기 위해 일반적으로 널리 사용되는 방법은 Fine-tuning으로 각 응용 태스크에 적용 시 모델의 모든 파라미터를 조정하기 때문에 모든 파라미터를 조정하는데 필요한 시간적 비용과 함께 업데이트된 파라미터를 저장하기 위한 별도의 저장공간이 요구된다. 언어 모델이 커지면 커질수록 저장 공간의 비용이 증대됨에 따라 이러한 언어모델을 효율적으로 튜닝 할 수 있는 방법들이 연구되었다. 본 연구에서는 문장의 입력 임베딩에 연속적 태스크 특화 벡터인 prefix를 추가하여 해당 prefix와 관련된 파라미터만 튜닝하는 prefix-tuning을 한국어 네이버 감성 분석 데이터 셋에 적용 후 실험결과를 보인다.

• Journal of Digital Convergence
• /
• v.19 no.10
• /
• pp.253-263
• /
• 2021

Machine learning is the process of constructing a cost function using learning data used for learning and an artificial neural network to predict the data, and finding parameters that minimize the cost function. Parameters are changed by using the gradient-based method of the cost function. The more complex the digital signal and the more complex the problem to be learned, the more complex and deeper the structure of the artificial neural network. Such a complex and deep neural network structure can cause over-fitting problems. In order to avoid over-fitting, a weight decay regularization method of parameters is used. We additionally use the value of the cost function in this method. In this way, the accuracy of machine learning is improved, and the superiority is confirmed through numerical experiments. These results derive accurate values for a wide range of artificial intelligence data through machine learning.