• Communications for Statistical Applications and Methods
• /
• 제10권1호
• /
• pp.239-246
• /
• 2003

Statisticians, or data miners, are often requested to assess the importances of input variables in the given supervised learning model. For the purpose, one may rely on separate ad hoc measures depending on modeling types, such as linear regressions, the neural networks or trees. Consequently, the conceptual consistency in input variable importance measures is lacking, so that the measures cannot be directly used in comparing different types of models, which is often done in data mining processes, In this short communication, we propose a unified approach to the importance measurement of input variables. Our method uses sensitivity analysis which begins by perturbing the values of input variables and monitors the output change. Research scope is limited to the models for continuous output, although it is not difficult to extend the method to supervised learning models for categorical outcomes.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.675-677
• /
• 2023

본 연구는 병리학 이미지 분석에서 자주 발생하는 문제 중 하나인 레이블링 불일치 문제를 해결하고자 준지도학습(semi-supervised learning) 기법을 적용하였다. 기존의 병리 진단 과정은 정확한 판정 및 치료를 위해 전문가의 판단을 필요로 한다. 이로 인해, 시간이 매우 많이 소모되며 전문가의 피로도가 증가한다. 최근 이를 해결하고자 지도학습(supervised learning) 기법을 사용하여 업무의 피로도를 감소시키고자 하는 연구가 진행되고 있다. 하지만 병리 이미지 데이터에 대한 접근이 어렵고, 병변의 위치를 레이블링 하는 부분에서 많은 비용이 발생한다. 또한 암 병변의 스펙트럼적 특성으로 인해 레이블링 과정 속에서 레이블링 불일치 문제가 발생할 가능성이 높다. 이러한 문제를 극복하기 위해, 우리는 제한된 레이블 된 데이터와 많은 양의 레이블 되지 않은 데이터를 활용하는 준지도학습 방법론을 제안한다. 이 제안하는 방법은 필요한 수동 레이블링 작업량을 줄여, 병리학자들에게 보다 효과적인 진단 도구를 제공할 것으로 예상된다.

• 한국멀티미디어학회논문지
• /
• 제23권8호
• /
• pp.1059-1065
• /
• 2020

In hospitals, nurses are subjectively determining the urine status to check the kidneys and circulatory system of patients whose statuses are related to patients with kidney disease, critically ill patients, and nursing homes before and after surgery. To improve this problem, this paper proposes a urine spectrum analysis system which clusters urine test results based on a hybrid machine learning model consists of unsupervised learning and supervised learning. The proposed system clusters the spectral data using unsupervised learning in the first part, and classifies them using supervised learning in the second part. The results of the proposed urine spectrum analysis system using a mixed model are evaluated with the results of pure supervised learning. This paper is expected to provide better services than existing medical services to patients by solving the shortage of nurses, shortening of examination time, and subjective evaluation in hospitals.

• 한국멀티미디어학회논문지
• /
• 제22권11호
• /
• pp.1251-1258
• /
• 2019

Intelligent tutoring system enables users to effectively learn by utilizing various artificial intelligence techniques. For instance, it can recommend a proper curriculum or learning method to individual users based on their learning history. To do this effectively, user's characteristics need to be analyzed and classified based on various aspects such as interest, learning ability, and personality. Even though data labeled by the characteristics are required for more accurate classification, it is not easy to acquire enough amount of labeled data due to the labeling cost. On the other hand, unlabeled data should not need labeling process to make a large number of unlabeled data be collected and utilized. In this paper, we propose a semi-supervised learning method based on feedback variational auto-encoder(FVAE), which uses both labeled data and unlabeled data. FVAE is a variation of variational auto-encoder(VAE), where a multi-layer perceptron is added for giving feedback. Using unlabeled data, we train FVAE and fetch the encoder of FVAE. And then, we extract features from labeled data by using the encoder and train classifiers with the extracted features. In the experiments, we proved that FVAE-based semi-supervised learning was superior to VAE-based method in terms with accuracy and F1 score.

• 한국컴퓨터정보학회논문지
• /
• 제27권9호
• /
• pp.41-47
• /
• 2022

본 논문에서는 자동표정인식을 위하여 얼굴 이미지 배열의 가운데 이미지를 예측하는 새롭고 간단한 자기주도학습 방법을 제안한다. 자동표정인식은 딥러닝 모델을 통해 높은 성능을 달성할 수 있으나 일반적으로 큰 비용과 시간이 투자된 대용량의 데이터 세트가 필요하고, 데이터 세트의 크기와 알고리즘의 성능이 비례한다. 제안하는 방법은 추가적인 데이터 세트 구축 없이 기존의 데이터 세트를 활용하여 자기주도학습을 통해 얼굴의 잠재적인 심층표현방법을 학습하고 학습된 파라미터를 전이시켜 자동표정인식의 성능을 향상한다. 제안한 방법은 CK+와 AFEW 8.0 두가지 데이터 세트에 대하여 높은 성능 향상을 보여주었고, 간단한 방법으로 큰 효과를 얻을 수 있음을 보여주었다.

• Journal of the Korean Data and Information Science Society
• /
• 제15권2호
• /
• pp.477-483
• /
• 2004

One of the major paradigms for supervised learning in neural network community is back-propagation learning. The standard implementations of back-propagation learning are optimal under the assumptions of identical and independent Gaussian noise. In this paper, for regression function estimation, we introduce $\varepsilon-insensitive$ back-propagation learning algorithm, which corresponds to minimizing the least absolute error. We compare this algorithm with support vector machine(SVM), which is another $\varepsilon-insensitive$ supervised learning algorithm and has been very successful in pattern recognition and function estimation problems. For comparison, we consider a more realistic model would allow the noise variance itself to depend on the input variables.

• International Journal of Internet, Broadcasting and Communication
• /
• 제16권2호
• /
• pp.127-135
• /
• 2024

Recent studies have shown that inverse design using deep learning has the potential to rapidly generate the optimal design that satisfies the target performance without the need for iterative optimization processes. Unlike traditional methods, deep learning allows the network to rapidly generate a large number of solution candidates for the same objective after a single training, and enables the generation of diverse designs tailored to the objectives of inverse design. These inverse design techniques are expected to significantly enhance the efficiency and innovation of design processes in various fields such as aerospace, biology, medical, and engineering. We analyzes inverse design models that are mainly utilized in the nano and chemical fields, and proposes inverse design models based on supervised and unsupervised learning that can be applied to the engineering system. It is expected to present the possibility of effectively applying inverse design methodologies to the design optimization problem in the field of engineering according to each specific objective.

• 한국정보통신학회논문지
• /
• 제24권2호
• /
• pp.204-211
• /
• 2020

본 논문에서는 약한 지도학습을 통한 주 객체 위치 검출을 위한 최적의 딥러닝 네트워크 구조를 제안한다. 제안된 네트워크는 약한 지도학습을 통한 주 객체의 위치 검출 정확도를 향상시키기 위해 컨벌루션 블록을 추가하였다. 추가적인 딥러닝 네트워크는 VGG-16을 기반으로 합성곱 층을 더해주는 5가지 추가적인 블록으로 구성되며 객체의 실제 위치 정보가 필요하지 않는 약한 지도 학습의 방법으로 학습하였다. 또한 객체의 위치 검출에는 약한 지도학습의 방법 중, CAM에서 GAP이 필요하다는 단점을 보완한 Grad-CAM을 사용하였다. 제안한 네트워크는 CUB-200-2011 데이터 셋을 이용하여 성능을 테스트하였으며 Top-1 Localization Error를 산출하였을 때 50.13%의 결과를 얻을 수 있었다. 또한 제안한 네트워크는 기존의 방법보다 주 객체를 검출하는데 더 높은 정확도를 보인다.

• Communications for Statistical Applications and Methods
• /
• 제29권2호
• /
• pp.193-202
• /
• 2022

Semi-supervised learning has gained significant attention in recent applications. In this article, we provide a selective overview of popular semi-supervised methods and then propose a simple but effective algorithm for semi-supervised classification using support vector machines (SVM), one of the most popular binary classifiers in a machine learning community. The idea is simple as follows. First, we apply the dimension reduction to the unlabeled observations and cluster them to assign labels on the reduced space. SVM is then employed to the combined set of labeled and unlabeled observations to construct a classification rule. The use of SVM enables us to extend it to the nonlinear counterpart via kernel trick. Our numerical experiments under various scenarios demonstrate that the proposed method is promising in semi-supervised classification.

• 방송공학회논문지
• /
• 제26권1호
• /
• pp.79-87
• /
• 2021

본 논문에서는 소량의 레이블 데이터로 딥러닝 기반 분류 모델을 훈련할 때 적용되는 준 지도 학습 기법 (semi-supervised learning: SSL)에 대해서 분석한다. 기존의 준 지도 학습 기법은 크게 일관성 정규화 (consistency regularization), 엔트로피 기반 (entropybased), 의사 레이블링 (pseudo labeling)으로 구분할 수 있다. 우선, 각 준 지도 학습 기법의 알고리즘에 대해서 서술한다. 실험에서는 준 지도학습 기법을 레이블 데이터의 수를 변화시키면서 훈련 후 분류 정확도를 평가한다. 최종적으로 실험 결과를 바탕으로 기존 준 지도 학습 기법의 한계에 대해서 서술하고, 분류 성능을 향상하기 위한 연구 방향을 제시한다.