• 한국인터넷방송통신학회논문지
• /
• 제18권5호
• /
• pp.171-177
• /
• 2018

최근 많은 이미지 데이터 셋들은 일반적인 특성을 추출하기 위한 다양한 데이터 클래스와 특징을 가지고 있다. 하지만 이러한 다양한 데이터 클래스와 특징으로 인해 해당 데이터 셋으로 훈련된 물체 검출 딥러닝 모델은 데이터 특성이 다른 환경에서 좋은 성능을 내지 못하는 단점을 보인다. 이 논문에서는 하위 카테고리 기반 물체 검출 방법과 오픈셋 물체 검출 방법을 이용하여 이를 극복하고, 강인한 물체 검출 딥러닝 모델을 훈련하기 위해 능동 준지도 학습 (Active Semi-Supervised Learning)을 이용한 다중 분기 트리 구조를 제안한다. 우리는 이 구조를 이용함으로써 데이터 특성이 다른 환경에서 적응할 수 있는 모델을 가질 수 있고, 나아가 이 모델을 이용하여 이전의 모델보다 높은 성능을 확보 할 수 있다.

• Communications for Statistical Applications and Methods
• /
• 제26권6호
• /
• pp.591-610
• /
• 2019

Deep Learning is one of the machine learning methods to find features from a huge data using non-linear transformation. It is now commonly used for supervised learning in many fields. In particular, Convolutional Neural Network (CNN) is the best technique for the image classification since 2012. For users who consider deep learning models for real-world applications, Keras is a popular API for neural networks written in Python and also can be used in R. We try examine the parameter estimation procedures of Deep Neural Network and structures of CNN models from basics to advanced techniques. We also try to figure out some crucial steps in CNN that can improve image classification performance in the CIFAR10 dataset using Keras. We found that several stacks of convolutional layers and batch normalization could improve prediction performance. We also compared image classification performances with other machine learning methods, including K-Nearest Neighbors (K-NN), Random Forest, and XGBoost, in both MNIST and CIFAR10 dataset.

• Journal of Information Technology Applications and Management
• /
• 제9권2호
• /
• pp.1-16
• /
• 2002

Recently, neural network methods have been studied to find out more valuable information in data bases. But the supervised learning methods of neural networks have an overfitting problem, which leads to errors of target patterns. And the unsupervised learning methods can distort important information in the process of regularizing data. Thus they can't efficiently classify data, To solve the problems, this paper introduces a hybrid neural networks HACAB(Hybrid Algorithm combining a Competition learning model And BP Algorithm) combining a competition learning model and 8P algorithm. HACAB is designed for cases which there is no target patterns. HACAB makes target patterns by adopting a competition learning model and classifies input patterns using the target patterns by BP algorithm. HACAB is evaluated with random input patterns and Iris data In cases of no target patterns, HACAB can classify data more effectively than BP algorithm does.

• Korean Chemical Engineering Research
• /
• 제61권3호
• /
• pp.388-393
• /
• 2023

지도 학습 기반의 신경 망을 활용한 공학적 자료의 분석은 화학공학 공정 최적화, 미세 먼지 농도 추정, 열역학적 상평형 예측, 이동 현상 계의 물성 예측 등 다양한 분야에서 활용되고 있다. 신경 망의 지도 학습은 학습 자료를 요구하며, 주어진 학습 자료의 구성에 따라 학습 성능이 영향을 받는다. 빈번히 관찰되는 공학적 자료 중에는 DNA의 길이, 분석 물질의 농도 등과 같이 로그 간격으로 주어지는 자료들이 존재한다. 본 연구에서는 넓은 범위에 분포된 로그 간격의 학습 자료를 기계 학습으로 처리하는 경우, 사용 가능한 손실 함수들의 학습 성능을 정량적으로 평가하였으며, 적합한 학습 자료 구성 방식을 연구하였다. 이를 수행하고자, 100×100의 가상 이미지를 활용하여 기계 학습의 회귀 과업을 구성하였다. 4개의 손실 함수들에 대하여 (i) 오차 행렬, (ii) 최대 상대 오차, (iii) 평균 상대 오차로 정량적 평가하여, mape 혹은 msle가 본 연구에서 다룬 과업에 대해 최적의 손실 함수가 됨을 알아내었다. 또한, 학습 자료의 값이 넓은 범위에 걸쳐 분포하는 경우, 학습 자료의 구성을 로그 간격 등을 고려하여 균등 선별하는 방식이 높은 학습 성능을 보임을 밝혀내었다. 본 연구에서 다룬 회귀 과업은 DNA의 길이 예측, 생체 유래 분자 분석, 콜로이드 용액의 농도 추정 등의 공학적 과업에 적용 가능하며, 본 결과를 활용하여 기계 학습의 성능과 학습 효율의 증대를 기대할 수 있을 것이다.

• 한국컴퓨터정보학회논문지
• /
• 제18권11호
• /
• pp.31-38
• /
• 2013

특징 정규화는 인식기를 적용하기 이전의 전처리 단계로 특징의 스케일에 따른 오류를 줄이기 위해 널리 사용되고 있다. 하지만 기존 정규화 방법은 특징의 분포를 가정하는 경우가 많으며, 클래스 라벨을 고려하지 않으므로 정규화 결과가 인식률에서 최적임을 보장하지 못하는 문제점이 있다. 이 논문에서는 특징의 분포를 가정하지 않는 랭크 정규화 방법과 클래스 라벨을 사용하는 교사 학습법을 결합한 교사 랭크 정규화 방법을 제안하였다. 제안하는 방법은 데이터의 분포를 바탕으로 특징의 분포를 자동으로 추정하므로 특징의 분포를 가정하지 않으며, 데이터 포인트의 최근접 이웃이 가지는 클래스 라벨을 바탕으로 정규화를 시행하므로 오류의 발생을 최소화할 수 있다. 특히 SVM의 경우 서로 다른 클래스에 속하는 데이터 포인트들이 혼재되어 나타나는 영역에 경계선을 설정하므로 이 영역의 밀도를 줄임으로써 경계선 설정을 보다 용이하게 하고 결과적으로 일반화 오류를 감소시킬 수 있다. 이러한 사실들은 실험 결과를 통해 확인할 수 있다.

• 한국인터넷방송통신학회논문지
• /
• 제20권4호
• /
• pp.107-113
• /
• 2020

매우 많은 소프트웨어 결함 예측에 관한 연구들이 수행되어왔지만 대부분은 라벨 데이터를 훈련 데이터로 사용하는 감독형 모델들이었다. 언라벨 데이터만을 사용하는 비감독형 모델이나 언라벨 데이터와 매우 적은 라벨 데이터 정보를 함께 사용하는 세미감독형 모델에 관한 연구는 극소수에 불과하다. 본 논문은 Self-training 기법에 트리 알고리즘들을 사용하여 새로운 세미감독형 모델들을 제작하였다. 세미감독형 기법인 Self-training 모델에 트리 기법들을 사용하는 새로운 세미감독형 모델들을 제작하였다. 모델 평가 실험 결과 새롭게 제작한 트리 모델들이 기존 모델들보다 더 나은 성능을 보였으며, 특히 CollectiveWoods는 타 모델들에 비해 압도적으로 우월한 성능을 보였다. 또한 매우 적은 라벨 데이터 보유 상황에서도 매우 안정적인 성능을 보였다.

• 대한영상의학회지
• /
• 제83권6호
• /
• pp.1298-1311
• /
• 2022

목적 흉부 X선 사진에서 척추측만증을 조기진단 할 수 있는 딥러닝 기반의 스크리닝 소프트웨어를 준지도학습(semi-supervised generative adversarial network; 이하 GAN) 방법을 이용하여 개발하고자 하였다. 대상과 방법 두 곳의 상급종합병원에서 촬영된 흉부 X선 사진에서 척추측만증을 조기진단할 수 있는 스크리닝 소프트웨어를 개발하기 위하여 GAN 방법이 이용되었다. GAN의 훈련과정에서 경증에서 중증의 척추측만증을 보이는 흉부 X선 사진들을 사용하였으며 upstream task에서 척추측만증의 특징을 학습하고, downstream task에서 정상과 척추측만증을 분류하도록 훈련하였다. 결과 수신자 조작 특성 곡선의 곡선하면적(area under the receiver operating characteristic curve), 음성예측도, 양성예측도, 민감도 및 특이도는 각각 0.856, 0.950, 0.579, 0.985, 0.285이었다. 결론 우리가 GAN 방법을 이용하여 개발한 딥러닝 기반의 스크리닝 소프트웨어는 청소년의 흉부 X선에서 척추측만증을 진단하는데 있어서 높은 음성예측도와 민감도를 보였다. 이 소프트웨어가 건강검진을 목적으로 촬영한 청소년의 흉부 X선 사진에 진단 스크리닝 도구로써 이용된다면 영상의학과 의사의 부담을 덜어주며, 척추측만증의 조기진단에 기여할 것으로 생각된다.

• Korean Journal of Radiology
• /
• 제24권6호
• /
• pp.541-552
• /
• 2023

Objective: Detection of pneumoperitoneum using abdominal radiography, particularly in the supine position, is often challenging. This study aimed to develop and externally validate a deep learning model for the detection of pneumoperitoneum using supine and erect abdominal radiography. Materials and Methods: A model that can utilize "pneumoperitoneum" and "non-pneumoperitoneum" classes was developed through knowledge distillation. To train the proposed model with limited training data and weak labels, it was trained using a recently proposed semi-supervised learning method called distillation for self-supervised and self-train learning (DISTL), which leverages the Vision Transformer. The proposed model was first pre-trained with chest radiographs to utilize common knowledge between modalities, fine-tuned, and self-trained on labeled and unlabeled abdominal radiographs. The proposed model was trained using data from supine and erect abdominal radiographs. In total, 191212 chest radiographs (CheXpert data) were used for pre-training, and 5518 labeled and 16671 unlabeled abdominal radiographs were used for fine-tuning and self-supervised learning, respectively. The proposed model was internally validated on 389 abdominal radiographs and externally validated on 475 and 798 abdominal radiographs from the two institutions. We evaluated the performance in diagnosing pneumoperitoneum using the area under the receiver operating characteristic curve (AUC) and compared it with that of radiologists. Results: In the internal validation, the proposed model had an AUC, sensitivity, and specificity of 0.881, 85.4%, and 73.3% and 0.968, 91.1, and 95.0 for supine and erect positions, respectively. In the external validation at the two institutions, the AUCs were 0.835 and 0.852 for the supine position and 0.909 and 0.944 for the erect position. In the reader study, the readers' performances improved with the assistance of the proposed model. Conclusion: The proposed model trained with the DISTL method can accurately detect pneumoperitoneum on abdominal radiography in both the supine and erect positions.

• 한국정보통신학회논문지
• /
• 제25권4호
• /
• pp.508-514
• /
• 2021

본 논문에서는 지도 학습 기반의 분류기 제안을 위해, 분류 데이터의 각 특징별 소속도를 결정하는 3가지 종류의 퍼지 소속도 함수를 제안하였다. 또한 각 특징별 소속도들의 평균값을 이용하여 분류 결과를 도출하는 과정에 사용되는 평균값 산출 기법을 단순 산술평균이 아닌 다양한 가중치를 활용한 가중치 평균을 이용함으로써 분류기 성능을 향상시킬 수 있는 가능성을 제시하였다. 제안한 기법들의 실험을 위해 Iris, Ecoli, Yeast의 3가지 표준 데이터 세트를 사용하였다. 실험 결과, 서로 다른 특성의 데이터 세트들에 대해서도 고르게 우수한 분류 성능이 얻어질 수 있음을 확인하였고, 기존에 발표된 다른 기법들에 의한 해당 데이터 세트들의 분류 성능과 비교했을 때, 퍼지 소속도 함수의 개선과 가중치 평균 기법의 개선을 통해 더욱 우수한 분류 성능이 가능함을 확인할 수 있었다.

• 한국콘텐츠학회:학술대회논문집
• /
• 한국콘텐츠학회 2004년도 추계 종합학술대회 논문집
• /
• pp.357-362
• /
• 2004

시간/경제적 문제 혹은 수집 대상의 제한으로 충분한 수의 학습패턴을 모을 수 없는 경우에 인간의 두뇌를 모방한 교사학습 및 비교사학습모델을 이용하여 새로운 학습패턴을 생성한 후 이를 이용하여 학습한 경우 성능이 향상됨을 시뮬레이션을 통하여 확인하였다.