• 제목/요약/키워드: Semi-Supervised learning

검색결과 150건 처리시간 0.02초

Domain Adaptation for Opinion Classification: A Self-Training Approach

  • Yu, Ning
    • Journal of Information Science Theory and Practice
    • /
    • 제1권1호
    • /
    • pp.10-26
    • /
    • 2013
  • Domain transfer is a widely recognized problem for machine learning algorithms because models built upon one data domain generally do not perform well in another data domain. This is especially a challenge for tasks such as opinion classification, which often has to deal with insufficient quantities of labeled data. This study investigates the feasibility of self-training in dealing with the domain transfer problem in opinion classification via leveraging labeled data in non-target data domain(s) and unlabeled data in the target-domain. Specifically, self-training is evaluated for effectiveness in sparse data situations and feasibility for domain adaptation in opinion classification. Three types of Web content are tested: edited news articles, semi-structured movie reviews, and the informal and unstructured content of the blogosphere. Findings of this study suggest that, when there are limited labeled data, self-training is a promising approach for opinion classification, although the contributions vary across data domains. Significant improvement was demonstrated for the most challenging data domain-the blogosphere-when a domain transfer-based self-training strategy was implemented.

Data Security on Cloud by Cryptographic Methods Using Machine Learning Techniques

  • Gadde, Swetha;Amutharaj, J.;Usha, S.
    • International Journal of Computer Science & Network Security
    • /
    • 제22권5호
    • /
    • pp.342-347
    • /
    • 2022
  • On Cloud, the important data of the user that is protected on remote servers can be accessed via internet. Due to rapid shift in technology nowadays, there is a swift increase in the confidential and pivotal data. This comes up with the requirement of data security of the user's data. Data is of different type and each need discrete degree of conservation. The idea of data security data science permits building the computing procedure more applicable and bright as compared to conventional ones in the estate of data security. Our focus with this paper is to enhance the safety of data on the cloud and also to obliterate the problems associated with the data security. In our suggested plan, some basic solutions of security like cryptographic techniques and authentication are allotted in cloud computing world. This paper put your heads together about how machine learning techniques is used in data security in both offensive and defensive ventures, including analysis on cyber-attacks focused at machine learning techniques. The machine learning technique is based on the Supervised, UnSupervised, Semi-Supervised and Reinforcement Learning. Although numerous research has been done on this topic but in reference with the future scope a lot more investigation is required to be carried out in this field to determine how the data can be secured more firmly on cloud in respect with the Machine Learning Techniques and cryptographic methods.

지하구조물 콘크리트 균열 탐지를 위한 semi-supervised 의미론적 분할 기반의 적대적 학습 기법 연구 (Adversarial learning for underground structure concrete crack detection based on semi­supervised semantic segmentation)

  • 심승보;최상일;공석민;이성원
    • 한국터널지하공간학회 논문집
    • /
    • 제22권5호
    • /
    • pp.515-528
    • /
    • 2020
  • 통상적으로 콘크리트 지하 구조물은 수십 년 이상 사용할 수 있도록 설계되지만 최근 들어 구조물 중 상당수가 당초의 기대 수명에 근접하고 있는 실정이다. 그 결과 구조물 고유의 기능이 상실되고 다양한 문제가 야기될 수 있어 신속한점검과 보수가 요구되고 있다. 이를 위해 지금까지는 지하 구조물 유지관리를 위하여 인력 기반의 점검과 보수가 진행되었으나 최근에는 인공지능과 영상 기술의 융합을 통한 객관적인 점검 기술 개발이 활발하게 이루어지고 있다. 특히 딥러닝을 활용한 영상 인식 기술을 적용하여 지도학습 기반의 콘크리트 균열 탐지 알고리즘 개발에 관한 연구가 다양하게 진행되고 있다. 이러한 연구들은 대부분 지도학습 형태 영상 인식 기술로 많은 양의 데이터를 바탕으로 개발이 되는데, 그 중에도 많은 수의 라벨 영상(Label image)이 요구된다. 이를 확보하기 위해서는 현실적으로 많은 시간과 노동력이 필요한 실정이다. 본 논문에서는 이와 같은 문제를 개선하고자 적대적 학습 기법을 적용하여 균열 영역 탐지 정확도를 평균적으로 0.25% 향상시키는 방법을 기술하고자 한다. 이 적대적 학습은 분할(Segmentation) 신경망과 판별자(Discriminator) 신경망으로 구성되어 있고, 가상의 라벨 영상을 경쟁적인 구조로 생성하여 인식 성능을 높이는 알고리즘이다. 본 논문에서는 이 같은 방법을 활용하여 효율적인 심층 신경망 학습 방법을 제시하였고, 향후에 정확한 균열 탐지에 활용될 것으로 기대한다.

원거리 감독과 능동 배깅을 이용한 개체명 인식 (Named Entity Recognition Using Distant Supervision and Active Bagging)

  • 이성희;송영길;김학수
    • 정보과학회 논문지
    • /
    • 제43권2호
    • /
    • pp.269-274
    • /
    • 2016
  • 개체명 인식은 문장에서 개체명을 추출하고 추출된 개체명의 범주를 결정하는 작업이다. 기존의 개체명 인식 연구는 주로 지도 학습 기법이 사용되어 왔다. 지도 학습을 위해서는 개체명 범주가 수동으로 부착된 대용량의 학습 말뭉치가 필요하며, 대용량의 학습 말뭉치를 수동으로 구축하는 것은 시간과 인력이 많이 들어가는 일이다. 본 논문에서는 학습 말뭉치 구축비용을 최소화하면서 개체명 인식 성능을 빠르게 향상시키기 위한 준지도 학습 방법을 제안한다. 제안 방법은 초기 학습 말뭉치를 구축하기 위해 원거리 감독법을 사용한다. 그리고 배깅과 능동 학습을 결합한 앙상블 기법의 하나인 능동 배깅을 사용하여 초기 학습 말뭉치에 포함된 노이즈 문장을 효과적으로 제거한다. 실험 결과, 15회의 능동 배깅을 통해 개체명 인식 F1-점수를 67.36%에서 76.42%로 향상시켰다.

다단계 딥러닝 기반 다이캐스팅 공정 불량 검출 (Fault Detection in Diecasting Process Based on Deep-Learning)

  • 이정수;최영심
    • 한국주조공학회지
    • /
    • 제42권6호
    • /
    • pp.369-376
    • /
    • 2022
  • 다이캐스팅 공정은 다양한 산업군의 인프라 역할을 수행하는 중요한 공정이지만, 높은 불량률로 인하여 관련 기업들의 수익성 및 생산성의 한계가 있는 상황이다. 이를 타개하기 위하여, 본 연구에서는 다이캐스팅 공정의 불량 검출을 위한 산업인공지능 기반 모듈을 구성하였다. 개발된 불량 검출 모듈은 제공되는 데이터의 특징에 따라서 3단계로 동작되는 모델로 구성된다. 1단계 모델은 비지도학습 기반 이상 검출을 진행하며, 레이블이 없는 데이터셋을 대상으로 작동한다. 2단계 모델은 반지도학습 기반으로 이상 검출을 진행하며, 양품 데이터의 레이블만 존재하는 데이터셋을 대상으로 작동하며, 3단계 모델은 소수의 불량 데이터가 제공된 상황의 지도학습 모델을 기반으로 작동한다. 개발된 모델은 실제 다이캐스팅 양품 데이터를 바탕으로 96% 이상의 우수한 양품 검출 성능을 보였다.

시계열 토지피복도 제작을 위한 준감독학습 기반의 훈련자료 자동 추출 (Automatic Extraction of Training Data Based on Semi-supervised Learning for Time-series Land-cover Mapping)

  • 곽근호;박노욱
    • 대한원격탐사학회지
    • /
    • 제38권5_1호
    • /
    • pp.461-469
    • /
    • 2022
  • 이 연구에서는 시계열 토지피복도를 제작하기 위해 분석자 개입 없이 준감독학습 기반 분류를 이용하는 새로운 훈련자료 추출 기법을 제안하였다. 준감독학습 기반 훈련자료 추출 기법은 먼저 분류 대상 영상과 유사한 토지피복 특성을 포함하는 과거 영상으로부터 획득한 초기 훈련자료를 이용하여 초기 분류를 수행한다. 이후, 분류의 불확실성 정보와 인접 화소의 분류 항목을 제약 조건으로 이용하는 준감독학습 기반 반복 분류를 이용하여 초기 분류 결과로부터 신뢰할 수 있는 훈련자료를 추출한다. 준감독학습 기반 훈련자료 추출기법의 적용 가능성은 농경지에서 unmanned aerial vehicle 영상을 이용하는 분류 실험을 통해 평가되었다. 제안한 준감독학습 기반 훈련자료 추출 기법에 의해 자동으로 추출된 새로운 훈련자료를 이용하는 것은 초기 분류 결과에서 나타난 오분류를 두드러지게 완화할 수 있었다. 특히, 인접 화소의 공간 문맥 정보를 고려함으로써 고립된 화소가 크게 감소하였다. 결과적으로, 제안 기법의 분류 정확도는 수동으로 추출한 훈련자료를 이용하는 분류 정확도와 유사하였다. 이러한 결과는 이 연구에서 제시한 준감독학습 기반 반복 분류가 시계열 토지피복도를 제작하기 위해 신뢰할 수 있는 훈련자료를 자동으로 추출하는데 효과적으로 적용될 수 있음을 나타낸다.

복부 CT 영상에서 신장 로컬 가이드 맵을 활용한 평균-교사 모델 기반의 준지도학습을 통한 신장 종양 분할 (Kidney Tumor Segmentation through Semi-supervised Learning Based on Mean Teacher Using Kidney Local Guided Map in Abdominal CT Images)

  • 정희영;김현진;홍헬렌
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제29권5호
    • /
    • pp.21-30
    • /
    • 2023
  • 부분신장절제술 전 수술 계획을 세우기 위해서는 신장 종양의 위치, 형태 및 수술 시 안전 마진 파악이 중요하므로 신장 종양을 정확히 분할하는 것이 필요하다. 그러나 신장 종양은 환자마다 위치 및 크기가 다양하며 소장과 비장 같은 주변 장기와 형태와 밝기값이 유사하여 신장 종양을 분할하는 것에 어려움이 있다. 본 논문에서는 레이블이 있는 데이터와 없는 데이터를 함께 사용하는 준지도학습 방법 중 하나인 평균-교사모델을 활용하여 신장의 여러 위치에서 발생하는 작은 크기의 신장 종양을 분할하기 위해 신장 위치 정보를 가지는 신장 로컬 가이드 맵을 이용해 신장 종양에 집중하는 평균-교사 네트워크를 제안하고, 신장 종양의 크기에 따른 성능을 분석한다. 실험 결과, 제안 방법은 신장 주변에 존재하는 종양의 위치를 찾기 위해 신장 로컬 가이드 맵을 사용하여 신장의 국소 정보를 고려함으로써 75.24%의 F1-score를 보였다. 특히 분할이 어려운 작은 크기의 종양에 대한 과소분할을 개선하였으며 nnU-Net보다 적은 양의 레이블 데이터를 사용하여도 13.9% 높은 F1-score를 보였다.

은행 텔레마케팅 예측을 위한 레이블 전파와 협동 학습의 결합 방법 (A Fusion Method of Co-training and Label Propagation for Prediction of Bank Telemarketing)

  • 김아름;조성배
    • 정보과학회 논문지
    • /
    • 제44권7호
    • /
    • pp.686-691
    • /
    • 2017
  • 텔레마케팅은 지식정보화 사회가 되면서 기업 마케팅 활동의 중심축으로 발전하였다. 최근 금융 데이터에 기계학습을 적용하는 연구가 활발하게 진행되고 있으며 좋은 성과를 내고 있다. 하지만 지도학습법이 대부분이어서 많은 양의 클래스가 있는 데이터가 필요하다. 본 논문에서는 텔레마케팅의 목표 고객을 선정하는데 클래스가 없는 금융 데이터에 자동으로 클래스를 부여하는 방법을 제안한다. 준지도 학습법 중 레이블 전파와 의사결정나무 기반의 협동 학습으로 클래스가 없는 데이터를 레이블링한다. 신뢰도가 낮은 데이터를 제거한 후 두 방법이 같은 클래스로 예측한 데이터만 추출한다. 이를 학습 데이터에 추가한 후 의사결정나무를 학습하여 테스트 데이터로 평가한다. 제안하는 방법의 유용성을 입증하기 위해 실제 포르투갈 은행의 텔레마케팅 데이터를 이용하여 실험을 수행하였다. 비교 실험 결과, 정확도가 83.39%로 1.82% 향상되고, 정밀도가 19.37%로 2.67% 향상되었으며, t-검증을 통해 유의미한 성능 향상이 있음을 입증하였다.