• 제목/요약/키워드: Self-supervised Learning

검색결과 96건 처리시간 0.028초

연합 학습 환경에서 통합되고 강인한 다중 작업 학습 기법 (Learning Unified and Robust Representations across Various Tasks within a Federated Learning Environment)

  • 안킷 쿠마 싱;최수빈;최봉준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2024년도 춘계학술발표대회
    • /
    • pp.798-800
    • /
    • 2024
  • 현대의 머신러닝 환경에서는 특히 모바일 컴퓨팅 및 사물 인터넷(IoT)의 애플리케이션 영역에서 개인 정보를 보호하고 효율적이며 확장 가능한 모델에 대한 관심이 높아지고 있다. 본 연구는 연합 학습(FL)과 자기지도 학습(self-supervised learning)을 결합하여 이질적(heterogeneous)인 분산 자원에서 레이블이 없는 데이터를 활용하면서 사용자의 개인 정보를 보호하는 새로운 프레임워크를 소개한다. 이 프레임워크의 핵심은 SimCLR 과 같은 자기지도 학습 기법으로 학습된 공유 인코더로, 입력 데이터에서 고수준 특성을 추출하도록 설계되었다. 또한 이 구조를 통해 주석(annotation)이 없는 방대한 데이터셋을 활용하여 모델 성능을 향상시키고, 여러 개의 격리된 모델이 필요하지 않아 리소스를 크게 최적화할 수 있는 가능성을 확인했다. 본 연구를 통해 생성된 모델은 중앙 집중 방식(CL)이면서 자기지도학습으로 학습되지 않은 기존 모델과 비교하여 전체 평균 정확도가 14.488% 향상됐다.

  • PDF

자기구성 신경회로망을 이용한 면삭밀링에서의 공구파단검출 (Tool Breakage Detection in Face Milling Using a Self Organized Neural Network)

  • 고태조;조동우
    • 대한기계학회논문집
    • /
    • 제18권8호
    • /
    • pp.1939-1951
    • /
    • 1994
  • This study introduces a new tool breakage detecting technology comprised of an unsupervised neural network combined with adaptive time series autoregressive(AR) model where parameters are estimated recursively at each sampling instant using a parameter adaptation algorithm based on an RLS(Recursive Least Square). Experiment indicates that AR parameters are good features for tool breakage, therefore it can be detected by tracking the evolution of the AR parameters during milling process. an ART 2(Adaptive Resonance Theory 2) neural network is used for clustering of tool states using these parameters and the network is capable of self organizing without supervised learning. This system operates successfully under the wide range of cutting conditions without a priori knowledge of the process, with fast monitoring time.

자연스러운 저조도 영상 개선을 위한 비지도 학습 (Unsupervised Learning with Natural Low-light Image Enhancement)

  • 이헌상;손광훈;민동보
    • 한국멀티미디어학회논문지
    • /
    • 제23권2호
    • /
    • pp.135-145
    • /
    • 2020
  • Recently, deep-learning based methods for low-light image enhancement accomplish great success through supervised learning. However, they still suffer from the lack of sufficient training data due to difficulty of obtaining a large amount of low-/normal-light image pairs in real environments. In this paper, we propose an unsupervised learning approach for single low-light image enhancement using the bright channel prior (BCP), which gives the constraint that the brightest pixel in a small patch is likely to be close to 1. With this prior, pseudo ground-truth is first generated to establish an unsupervised loss function. The proposed enhancement network is then trained using the proposed unsupervised loss function. To the best of our knowledge, this is the first attempt that performs a low-light image enhancement through unsupervised learning. In addition, we introduce a self-attention map for preserving image details and naturalness in the enhanced result. We validate the proposed method on various public datasets, demonstrating that our method achieves competitive performance over state-of-the-arts.

Vibration-based structural health monitoring using CAE-aided unsupervised deep learning

  • Minte, Zhang;Tong, Guo;Ruizhao, Zhu;Yueran, Zong;Zhihong, Pan
    • Smart Structures and Systems
    • /
    • 제30권6호
    • /
    • pp.557-569
    • /
    • 2022
  • Vibration-based structural health monitoring (SHM) is crucial for the dynamic maintenance of civil building structures to protect property security and the lives of the public. Analyzing these vibrations with modern artificial intelligence and deep learning (DL) methods is a new trend. This paper proposed an unsupervised deep learning method based on a convolutional autoencoder (CAE), which can overcome the limitations of conventional supervised deep learning. With the convolutional core applied to the DL network, the method can extract features self-adaptively and efficiently. The effectiveness of the method in detecting damage is then tested using a benchmark model. Thereafter, this method is used to detect damage and instant disaster events in a rubber bearing-isolated gymnasium structure. The results indicate that the method enables the CAE network to learn the intact vibrations, so as to distinguish between different damage states of the benchmark model, and the outcome meets the high-dimensional data distribution characteristics visualized by the t-SNE method. Besides, the CAE-based network trained with daily vibrations of the isolating layer in the gymnasium can precisely recover newly collected vibration and detect the occurrence of the ground motion. The proposed method is effective at identifying nonlinear variations in the dynamic responses and has the potential to be used for structural condition assessment and safety warning.

모듈화된 신경망을 이용한 한국어 중의성 해결 시스템 (Word sense disambiguation using modular neural networks)

  • 한태식;송만석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1995년도 제7회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.39-42
    • /
    • 1995
  • 문장 안에서 한 단어가 가지는 올바른 의미를 얻기 위해 모듈화된 신경망을 이용하였다. 앞부분에 놓인 신경망은 코호넨 신경망으로 사용자의 지도가 개입되지 않은 상태로 자율학습(Unsupervised learning)이 이루어지고, 뒤에 놓인 신경망은 앞에서 결과로 얻은 2차원의 자기 조직화 형상지도(Self-organizing feature map)를 바탕으로 역전파 신경망을 이용한 지도학습(Supervised learning)을 하게 하였다. 입력 자료는 구문분석된 문장의 조사 정보를 활용하여 입력 위치를 정해준 명사의 의미표지와 동사의 의미표지를 사용하였다. 중의성이 있는 단어를 가지는 문장은 중의성의 가지수 만큼 테스트 입력 자료가 되어 신경망을 통과하여 의미를 결정하도록 한다.

  • PDF

사전학습 전략과 딥러닝을 활용한 분자의 특성 예측 (Molecular Property Prediction with Deep-learning and Pretraining Strategy)

  • 이승범;김지예;김동우;박재식;안성수
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
    • /
    • pp.63-66
    • /
    • 2022
  • 본 논문에서는 분자의 특성을 정확하게 예측하기 위해 효과적인 사전학습(pretraining) 전략과 트랜스포머(Transformer) 모델을 활용한 방법을 제시한다. 딥러닝을 활용한 분자의 성능을 예측하는 연구는 그동안 레이블이 부족한 분자데이터의 특성에 의해 학습 때 사용된 데이터이외의 분자데이터에 대해 일반화 능력이 떨어지는 어려움을 겪었다. 이 논문에서 제시한 모델은 사전학습(pretraining)을 수행할 때 자기지도학습(self-supervised training)을 사용하여 부족한 레이블에 의한 문제점을 피할 수 있다. 대규모 분자 데이터셋으로부터 학습된 이 모델은 4가지 다운스트림 데이터셋에 대해 모두 우수한 성능을 보여주어 일반화 성능이 뛰어나며 효과적인 분자표현을 얻을 수 있음을 보인다.

  • PDF

The cluster-indexing collaborative filtering recommendation

  • Park, Tae-Hyup;Ingoo Han
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 2003년도 춘계학술대회
    • /
    • pp.400-409
    • /
    • 2003
  • Collaborative filtering (CF) recommendation is a knowledge sharing technology for distribution of opinions and facilitating contacts in network society between people with similar interests. The main concerns of the CF algorithm are about prediction accuracy, speed of response time, problem of data sparsity, and scalability. In general, the efforts of improving prediction algorithms and lessening response time are decoupled. We propose a three-step CF recommendation model which is composed of profiling, inferring, and predicting steps while considering prediction accuracy and computing speed simultaneously. This model combines a CF algorithm with two machine learning processes, SOM (Self-Organizing Map) and CBR (Case Based Reasoning) by changing an unsupervised clustering problem into a supervised user preference reasoning problem, which is a novel approach for the CF recommendation field. This paper demonstrates the utility of the CF recommendation based on SOM cluster-indexing CBR with validation against control algorithms through an open dataset of user preference.

  • PDF

Binary Harmony Search 알고리즘을 이용한 Unsupervised Nonlinear Classifier 구현 (Implementation of Unsupervised Nonlinear Classifier with Binary Harmony Search Algorithm)

  • 이태주;박승민;고광은;성원기;심귀보
    • 한국지능시스템학회논문지
    • /
    • 제23권4호
    • /
    • pp.354-359
    • /
    • 2013
  • 본 논문을 통해서 우리는 최적화 알고리즘인 binary harmony search (BHS) 알고리즘을 이용하여 unsupervised nonlinear classifier를 구현하는 방안을 제시하였다. 패턴인식을 위한 기계학습이나 뇌파 신호의 분석 과정과 같이 벡터로 표현되는 특징들을 분류하는데 있어 다양한 알고리즘들이 제시되었다. 교사 학습기반의 분류 방식으로는 support vector machine과 같은 기법이 사용되어왔고, 비교사 학습 방법을 통한 분류 기법으로는 fuzzy c-mean (FCM)과 같은 알고리즘들이 사용되어 왔다. 그러나 기존에 사용해 왔던 분류 방법들은 비선형 데이터 분류에 적용하기 힘들거나 교사 학습을 적용하기 위해서 사전정보를 필요로 하는 문제점이 있다. 본 논문에서는 경험적 접근을 통해 공간상에 분포된 벡터 사이의 기하학적 거리를 최소로 만드는 벡터 집합을 선택하고 이를 하나의 클래스로 간주하는 방법을 적용한 분류법을 제시하였다. 비교 대상으로 FCM과 artificial neural network (ANN) 기반의 self-organizing map (SOM)을 제시하였다. 시뮬레이션에는 KEEL machine learing dataset을 사용하였고 그 결과, 제안된 방식이 기존 알고리즘에 비해 더 나은 우수성을 지니고 있음을 확인하였다.

자가 계측 유도 초음파의 통계적 패턴인식을 이용하는 배관 구조물의 복합 손상 진단 기법 (Multiple Damage Detection of Pipeline Structures Using Statistical Pattern Recognition of Self-sensed Guided Waves)

  • 박승희;김동진;이창길
    • 한국구조물진단유지관리공학회 논문집
    • /
    • 제15권3호
    • /
    • pp.134-141
    • /
    • 2011
  • 최근 사회 기반 시설물에서 구조물의 안전성 및 적정 성능 수준을 확보하기 위하여 구조물의 결함 빛 노후화에 의한 성능 저하 등을 상시적으로 모니터링하기 위한 관심이 높아지고 있다. 이 중 배관 구조물은 국가 주요 자원의 수송을 책임지는 핵심 사회 기반 시설물임에도 불구하고 지중에 매립된다는 위치적 특성 상 상시적으로 구조물의 상태를 모니터링하기는 매우 어렵다. 또한 배관 구조물에서는 내부 미세 균열에서부터 국부 좌굴, 볼트 풀림, 피로 균열 등과 같이 다양한 형태의 손상이 복합적으로 발생 가능하다. 따라서 본 연구에서는 이러한 복합 손상을 효율적으로 진단하기 위하여 압전센서를 이용한 자가 계측 회로 기반의 유도 초음파 계측 시스템을 복합 손상 진단에 적용하였다. 유도 초음파 자가 계측으로부터 특정 중심 주파수에 해당하는 구조물의 웨이블렛 응답을 계측한다. 복합 손상을 유형별로 분류하기 위하여 유도 초음파 계측으로부터 추출한 특성을 이용하여 손상지수를 계산하고 이를 지도학습 기반 패턴인식 기법에 적용한다. 제안된 기법의 적용성 검토를 위하여 배관 구조물에 인위적으로 다중 손상을 생성시켜 시험을 수행하였다.

소셜미디어 어낼리틱스 기반 서비스품질 평가: 항공산업을 중심으로 (Service Quality Evaluation based on Social Media Analytics: Focused on Airline Industry)

  • 한명기;최병구
    • 경영정보학연구
    • /
    • 제24권1호
    • /
    • pp.157-181
    • /
    • 2022
  • 항공산업의 경쟁이 치열해짐에 따라 효과적인 항공사 서비스 품질 측정은 주요 과제 중 하나가 되었다. 특히 빅데이터 어낼리틱스가 새로운 연구 패러다임으로 각광받게 됨에 따라 소비자가 직접 작성한 온라인 리뷰 분석을 통한 항공사 서비스 품질 측정 연구들이 새롭게 시도되고 있다. 그러나 이러한 연구들은 리뷰 제목을 분석에 활용하지 않았다는 점, 학습 데이터 셋 구축을 위한 레이블링(labeling)에 있어 사람의 개입이 많이 요구되는 지도 학습(supervised learning)에 의존한다는 점, 서비스 품질 차원 분류에 있어 항공사 특성을 고려하지 못한다는 점 등이 문제로 지적되고 있다. 기존 연구의 한계를 극복하기 위해 본 연구에서는 제목과 본문을 포함한 온라인 리뷰 전체를 자가학습(self-training)과 감성 분석을 활용해 AIRQUAL 서비스 품질 차원으로 분류함으로써 객관적이고 정교한 서비스 품질측정을 시도하였으며 이를 기반으로 서비스 품질 차원이 서비스 만족도에 미치는 영향을 파악하였다. 분석 결과 온라인 리뷰로부터 AIRQUAL의 다섯 가지 서비스 품질 차원을 효과적으로 추출할 수 있었으며 각 서비스 품질 차원은 모두 서비스 만족도에 유의한 영향을 미치는 것으로 나타났다. 나아가 리뷰 제목이 서비스 만족도에 미치는 영향 또한 유의한 것으로 파악되었다. 본 연구는 항공산업의 특성을 반영한 서비스 품질 차원 측정 및 이의 효과에 대한 분석이라는 측면에서 학문 및 실무적 의의가 있다.