• Title/Summary/Keyword: 계층적 기계학습

Search Result 50, Processing Time 0.027 seconds

Hierarchical Mixture-of-Experts for Edge Device in Federated Learning (연합 학습에서 엣지 디바이스를 위한 계층적 전문가 혼합)

  • Jae-Heon Kim;Bong-Jun Choi
    • Annual Conference of KIPS
    • /
    • 2024.10a
    • /
    • pp.784-787
    • /
    • 2024
  • 연합 학습은 최근 기계 학습 분야에서 발생할 수 있는 다양한 문제들을 해결했지만, 학습의 주체가 서버에서 클라이언트로 이동함에 따라 클라이언트 장치의 컴퓨팅 자원의 한계가 새로운 문제로 부각되었다. 클라이언트의 장치는 중앙 집중적 서버와 비교하여 상대적으로 적은 컴퓨팅 자원을 보유하고 있으며, 특히 엣지 디바이스와 같은 클라이언트의 장치는 현저히 적은 컴퓨팅 자원으로 인해 일반적인 연합 학습 절차에 효과적으로 참여하기 어렵다. 본 연구는 클래스 계층 구조와 계층적 전문가 혼합을 통해 엣지 디바이스가 연합학습에 효과적으로 참여할 수 있도록 하였다. 이 기법은 CIFAR-100 과 Tiny ImageNet 데이터셋을 통해 효용성을 입증하였으며, 기존 기법과 비교해 라운드당 학습 시간과 메모리 사용량이 낮음을 보인다.

Hierarchical multi-task learning with self-supervised auxiliary task (HiSS: 자기 지도 보조 작업을 결합한 계층적 다중 작업 학습)

  • Seunghan Lee;Taeyoung Park
    • The Korean Journal of Applied Statistics
    • /
    • v.37 no.5
    • /
    • pp.631-641
    • /
    • 2024
  • Multi-task learning is a popular approach in machine learning that aims to learn multiple related tasks simultaneously by sharing information across them. In this paper, we consider a hierarchical structure across multiple related tasks with a hierarchy of sub-tasks under the same main task, where representations used to solve the sub-tasks share more information through task-specific layers, globally shared layers, and locally shared layers. We thus propose the hierarchical multi-task learning with self-supervised auxiliary task (HiSS), which is a novel approach for hierarchical multi-task learning that incorporates self-supervised learning as an auxiliary task. The goal of the auxiliary task is to further extract latent information from the unlabeled data by predicting a cluster label directly derived from the data. The proposed approach is tested on the Hyodoll dataset, which consists of user information and activity logs of elderly individuals collected by AI companion robots, for predicting emergency calls based on the time of day and month. Our proposed algorithm is more efficient than other well-known machine learning algorithms as it requires only a single model regardless of the number of tasks, and demonstrates superior performance in classification tasks using various metrics. The source codes are available at: https://github.com/seunghan96/HiSS.

Intrusion Detection Approach using Feature Learning and Hierarchical Classification (특징학습과 계층분류를 이용한 침입탐지 방법 연구)

  • Han-Sung Lee;Yun-Hee Jeong;Se-Hoon Jung
    • The Journal of the Korea institute of electronic communication sciences
    • /
    • v.19 no.1
    • /
    • pp.249-256
    • /
    • 2024
  • Machine learning-based intrusion detection methodologies require a large amount of uniform learning data for each class to be classified, and have the problem of having to retrain the entire system when adding an attack type to be detected or classified. In this paper, we use feature learning and hierarchical classification methods to solve classification problems and data imbalance problems using relatively little training data, and propose an intrusion detection methodology that makes it easy to add new attack types. The feasibility of the proposed system was verified through experiments using KDD IDS data..

An Experimental Study on Text Categorization for Hierarchical Classification (계층적 분류체계를 위한 자동분류 기법에 관한 연구)

  • 이영숙;정영미
    • Proceedings of the Korean Society for Information Management Conference
    • /
    • 2001.08a
    • /
    • pp.173-176
    • /
    • 2001
  • 이 연구는 계층적 분류체계를 기반으로 자동분류를 수행할 HiCat 알고리즘을 제안한다. HiCat 알고리즘은 DDC 지식베이스의 주제어와 기계학습을 거친 정보를 동시에 이용하고, 각 계층별로 주제적합성가중치를 구해 최종 주제범주를 결정한다. 이 알고리즘이 최적의 성능을 보이는 조건을 알아보고, 일반 분류기와의 성능 비교를 통해 HiCat 알고리즘을 평가해 보았다.

  • PDF

Deep Learning: 기계학습의 새로운 트랜드

  • Kim, In-Jung
    • Information and Communications Magazine
    • /
    • v.31 no.11
    • /
    • pp.52-57
    • /
    • 2014
  • Deep learning은 많은 수의 계층으로 이루어진 깊은 신경망을 학습하기 위한 연구 분야이다. 지난 수 년 동안 deep learning은 다양한 분야에 적용되어 기존 방법들을 능가하는 높은 성능을 보였으며, 그 결과 기계학습 및 패턴인식 분야에서 가장 중요한 기술적 트랜드가 되어가고 있다. 깊은 신경망의 장점과 그 동안 깊은 신경망의 학습이 어려웠던 이유를 설명하고 이러한 어려움을 극복한 새로운 알고리즘들을 소개한다. 마지막으로 deep learning의 성공적 응용 사례에 대해 소개한다.

Classification Performance Comparison of Inductive Learning Methods : The Case of Corporate Credit Rating (귀납적 학습방법들의 분류성능 비교 : 기업신용평가의 경우)

  • 이상호;지원철
    • Journal of Intelligence and Information Systems
    • /
    • v.4 no.2
    • /
    • pp.1-21
    • /
    • 1998
  • 귀납적 학습방법들의 분류성능을 비교 평가하기 위하여 대표적 분류문제의 하나인 신용평가 문제를 사용하였다. 분류기로서 사용된 귀납적 학습방법론들은 통계학의 다변량 판별분석(MDA), 기계학습 분야의 C4.5, 신경망의 다계층 퍼셉트론(MLP) 및 Cascade Correlation Network(CCN)의 4 가지이며, 학습자료로는 국내 3개 신용평가기관이 발표한 신용등급 및 공포된 재무제표를 사용하였다. 신용등급 예측의 정확도에 의한 분류성능을 평가하였는데 연도별 평가와 시계열 평가의 두 가지를 실시하였다. Cascade Correlation Network이 가장 좋은 분류성능을 보였지만 4가지 분류기들 사이에 통계적으로 유의한 차이는 발견되지 않았다. 이는 사용된 학습자료가 갖는 한계로 인한 것으로 추정되지만, 성능평가 과정에 있어 학습자료의 전처리 과정이 분류성과의 제고에 매우 유효함이 입증되었다.

  • PDF

Machine Tool State Monitoring Using Hierarchical Convolution Neural Network (계층적 컨볼루션 신경망을 이용한 공작기계의 공구 상태 진단)

  • Kyeong-Min Lee
    • Journal of the Institute of Convergence Signal Processing
    • /
    • v.23 no.2
    • /
    • pp.84-90
    • /
    • 2022
  • Machine tool state monitoring is a process that automatically detects the states of machine. In the manufacturing process, the efficiency of machining and the quality of the product are affected by the condition of the tool. Wear and broken tools can cause more serious problems in process performance and lower product quality. Therefore, it is necessary to develop a system to prevent tool wear and damage during the process so that the tool can be replaced in a timely manner. This paper proposes a method for diagnosing five tool states using a deep learning-based hierarchical convolutional neural network to change tools at the right time. The one-dimensional acoustic signal generated when the machine cuts the workpiece is converted into a frequency-based power spectral density two-dimensional image and use as an input for a convolutional neural network. The learning model diagnoses five tool states through three hierarchical steps. The proposed method showed high accuracy compared to the conventional method. In addition, it will be able to be utilized in a smart factory fault diagnosis system that can monitor various machine tools through real-time connecting.

Development of Smart Senior Classification Model based on Activity Profile Using Machine Learning Method (기계 학습 방법을 이용한 활동 프로파일 기반의 스마트 시니어 분류 모델 개발)

  • Yun, You-Dong;Yang, Yeong-Wook;Ji, Hye-Sung;Lim, Heui-Seok
    • Journal of the Korea Convergence Society
    • /
    • v.8 no.1
    • /
    • pp.25-34
    • /
    • 2017
  • With the recent spread of smartphones and the introduction of web services, online users can access large-scale content regardless of time or place. However, users have had trouble finding the content they wanted among large-scale content. To solve this problem, user modeling and content recommendation system have been actively studied in various fields. However, in spite of active changes in senior groups according to the changes in information environment, research on user modeling and content recommendation system focused on senior groups are insufficient. In this paper, we propose a method of modeling smart senior based on their preference, and further develop a smart senior classification model using machine learning methods. As a result, we can not only grasp the preferences of smart seniors, but also develop a smart senior classification model, which is the foundation for the research of a recommendation system which will provide the activities and contents most suitable for senior groups.

Service Selection Engine for Human-care Service Robot Based on a Hierarchical Multimodal Knowledge (휴먼케어 서비스 로봇을 위한 계층적 복합 지식 기반 서비스 선택 엔진)

  • Jang, Choulsoo;Jang, Minsu;Lee, Jaeyeon
    • Annual Conference of KIPS
    • /
    • 2018.10a
    • /
    • pp.896-899
    • /
    • 2018
  • 고령사회에 대응하기 위한 휴먼케어 서비스 로봇은 다양한 동적 환경에서 사용자에게 최적의 서비스를 제공하기 위해 서비스 선택 엔진을 요구한다. 서비스 선택 엔진은 로봇이 수집한 각종 원시 데이터를 활용하여 계층적으로 상위 수준의 정보로 가공하고 최종 단계에서는 휴먼케어 전문가가 설계한 규칙에 의해 사용자에게 제공할 서비스를 선택한다. 본 논문에서는 휴먼케어 서비스 로봇을 위해 기계학습 기반의 지식 생성과 규칙 기반의 지식 생성을 함께 활용하여 하이브리드 형태로 계층적 지식을 생성하고, 생성된 지식을 바탕으로 서비스를 선택하는 메커니즘을 제공할 수 있는 서비스를 선택 엔진 내용을 설명한다.

Deep Learning-Based Brain Tumor Classification in MRI images using Ensemble of Deep Features

  • Kang, Jaeyong;Gwak, Jeonghwan
    • Journal of the Korea Society of Computer and Information
    • /
    • v.26 no.7
    • /
    • pp.37-44
    • /
    • 2021
  • Automatic classification of brain MRI images play an important role in early diagnosis of brain tumors. In this work, we present a deep learning-based brain tumor classification model in MRI images using ensemble of deep features. In our proposed framework, three different deep features from brain MR image are extracted using three different pre-trained models. After that, the extracted deep features are fed to the classification module. In the classification module, the three different deep features are first fed into the fully-connected layers individually to reduce the dimension of the features. After that, the output features from the fully-connected layers are concatenated and fed into the fully-connected layer to predict the final output. To evaluate our proposed model, we use openly accessible brain MRI dataset from web. Experimental results show that our proposed model outperforms other machine learning-based models.