• 제목/요약/키워드: dimensionality reduction

검색결과 210건 처리시간 0.228초

자료별 분류분석(DDA)에 의한 특징추출 (Datawise Discriminant Analysis For Feature Extraction)

  • 박명수;최진영
    • 한국지능시스템학회논문지
    • /
    • 제19권1호
    • /
    • pp.90-95
    • /
    • 2009
  • 본 논문은 선형차원감소(Linear Dimensionality Reduction)을 위해 널리 이용되고 있는 특징추출 알고리듬인 선형판별분석(Linear Discriminant Analysis)의 문제점을 해결할 수 있는 새로운 특징추출 알고리듬을 제안한다. 선형판별분석에 포함되는 평균-자료 간 거리 및 평균-평균 간의 거리에 기반한 분산행렬은 역행렬 연산, 계수의 제한 등으로 인하여 계산상의 문제와 추출되는 특징의 수가 제한되는 한계를 가지고 있다. 또한 자료의 집단이 단일 모드의 정규 분포로부터 얻어진 것으로 가정되며 그렇지 않은 경우에 대해서는 적절한 결과를 얻을 수 없다. 본 논문에서는 자료-자료 간의 거리에 기반하고 적절하게 가중치가 추가된 새로운 행렬을 정의하였으며. 이에 기반하여 특징을 추출하는 방법을 제안하였다. 그럼으로써 앞서 선형판별분석의 여러 문제를 해결하고자 시도하였다. 제안된 방법의 성능을 실험을 통해 확인하였다.

A personalized exercise recommendation system using dimension reduction algorithms

  • Lee, Ha-Young;Jeong, Ok-Ran
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권6호
    • /
    • pp.19-28
    • /
    • 2021
  • 코로나로 인해 건강관리에 대한 관심이 증가하고 있는 요즘, 여러 사람이 함께 이용하는 헬스장이나 공용시설을 이용하는데 어려움이 늘어남에 따라 홈 트레이닝을 하는 이들이 늘어나고 있다. 이에 본 연구에서는 홈 트레이닝 사용자들에게 좀 더 정확하고 의미 있는 운동 추천을 제공하기 위해 개인 성향 정보를 활용한 개인화된 운동 추천 알고리즘을 제안한다. 이를 위해 식습관 정보, 육체적 조건 등 개인을 나타낼 수 있는 개인 성향 정보를 사용해 k-최근접 이웃 알고리즘으로 데이터를 비만의 기준에 따라 분류하였다. 또한, 운동 데이터 셋을 운동의 레벨에 따라 등급을 구별하였으며 각 데이터 셋의 이웃 정보를 바탕으로 모델 기반 협업 필터링 방법 중 차원 축소모델인 특이값 분해 알고리즘(SVD)을 통해 사용자들에게 개인화된 운동 추천을 제공한다. 따라서 메모리 기반 협업 필터링 추천 기법의 데이터 희소성과 확장성의 문제를 해결할 수 있고, 실험을 통해 본 연구에서 제안하는 알고리즘의 정확도와 성능을 검증한다.

IoT botnet attack detection using deep autoencoder and artificial neural networks

  • Deris Stiawan;Susanto ;Abdi Bimantara;Mohd Yazid Idris;Rahmat Budiarto
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제17권5호
    • /
    • pp.1310-1338
    • /
    • 2023
  • As Internet of Things (IoT) applications and devices rapidly grow, cyber-attacks on IoT networks/systems also have an increasing trend, thus increasing the threat to security and privacy. Botnet is one of the threats that dominate the attacks as it can easily compromise devices attached to an IoT networks/systems. The compromised devices will behave like the normal ones, thus it is difficult to recognize them. Several intelligent approaches have been introduced to improve the detection accuracy of this type of cyber-attack, including deep learning and machine learning techniques. Moreover, dimensionality reduction methods are implemented during the preprocessing stage. This research work proposes deep Autoencoder dimensionality reduction method combined with Artificial Neural Network (ANN) classifier as botnet detection system for IoT networks/systems. Experiments were carried out using 3- layer, 4-layer and 5-layer pre-processing data from the MedBIoT dataset. Experimental results show that using a 5-layer Autoencoder has better results, with details of accuracy value of 99.72%, Precision of 99.82%, Sensitivity of 99.82%, Specificity of 99.31%, and F1-score value of 99.82%. On the other hand, the 5-layer Autoencoder model succeeded in reducing the dataset size from 152 MB to 12.6 MB (equivalent to a reduction of 91.2%). Besides that, experiments on the N_BaIoT dataset also have a very high level of accuracy, up to 99.99%.

생존시간과 연관된 유전자 간의 교호작용에 관한 다중차원축소방법의 확장 (An extension of multifactor dimensionality reduction method for detecting gene-gene interactions with the survival time)

  • 오진석;이승연
    • Journal of the Korean Data and Information Science Society
    • /
    • 제25권5호
    • /
    • pp.1057-1067
    • /
    • 2014
  • 인간게놈 프로젝트 이후 질병과 연관된 변이유전자를 탐색하기 위해 유전형질의 차이에 영향을 주는 단일 유전자를 중심으로 전장유전체 연관성 연구가 활발하게 진행되어왔다. 그러나 전장유전체 연관성 연구에서 접근한 단일유전자 분석방법에 한계점이 발견되면서 최근에는 다중유전자 분석방법이나 유전자-유전자간의 상호작용에 대한 연구들이 활발하게 진행 중이다. 이 중 다중차원축소방법은 유전자-유전자간의 상호작용의 연관성을 찾아내기 위하여 고차원을 일차원으로 축소하는 방법으로 이진형 반응변수를 기반으로 크게 활용되고 있다. 본 논문에서는 이 방법을 생존시간으로 확장하여 생존시간과 연관된 유전자-유전자간의 상호작용을 찾아내는 방법을 제안하고자 한다. 구체적으로 가속화 고장시간 회귀모형 하에서 표준화잔차 스코어를 분류기준으로 사용하여 다중차원축소방법을 적용하는 방법으로 AFT-MDR이라고 지칭하였다. 시뮬레이션 연구를 통하여 기존에 제안된 Surv-MDR과 Cox-MDR과의 검정력을 비교하였으며 국내의 백혈병환자 자료분석에 적용하였다. 시뮬레이션 결과로부터 AFT-MDR은 유전율이 높을수록 검정력이 커지며 회귀모형에 기반하여 공변량의 효과를 고려할 수 있다는 장점이 있으나 센서링 비율이 높아지면서 검정력이 매우 떨어진다는 단점이 발견되었다. 따라서 이를 보완하기 위한 추후연구의 필요성이 요구된다.

분류 알고리즘과 NCA를 활용한 기계학습 기반 구조건전성 모니터링 시스템 (Machine Learning Based Structural Health Monitoring System using Classification and NCA)

  • 신창교;권현석;박유림;김천곤
    • 한국항행학회논문지
    • /
    • 제23권1호
    • /
    • pp.84-89
    • /
    • 2019
  • 본 연구는 복합재 항공기의 비행 데이터를 활용한 기계학습 기반 구조건전성 모니터링 시스템 연구의 예비 연구이다. 본 연구에서는 구조건전성 모니터링에 이용되기에 가장 적합한 기계학습 알고리즘을 선별하고, 실 기체 데이터에 대한 적용을 위해 차원 축소를 수행하였다. 이를 위해 외팔보를 통해 모사된 항공기 날개 구조와 부가 질량을 통해 손상 모사 실험을 진행하고, 분류 알고리즘을 통해 데이터를 손상의 위치와 정도에 따라 구분하였다. 이를 위해 FBG (fiber bragg grating) 센서를 부착한 외팔보의 진동 실험을 통해 정상상태와 12개의 손상상태에 대한 데이터를 취득하고, MATLAB 환경에서 tree, discriminant, SVM (support vector machine), kNN, ensemble 알고리즘의 비교와 파라미터 튜닝을 통해 가장 적합한 알고리즘을 도출하였다. 또한 NCA (neighborhood component analysis)를 이용한 특징 선택을 통해, 실 기체에서 나올 수 있는 고차원 데이터의 관리를 위해 필요한 차원 축소를 수행하였다. 그 결과, quadratic SVM이 NCA를 적용하지 않은 모델에서 98.7%, NCA를 적용한 모델에서 95.9%로 가장 높은 정답률을 보였다. 또한 NCA 적용 후 모델의 예측 속도, 학습 시간, 용량이 모두 향상되었다.

Impact of Instance Selection on kNN-Based Text Categorization

  • Barigou, Fatiha
    • Journal of Information Processing Systems
    • /
    • 제14권2호
    • /
    • pp.418-434
    • /
    • 2018
  • With the increasing use of the Internet and electronic documents, automatic text categorization becomes imperative. Several machine learning algorithms have been proposed for text categorization. The k-nearest neighbor algorithm (kNN) is known to be one of the best state of the art classifiers when used for text categorization. However, kNN suffers from limitations such as high computation when classifying new instances. Instance selection techniques have emerged as highly competitive methods to improve kNN through data reduction. However previous works have evaluated those approaches only on structured datasets. In addition, their performance has not been examined over the text categorization domain where the dimensionality and size of the dataset is very high. Motivated by these observations, this paper investigates and analyzes the impact of instance selection on kNN-based text categorization in terms of various aspects such as classification accuracy, classification efficiency, and data reduction.

Action Recognition with deep network features and dimension reduction

  • Li, Lijun;Dai, Shuling
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권2호
    • /
    • pp.832-854
    • /
    • 2019
  • Action recognition has been studied in computer vision field for years. We present an effective approach to recognize actions using a dimension reduction method, which is applied as a crucial step to reduce the dimensionality of feature descriptors after extracting features. We propose to use sparse matrix and randomized kd-tree to modify it and then propose modified Local Fisher Discriminant Analysis (mLFDA) method which greatly reduces the required memory and accelerate the standard Local Fisher Discriminant Analysis. For feature encoding, we propose a useful encoding method called mix encoding which combines Fisher vector encoding and locality-constrained linear coding to get the final video representations. In order to add more meaningful features to the process of action recognition, the convolutional neural network is utilized and combined with mix encoding to produce the deep network feature. Experimental results show that our algorithm is a competitive method on KTH dataset, HMDB51 dataset and UCF101 dataset when combining all these methods.

A selective review of nonlinear sufficient dimension reduction

  • Sehun Jang;Jun Song
    • Communications for Statistical Applications and Methods
    • /
    • 제31권2호
    • /
    • pp.247-262
    • /
    • 2024
  • In this paper, we explore nonlinear sufficient dimension reduction (SDR) methods, with a primary focus on establishing a foundational framework that integrates various nonlinear SDR methods. We illustrate the generalized sliced inverse regression (GSIR) and the generalized sliced average variance estimation (GSAVE) which are fitted by the framework. Further, we delve into nonlinear extensions of inverse moments through the kernel trick, specifically examining the kernel sliced inverse regression (KSIR) and kernel canonical correlation analysis (KCCA), and explore their relationships within the established framework. We also briefly explain the nonlinear SDR for functional data. In addition, we present practical aspects such as algorithmic implementations. This paper concludes with remarks on the dimensionality problem of the target function class.

중성자 방사화분석에 의한 한국자기의 분류

  • 강형태;이철
    • 보존과학연구
    • /
    • 통권6호
    • /
    • pp.111-120
    • /
    • 1985
  • Data on the concentration of Na, K, Sc, Cr, Fe, Co, Cu, Ga, Rb, Cs, Ba, La,Ce, Sm, Eu, Tb, Lu, Hf, Ta and Th obtained by Neutron Activation Analysishave been used to characterise Korean porcelainsherds by multivariate analysis. The mathematical approaches employed is Principal Component Analysis(PCA).PCA was found to be helpful for dimensionality reduction and for obtaining information regarding (a) the number of independent causal variables required to account for the variability in the overall data set, (b) the extent to which agiven variable contributes to a component and(c) the number of causalvariables required to explain the total variability of each measured variable.

  • PDF

빅데이터 분석을 위한 Rank-Sparsity 기반 신호처리기법

  • 이혁;이형일;조재학;김민철;소병현;이정우
    • 정보와 통신
    • /
    • 제31권11호
    • /
    • pp.35-45
    • /
    • 2014
  • 주성분 분석 기법(PCA)는 가장 널리 사용되는 데이터 차원 감소 (dimensionality reduction) 기법으로 알려져 있다. 하지만 데이터에 이상점 (outlier)가 존재하는 환경에서는 성능이 크게 저하된다는 단점을 가지고 있다. Rank-Sparsity(Robust PCA) 기법은 주어진 행렬을 low-rank 행렬과 저밀도(sparse)행렬의 합으로 분해하는 방식으로, 이상점이 많은 환경에서 PCA기법을 효과적으로 대체할 수 있는 알고리즘으로 알려져 있다. 본 고에서는 RPCA 기법을 간략히 소개하고, 그의 적용분야, 및 알고리즘에 관한 연구들을 대해서 알아본다.