• 제목/요약/키워드: Dimensionality Curse

검색결과 58건 처리시간 0.029초

Energy-Saving Oriented On/Off Strategies in Heterogeneous Networks : an Asynchronous Approach with Dynamic Traffic Variations

  • Tang, Lun;Wang, Weili;Chen, Qianbin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제12권11호
    • /
    • pp.5449-5464
    • /
    • 2018
  • Recent works have validated the possibility of reducing the energy consumption in wireless heterogeneous networks, achieved by switching on/off some base stations (BSs) dynamically. In this paper, to realize energy conservation, the discrete time Markov Decision Process (DTMDP) is developed to match up the BS switching operations with the traffic load variations. Then, an asynchronous decision-making algorithm, which is based on the Bellman equation and the on/off priorities of the BSs, is firstly put forward and proved to be optimal in this paper. Through reducing the state and action space during one decision, the proposed asynchronous algorithm can avoid the "curse of dimensionality" occurred in DTMDP frequently. Finally, numerical simulations are conducted to validate the effectiveness and advantages of the proposed asynchronous on/off strategies.

Comprehensive review on Clustering Techniques and its application on High Dimensional Data

  • Alam, Afroj;Muqeem, Mohd;Ahmad, Sultan
    • International Journal of Computer Science & Network Security
    • /
    • 제21권6호
    • /
    • pp.237-244
    • /
    • 2021
  • Clustering is a most powerful un-supervised machine learning techniques for division of instances into homogenous group, which is called cluster. This Clustering is mainly used for generating a good quality of cluster through which we can discover hidden patterns and knowledge from the large datasets. It has huge application in different field like in medicine field, healthcare, gene-expression, image processing, agriculture, fraud detection, profitability analysis etc. The goal of this paper is to explore both hierarchical as well as partitioning clustering and understanding their problem with various approaches for their solution. Among different clustering K-means is better than other clustering due to its linear time complexity. Further this paper also focused on data mining that dealing with high-dimensional datasets with their problems and their existing approaches for their relevancy

Control of pH Neutralization Process using Simulation Based Dynamic Programming in Simulation and Experiment (ICCAS 2004)

  • Kim, Dong-Kyu;Lee, Kwang-Soon;Yang, Dae-Ryook
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2004년도 ICCAS
    • /
    • pp.620-626
    • /
    • 2004
  • For general nonlinear processes, it is difficult to control with a linear model-based control method and nonlinear controls are considered. Among the numerous approaches suggested, the most rigorous approach is to use dynamic optimization. Many general engineering problems like control, scheduling, planning etc. are expressed by functional optimization problem and most of them can be changed into dynamic programming (DP) problems. However the DP problems are used in just few cases because as the size of the problem grows, the dynamic programming approach is suffered from the burden of calculation which is called as 'curse of dimensionality'. In order to avoid this problem, the Neuro-Dynamic Programming (NDP) approach is proposed by Bertsekas and Tsitsiklis (1996). To get the solution of seriously nonlinear process control, the interest in NDP approach is enlarged and NDP algorithm is applied to diverse areas such as retailing, finance, inventory management, communication networks, etc. and it has been extended to chemical engineering parts. In the NDP approach, we select the optimal control input policy to minimize the value of cost which is calculated by the sum of current stage cost and future stages cost starting from the next state. The cost value is related with a weight square sum of error and input movement. During the calculation of optimal input policy, if the approximate cost function by using simulation data is utilized with Bellman iteration, the burden of calculation can be relieved and the curse of dimensionality problem of DP can be overcome. It is very important issue how to construct the cost-to-go function which has a good approximate performance. The neural network is one of the eager learning methods and it works as a global approximator to cost-to-go function. In this algorithm, the training of neural network is important and difficult part, and it gives significant effect on the performance of control. To avoid the difficulty in neural network training, the lazy learning method like k-nearest neighbor method can be exploited. The training is unnecessary for this method but requires more computation time and greater data storage. The pH neutralization process has long been taken as a representative benchmark problem of nonlin ar chemical process control due to its nonlinearity and time-varying nature. In this study, the NDP algorithm was applied to pH neutralization process. At first, the pH neutralization process control to use NDP algorithm was performed through simulations with various approximators. The global and local approximators are used for NDP calculation. After that, the verification of NDP in real system was made by pH neutralization experiment. The control results by NDP algorithm was compared with those by the PI controller which is traditionally used, in both simulations and experiments. From the comparison of results, the control by NDP algorithm showed faster and better control performance than PI controller. In addition to that, the control by NDP algorithm showed the good results when it applied to the cases with disturbances and multiple set point changes.

  • PDF

수평 분할 방식을 이용한 병렬 셀-기반 필터링 기법의 설계 및 성능 평가 (Design and Performance Analysis of a Parallel Cell-Based Filtering Scheme using Horizontally-Partitioned Technique)

  • 장재우;김영창
    • 정보처리학회논문지D
    • /
    • 제10D권3호
    • /
    • pp.459-470
    • /
    • 2003
  • 데이터웨어하우징의 애트리뷰트 벡터나 멀티미디어 데이터베이스의 특징 벡터는 모두 고차원 데이터를 이루고 있기 때문에, 이러한 고차원 데이터를 효율적으로 검색하기 위해서는 고차원 색인 기법이 요구된다. 이를 위하여 다수의 고차원 색인 기법들이 제안되었는데, 제안된 대부분의 색인 기법들이 차원의 수가 증가할수록 검색 성능이 급격히 저하되는 ‘차원 저주(dimensional curse)’ 문제를 지니고 있다. 셀-기반 필터링(Cell-Based Filtering : CBF) 기법은 이러한 차원 저주 문제를 해결하기 위해 제안되었다. 그러나 CBF 기법은 데이터의 양이 증가할수록 선형적으로 검색 성능이 감소하며, 이를 극복하기 위해 병렬 처리 기법을 사용하는 것이 필요하다. 본 논문에서는 데이터 디클러스터링(declustering) 방법으로 수평 분할 방식을 사용한 병렬 CBF 기법을 제안한다. 아울러 제안한 병렬 CBF 기법의 성능을 최대화하기 위하여, 병렬 CBF 기법을 다수의 서버로 구성된 Shared Nothing(SN) 구조의 클러스터 아키텍쳐 하에서 구축한다. 또한 SN 구조의 클러스터 아키텍쳐에 적합한 데이타 삽입 알고리즘, 범위질의 처리 알고리즘, k-최근접 질의 처리 알고리즘을 제시한다. 마지막으로 제안하는 병렬 CBF 기법이 기존 CBF 기법과 비교하여 서버 개수에 비례하여 우수한 검색 성능을 달성함을 보인다.

선형회귀모델의 변수선택을 위한 다중목적 유전 알고리즘과 응용 (Multi-objective Genetic Algorithm for Variable Selection in Linear Regression Model and Application)

  • 김동일;박정술;백준걸;김성식
    • 한국시뮬레이션학회논문지
    • /
    • 제18권4호
    • /
    • pp.137-148
    • /
    • 2009
  • 본 논문의 목적은 신뢰성 있는 선형회귀모델을 구축하기 위하여 후보독립변수 중 유효변수를 선택하는 알고리즘을 구현하는 것이다. 선형회귀모델을 구축하는데 있어서 데이터 상의 모든 후보독립변수를 포함하는 것은 모델의 통계적 유의성을 감소시킬 수 있으며, 차원의 저주(Curse of dimensionality)를 유발할 수 있고, 데이터의 개수보다 변수의 개수가 많을 경우 모델의 구축이 불가능한 문제점 등이 있다. 이와 같은 문제점을 해결하기 위하여 변수선택의 문제를 조합최적화의 문제로 보고 유전 알고리즘(Genetic Algorithm)을 활용하였다. 일반적으로 선형회귀모델의 통계적 유의성을 평가하는 대표적인 통계량으로는 종속변수에 대한 독립변수의 설명력을 나타내는 결정계수($R^2$), 회귀식의 통계적 유의성을 검정하는 F통계량, 회귀계수의 통계적 유의성을 검정하는 t통계량, 잔차의 표준오차 등이 있다. 모델의 통계적 유의성은 하나의 통계량으로 표현될 수 없으므로 다양한 기준을 고려한 다중목적식(Multi-objective function)을 가지는 유전 알고리즘을 설계하였다. 설계한 알고리즘의 성능평가를 위하여 다양한 조건을 가정한 시뮬레이션 데이터에 적용하였다. 그 결과 구축한 알고리즘이 유효변수를 판단함에 있어 기존의 대표적인 변수선택 알고리즘인 LARS(Least Angle Regression)에 비해 우수한 성능을 보임을 확인할 수 있었다. 또한, 주가 데이터를 이용한 포트폴리오 선택에 적용해 본 결과 우수한 응용문제 해결 능력이 있음을 확인할 수 있었다.

Adverse Effects on EEGs and Bio-Signals Coupling on Improving Machine Learning-Based Classification Performances

  • SuJin Bak
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권10호
    • /
    • pp.133-153
    • /
    • 2023
  • 본 논문에서 우리는 뇌 신호 측정 기술 중 하나인 뇌전도를 활용한 새로운 접근방식을 제안한다. 전통적으로 연구자들은 감정 상태의 분류성능을 향상시키기 위해 뇌전도 신호와 생체신호를 결합해왔다. 우리의 목표는 뇌전도와 결합된 생체신호의 상호작용 효과를 탐구하고, 뇌전도+생체신호의 조합이 뇌전도 단독사용 또는 임의로 생성된 의사 무작위 신호와 결합한 경우에 비해 감정 상태의 분류 정확도를 향상시킬 수 있는지를 확인한다. 네 가지 특징추출 방법을 사용하여 두 개의 공개 데이터셋에서 얻은 데이터 기반의 뇌전도, 뇌전도+생체신호, 뇌전도+생체신호+무작위신호, 및 뇌전도+무작위신호의 네 가지 조합을 조사했다. 감정 상태 (작업 대 휴식 상태)는 서포트 벡터 머신과 장단기 기억망 분류기를 사용하여 분류했다. 우리의 결과는 가장 높은 정확도를 가진 서포트 벡터 머신과 고속 퓨리에 변환을 사용할 때 뇌전도+생체신호의 평균 오류율이 뇌전도+무작위신호와 뇌전도 단독 신호만을 사용한 경우에 비해 각각 4.7% 및 6.5% 높았음을 보여주었다. 우리는 또한 다양한 무작위 신호를 결합하여 뇌전도+생체신호의 오류율을 철저하게 분석했다. 뇌전도+생체신호+무작위신호의 오류율 패턴은 초기에는 깊은 이중 감소 현상으로 인해 감소하다가 차원의 저주로 인해 증가하는 V자 모양을 나타냈다. 결과적으로, 우리의 연구 결과는 뇌파와 생체신호의 결합이 항상 유망한 분류성능을 보장할 수 없음을 시사한다.

GC-트리 : 이미지 데이타베이스를 위한 계층 색인 구조 (GC-Tree: A Hierarchical Index Structure for Image Databases)

  • 차광호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제31권1호
    • /
    • pp.13-22
    • /
    • 2004
  • 멀티미디어 데이타의 사용이 증가함에 따라 고차원 이미지 데이타에 대한 효율적인 색인과 검색 기법이 크게 요구되고 있다. 그러나 많은 노력에도 불구하고 현재의 다차원 색인 기법들은 고차원 데이타 공간에서 만족할 만한 성능을 보여주지 못하고 있다. 이러한 소위 차원의 저주를 해결하기 위해 최근에 차원을 줄이거나 근사 해를 구하는 둥의 접근법이 시도되고 있지만 이러한 방법들은 근본적으로 정확도의 상실이라는 문제를 갖고 있다. 정확도의 보존을 위해 VA-file, LPC-file둥과 같이 벡터 근사에 기반 한 기법들이 최근에 개발되었다. 그러나 이 기법은 검색 성능이 색인 파일의 크기에 큰 영향을 받으며, 한번에 큰 검색 공간을 줄이는 계층 색인 구조의 장점을 상실한다. 본 논문에서는 이미지 데이터베이스에서 유사성 질의를 위한 새로운 계층 색인 구조인 GC-트리를 제안한다. GC-트리는 밀도 함수에 기초하여 데이타 공간을 적응적으로 분할하고, 색인 구조를 동적으로 생성한다. 이러한 특성을 갖는 GC-트리는 군집화 된 고차원 이미지 데이타 검색에 훌륭한 성능을 나타낸다.

데이터 마이닝에서의 폴리클라스 (Polyclass in Data Mining)

  • 구자용;박헌진;최대우
    • 응용통계연구
    • /
    • 제13권2호
    • /
    • pp.489-503
    • /
    • 2000
  • 다양한 형태의 데이터로부터 의사 결정에 유용한 정보 및 지식을 발견하려는 일련의 데이터분석 및 모형 선정과정을 데이터 마이닝(Data Mining)이라고 할 수 있다. 데이터 마이닝의 적용 예로는 신규고객에 대한 신용평가, 고객이탈방지 등과 같은 분야에서 발생하는 스코링 문제를 들 수 있는데 신용평가에서는 신용이 나쁠 가능성을 스코어로 나타내고 스코어가 높은 고객을 대상으로 특별관리를 할 수 있을 것이며 고객이탈방지에서는 이탈가능성을 스코어로 나타내고 스코어가 높은 고객을 대상으로 이탈 방지 캠페인을 벌일 수 있을 것이다. 본 논문에서는 스코링 문제를 사후확률에 대한 모형화 문제로 파악하였다. 폴리클라스를 스코링 문제에 적용하는 방법을 소개한 후 이를 독일 신용 데이터, 국내 모 PC통신회사 데이터 및 국내 모 이동통신 데이터에 적용하였다. 스코링의 성능은 이득률을 이용하여 평가하고자 하는데 나무 모형에 비하여 폴리클라스 방법이 우수함을 확인하였다.

  • PDF

가스 식별 시스템 설계를 위한 유전알고리즘과 퍼지시스템 적용에 관한 연구 (A Study on the Application of Genetic Algorithms and Fuzzy System to GAS Identification System)

  • 방영근;조해파;이철희
    • 산업기술연구
    • /
    • 제31권B호
    • /
    • pp.45-50
    • /
    • 2011
  • Recently, machine olfactory systems that have been proposed as an artificial substitute of the human olfactory system are being studied by many researchers because they can scent dangerous gases and identify the type of gases in contamination areas instead of the human. In this paper, we present an effective design method for the gas identification system. The design method adopted the sequential combination between genetic algorithms and TSK fuzzy logic system. First, the proposed method allowed the designed gas identification system effectively performing the pattern analysis because it was able to avoid the curse of dimensionality caused by use of a large number of sensors. Secondly, the method led the gas identification system to good performance because it was able to deal with drift characteristics of the sensor data by using description ability of the fuzzy system for nonlinear data. In simulation, we demonstrated the effectiveness of the designed gas identification system by using the simulation results of five types of gases.

  • PDF

효과적인 이미지 검색을 위한 연장 해쉬(Extendible hash) 기반 인덱싱 및 검색 기법 (Indexing and Matching Scheme for Content-based Image Retrieval based on Extendible Hash)

  • 탁윤식;황인준
    • 전기전자학회논문지
    • /
    • 제14권4호
    • /
    • pp.339-345
    • /
    • 2010
  • 보다 빠른 내용 기반 이미지 검색을 위해, 다차원 특징 정보의 효과적인 인덱싱에 대한 다양한 연구들이 수행되고 있다. 하지만, 대부분의 인덱싱 기법들은 특징 정보의 차원이 커질수록 성능이 저하되는 문제를 가지고 있으며, 이를 대체하기 위해서 '높은 확률'로써 사용자가 원하는 결과를 제공해 주기 위한 휴리스틱 (heuristic) 알고리즘을 사용한 기법들이 제안되었다. 본 논문에서는 이러한 다차원 특징 정보를 효과적으로 인덱싱 하기 위해, 연장 해쉬 기반의 새로운 인덱싱 기법을 제안한다. 제안된 인덱싱 기법은 기존의 기법들이 가졌던 문제들을 해결하기 위해, 검색의 정확도에 영향을 주지 않으면서 빠른 검색이 가능하도록 설계되었다. 다양한 실험을 통해, 제안된 기법이 월등한 성능을 가질 수 있음을 보였다.