• 제목/요약/키워드: input dimension reduction

검색결과 39건 처리시간 0.03초

Deep Neural Network 언어모델을 위한 Continuous Word Vector 기반의 입력 차원 감소 (Input Dimension Reduction based on Continuous Word Vector for Deep Neural Network Language Model)

  • 김광호;이동현;임민규;김지환
    • 말소리와 음성과학
    • /
    • 제7권4호
    • /
    • pp.3-8
    • /
    • 2015
  • In this paper, we investigate an input dimension reduction method using continuous word vector in deep neural network language model. In the proposed method, continuous word vectors were generated by using Google's Word2Vec from a large training corpus to satisfy distributional hypothesis. 1-of-${\left|V\right|}$ coding discrete word vectors were replaced with their corresponding continuous word vectors. In our implementation, the input dimension was successfully reduced from 20,000 to 600 when a tri-gram language model is used with a vocabulary of 20,000 words. The total amount of time in training was reduced from 30 days to 14 days for Wall Street Journal training corpus (corpus length: 37M words).

주성분 분석법을 이용한 회귀다항식 기반 모델 및 패턴 분류기 설계 (Design of Regression Model and Pattern Classifier by Using Principal Component Analysis)

  • 노석범;이동윤
    • 한국정보전자통신기술학회논문지
    • /
    • 제10권6호
    • /
    • pp.594-600
    • /
    • 2017
  • 본 논문에서는 매우 높은 차원을 가진 데이터에서 의미 있는 특징 벡터 추출하여 입력 공간의 차원을 줄이기 위하여 주성분 분석법을 사용하였다. 주성분 분석법을 이용하여 축소된 차원을 가진 입력 데이터를 이용하여 회귀 다항식의 입력벡터로 사용하는 모델과 패턴 분류기의 설계 방법을 제안하였다. 제안된 모델 및 패턴 분류기는 매우 단순한 구조를 가진 회귀다항식을 기반으로 설계하여 모델 및 패턴 분류기의 과적합 문제를 해결 하고자 하였다. 제안된 설계방법을 적용하여 설계된 모델과 패턴 분류기의 성능을 비교 및 평가하기 위하여, 다양한 기계 학습 데이터 집합을 사용하였다.

독립변수의 차원감소에 의한 Polynomial Adaline의 성능개선 (Performance Improvement of Polynomial Adaline by Using Dimension Reduction of Independent Variables)

  • 조용현
    • 한국산업융합학회 논문집
    • /
    • 제5권1호
    • /
    • pp.33-38
    • /
    • 2002
  • This paper proposes an efficient method for improving the performance of polynomial adaline using the dimension reduction of independent variables. The adaptive principal component analysis is applied for reducing the dimension by extracting efficiently the features of the given independent variables. It can be solved the problems due to high dimensional input data in the polynomial adaline that the principal component analysis converts input data into set of statistically independent features. The proposed polynomial adaline has been applied to classify the patterns. The simulation results shows that the proposed polynomial adaline has better performances of the classification for test patterns, in comparison with those using the conventional polynomial adaline. Also, it is affected less by the scope of the smoothing factor.

  • PDF

DECOUPLING OF MULTI-INPUT MULTI-OUTPYT TWO DIMENSIONAL SYSTEMS

  • Kawakami, Atsushi
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 1990년도 한국자동제어학술회의논문집(국제학술편); KOEX, Seoul; 26-27 Oct. 1990
    • /
    • pp.1130-1134
    • /
    • 1990
  • In this paper, we propose a mthod to decouple the multi-input multi-output two-dimensional system. Then, we analyze the realization dimension of the feedback, feedforward given to decouple. Moreover, we consider the possibility of the reduction of the dynamical dimension needed to decouple. Besides, in order to stabilize the decoupled two-dimensional system, we suggest a method to assign the poles of each entry of the transfer function matrix to the desired positions.

  • PDF

스프링 설계문제의 신뢰도 해석을 위한 크리깅 기반 차원감소법의 활용 (Kriging Dimension Reduction Method for Reliability Analysis in Spring Design)

  • 강진혁;안다운;원준호;최주호
    • 한국전산구조공학회:학술대회논문집
    • /
    • 한국전산구조공학회 2008년도 정기 학술대회
    • /
    • pp.422-427
    • /
    • 2008
  • This study is to illustrate the usefulness of Kriging Dimension Reduction Method(KDRM), which is to construct probability distribution of response function in the presence of the physical uncertainty of input variables. DRM has recently received increased attention due to its sensitivity-free nature and efficiency that considerable accuracy is obtained with only a few number of analyses. However, the DRM has a number of drawbacks such as instability and inaccuracy for functions with increased nonlinearity. As a remedy, Kriging interpolation technique is incorporated which is known as more accurate for nonlinear functions. The KDRM is applied and compared with MCS methods in a compression coil spring design problem. The effectiveness and accuracy of this method is verified.

  • PDF

저연산 연판정 기반의 다중 안테나 반복검출 기법 (Iterative MIMO Reception Based on Low Complexity Soft Detection)

  • 신상식;최지웅
    • 전자공학회논문지
    • /
    • 제50권8호
    • /
    • pp.61-66
    • /
    • 2013
  • 본 논문에서는 채널부호화 다중 안테나 시스템에서 공간다중화 전송된 신호들을 효과적으로 복조하기 위한 저연산 연판정 복조 다중 안테나 반복검출 기법을 제시한다. 반복 검출기법의 경우 우수한 성능에도 불구하고 연산량의 복잡성으로 수신단에 높은 복잡도를 요청하게 된다. 이러한 복잡도 감소를 위해 차원감소 소프트 검출 기법 (DRSD)과 모든 순서 순차적 간섭 제거(AOSIC) 기법을 사용한다. 이 기법의 경우 기존 기법들에 비해 반복검출 기법의 연산량의 복잡성을 줄일 수 있으며 향상된 성능을 얻을 수 있다.

Resistant Singular Value Decomposition and Its Statistical Applications

  • Park, Yong-Seok;Huh, Myung-Hoe
    • Journal of the Korean Statistical Society
    • /
    • 제25권1호
    • /
    • pp.49-66
    • /
    • 1996
  • The singular value decomposition is one of the most useful methods in the area of matrix computation. It gives dimension reduction which is the centeral idea in many multivariate analyses. But this method is not resistant, i.e., it is very sensitive to small changes in the input data. In this article, we derive the resistant version of singular value decomposition for principal component analysis. And we give its statistical applications to biplot which is similar to principal component analysis in aspects of the dimension reduction of an n x p data matrix. Therefore, we derive the resistant principal component analysis and biplot based on the resistant singular value decomposition. They provide graphical multivariate data analyses relatively little influenced by outlying observations.

  • PDF

Effect of Dimension Reduction on Prediction Performance of Multivariate Nonlinear Time Series

  • Jeong, Jun-Yong;Kim, Jun-Seong;Jun, Chi-Hyuck
    • Industrial Engineering and Management Systems
    • /
    • 제14권3호
    • /
    • pp.312-317
    • /
    • 2015
  • The dynamic system approach in time series has been used in many real problems. Based on Taken's embedding theorem, we can build the predictive function where input is the time delay coordinates vector which consists of the lagged values of the observed series and output is the future values of the observed series. Although the time delay coordinates vector from multivariate time series brings more information than the one from univariate time series, it can exhibit statistical redundancy which disturbs the performance of the prediction function. We apply dimension reduction techniques to solve this problem and analyze the effect of this approach for prediction. Our experiment uses delayed Lorenz series; least squares support vector regression approximates the predictive function. The result shows that linearly preserving projection improves the prediction performance.

점진적 모델에 기반한 다채널 시계열 데이터 EEG의 특징 분석 (Feature Analysis of Multi-Channel Time Series EEG Based on Incremental Model)

  • 김선희;양형정;;정종문
    • 정보처리학회논문지B
    • /
    • 제16B권1호
    • /
    • pp.63-70
    • /
    • 2009
  • BCI 기술은 생체신호인 뇌파를 수집하여 신호처리를 거친 후 실질적인 기기제어 및 통신 시스템 등을 제어하는 시스템 관련 기술이다. BCI 시스템 구현을 위해서는 뇌파의 특성을 실시간으로 분석하여 학습 시키고 학습된 뇌파의 특성을 적용하는 단계가 요구된다. 본 논문에서는 EEG 데이터를 효율적으로 분석하기 위해 점진적으로 갱신되는 주성분 분석을 이용하여 왼손/오른손 동작에 영향을 미치는 EEG 신호의 특징을 찾고, 이를 반영하여 데이터의 차원을 축소한다. 입력 자료의 특징을 충분히 포함하면서 낮은 차원을 가지는 데이터를 이용한다면 분류를 위한 계산량을 감소시킬 수 있을 뿐만 아니라 불필요한 특징을 제거함으로써 분류 성능을 향상 시킬 수 있다. 본 논문에서는 점진적으로 갱신되는 주성분 분석을 이용하여 데이터의 차원을 축소하고 이에 대한 효율성을 검증하기 위해 K-NN분류기를 이용하여 분류 정확도 측정을 수행하였다. 그 결과 주성분 분석을 이용하여 특징을 추출하고 분류율을 측정한 경우보다 평균 5% 높은 분류 정확율을 보였다.

필기체 숫자 데이터 차원 감소를 위한 선분 특징 분석 알고리즘 (Line-Segment Feature Analysis Algorithm for Handwritten-Digits Data Reduction)

  • 김창민;이우범
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권4호
    • /
    • pp.125-132
    • /
    • 2021
  • 인공신경망의 계층의 깊이가 깊어지고 입력으로 사용되는 데이터 차원이 증가됨에 신경망의 학습 및 인식에 있어서 많은 연산을 고속으로 요구하는 고연산의 문제가 발생한다. 따라서 본 논문에서는 신경망 입력 데이터의 차원을 감소시키기 위한 데이터 차원 감소 방법을 제안한다. 제안하는 선분 특징 분석(Line-segment Feature Analysis; LFA) 알고리즘은 한 영상 내에 존재하는 객체의 선분(Line-segment) 특징을 분석하기 위하여 메디안 필터(median filter)를 사용한 기울기 기반의 윤곽선 검출 알고리즘을 적용한다. 추출된 윤곽 영상은 [0, 1, 2, 4, 8, 16, 32, 64, 128]의 계수 값으로 구성된 3×3 또는 5×5 크기의 검출 필터를 이용하여 8가지 선분의 종류에 상응하는 고유값을 계산한다. 각각의 검출필터로 계산된 고유값으로부터 동일한 반응값을 누적하여 두 개의 1차원의 256 크기의 데이터를 생성하고 두 가지 데이터 요소를 합산하여 LFA256 데이터를, 두 데이터를 합병하여 512 크기의 LAF512 데이터를 생성한다. 제안한 LFA 알고리즘의 성능평가는 필기체 숫자 인식을 위한 데이터 차원 감소를 목적으로 PCA 기법과 AlexNet 모델을 이용하여 비교 실험한 결과 LFA256과 LFA512가 각각 98.7%와 99%의 인식 성능을 보였다.