• 제목/요약/키워드: Data Matrix

검색결과 2,896건 처리시간 0.033초

Estimation of high-dimensional sparse cross correlation matrix

  • Yin, Cao;Kwangok, Seo;Soohyun, Ahn;Johan, Lim
    • Communications for Statistical Applications and Methods
    • /
    • 제29권6호
    • /
    • pp.655-664
    • /
    • 2022
  • On the motivation by an integrative study of multi-omics data, we are interested in estimating the structure of the sparse cross correlation matrix of two high-dimensional random vectors. We rewrite the problem as a multiple testing problem and propose a new method to estimate the sparse structure of the cross correlation matrix. To do so, we test the correlation coefficients simultaneously and threshold the correlation coefficients by controlling FRD at a predetermined level α. Further, we apply the proposed method and an alternative adaptive thresholding procedure by Cai and Liu (2016) to the integrative analysis of the protein expression data (X) and the mRNA expression data (Y) in TCGA breast cancer cohort. By varying the FDR level α, we show that the new procedure is consistently more efficient in estimating the sparse structure of cross correlation matrix than the alternative one.

ASSVD: Adaptive Sparse Singular Value Decomposition for High Dimensional Matrices

  • Ding, Xiucai;Chen, Xianyi;Zou, Mengling;Zhang, Guangxing
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권6호
    • /
    • pp.2634-2648
    • /
    • 2020
  • In this paper, an adaptive sparse singular value decomposition (ASSVD) algorithm is proposed to estimate the signal matrix when only one data matrix is observed and there is high dimensional white noise, in which we assume that the signal matrix is low-rank and has sparse singular vectors, i.e. it is a simultaneously low-rank and sparse matrix. It is a structured matrix since the non-zero entries are confined on some small blocks. The proposed algorithm estimates the singular values and vectors separable by exploring the structure of singular vectors, in which the recent developments in Random Matrix Theory known as anisotropic Marchenko-Pastur law are used. And then we prove that when the signal is strong in the sense that the signal to noise ratio is above some threshold, our estimator is consistent and outperforms over many state-of-the-art algorithms. Moreover, our estimator is adaptive to the data set and does not require the variance of the noise to be known or estimated. Numerical simulations indicate that ASSVD still works well when the signal matrix is not very sparse.

문자 수준 컨볼루션 뉴럴 네트워크를 이용한 추천시스템에서의 행렬 분해법 개선 (Improving on Matrix Factorization for Recommendation Systems by Using a Character-Level Convolutional Neural Network)

  • 손동희;심규석
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제24권2호
    • /
    • pp.93-98
    • /
    • 2018
  • 추천시스템은 기업의 매출을 최대화 하기 위해, 사용자에게 관심도가 높은 제품을 제공해준다. 행렬 분해법은 추천시스템에서 자주 사용되는 방법으로 불완전한 사용자-제품 평점 행렬을 기반으로 한다. 하지만 제품과 사용자의 수가 점점 많아지면서, 데이터의 희소성문제로 인해 정확한 추천이 힘들어졌다. 이러한 문제점을 극복하기 위해, 제품과 관련된 텍스트 데이터를 사용하는 행렬 분해법 알고리즘이 최근에 제시되었다. 이런 행렬 분해법 알고리즘 중, 단어 수준 컨볼루션 뉴럴 네트워크를 사용하는 방법이 단어수준 특징들을 추출하여 텍스트 데이터를 효과적으로 반영한다. 하지만 단어수준 컨볼루션 뉴럴 네트워크에서는 학습해야 하는 파라미터의 수가 많다는 문제점이 있다. 그러므로 본 논문에서는 텍스트 데이터로부터 문자 수준 특징들을 뽑아 내기 위해 문자 수준 컨볼루션 뉴럴 네트워크를 사용하는 행렬분해법을 제안한다. 또한 제안하는 행렬 분해법의 성능을 검증하기 위해 실제 데이터를 이용하여 실험을 진행하였다.

An accelerated Levenberg-Marquardt algorithm for feedforward network

  • Kwak, Young-Tae
    • Journal of the Korean Data and Information Science Society
    • /
    • 제23권5호
    • /
    • pp.1027-1035
    • /
    • 2012
  • This paper proposes a new Levenberg-Marquardt algorithm that is accelerated by adjusting a Jacobian matrix and a quasi-Hessian matrix. The proposed method partitions the Jacobian matrix into block matrices and employs the inverse of a partitioned matrix to find the inverse of the quasi-Hessian matrix. Our method can avoid expensive operations and save memory in calculating the inverse of the quasi-Hessian matrix. It can shorten the training time for fast convergence. In our results tested in a large application, we were able to save about 20% of the training time than other algorithms.

Weighted Hadamard 변환을 이용한 Image Data 처리에 관한 연구

  • 소상호;윤재우;이문호
    • 한국통신학회:학술대회논문집
    • /
    • 한국통신학회 1983년도 추계학술발표회논문집
    • /
    • pp.68-72
    • /
    • 1983
  • The Hadamard matrix is a symmetric matrix made of plus and minus ones as entries. There fore the use of Hadamard transform in the image processing requires only the real number operations and results in the computational advantages. Recently, However, certain degradation aspects have been reported. In this paper we propose a WH matrix which retains the main properties of Hadamard matrix. The actual improvement of the image transmission in the inner part of the picture has been demonstrated by the computer simulated image developments. The orthogonal transform offers a useful facility in the digital signal processing. As the size of the transmission block increases, however, the assigment of bits for each data must increase exponentially. Thus the SNR of the image tends to decline accordingly. As an attempt to increase the SNR, we propose the WH matrix whose elements are made of $\pm$1, $\pm$2, $\pm$3, and the unitform is 8$\times$8 matrix.

  • PDF

화자식별을 위한 전역 공분산에 기반한 주성분분석 (Global Covariance based Principal Component Analysis for Speaker Identification)

  • 서창우;임영환
    • 말소리와 음성과학
    • /
    • 제1권1호
    • /
    • pp.69-73
    • /
    • 2009
  • This paper proposes an efficient global covariance-based principal component analysis (GCPCA) for speaker identification. Principal component analysis (PCA) is a feature extraction method which reduces the dimension of the feature vectors and the correlation among the feature vectors by projecting the original feature space into a small subspace through a transformation. However, it requires a larger amount of training data when performing PCA to find the eigenvalue and eigenvector matrix using the full covariance matrix by each speaker. The proposed method first calculates the global covariance matrix using training data of all speakers. It then finds the eigenvalue matrix and the corresponding eigenvector matrix from the global covariance matrix. Compared to conventional PCA and Gaussian mixture model (GMM) methods, the proposed method shows better performance while requiring less storage space and complexity in speaker identification.

  • PDF

매트릭스 프로파일을 이용한 제조 시계열 데이터 패턴 추출 (Pattern Extraction of Manufacturing Time Series Data Using Matrix Profile)

  • 김태현;진교홍
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 추계학술대회
    • /
    • pp.210-212
    • /
    • 2022
  • 제조업에서 생산 설비의 상태를 모니터링하기 위해 각종 센서를 부착하고 있으며, 이를 통해 획득된 데이터의 경우 시계열 데이터인 경우가 많다. 생산 설비의 이상 여부를 판단하기 위해서는시계열 데이터로부터 패턴을 추출하는 과정이 선행되어야 하며 다양한 방법이 연구되고 있다. 본 논문에서는 수집된 다변량 시계열 데이터로부터 패턴을 추출하기 위해 매트릭스 프로파일 알고리즘을 적용하였으며, 이를 통해 현재 CNC 머신으로부터 수집 중인 다중 센서 데이터의 패턴을 추출하였다.

  • PDF

Delay Tolerant Networks에서 속성정보 예측 모델을 이용한 상황인식 연결성 분석 기법 (Context-aware Connectivity Analysis Method using Context Data Prediction Model in Delay Tolerant Networks)

  • 정래진;오영준;이강환
    • 한국정보통신학회논문지
    • /
    • 제19권4호
    • /
    • pp.1009-1016
    • /
    • 2015
  • 본 논문에서는 계층적 클러스터 구조에서 속도, 방향 등의 속성정보를 예측하여 연결성을 분석하는 EPCM(Efficient Prediction-based Context-awareness Matrix) 알고리즘을 제안한다. 기존 DTN에서는 제한 없는 중계노드 선정으로 인한 지연시간이 증가하고, 제한적인 저장용량 및 처리능력의 한계로 패킷손실 및 오버헤드가 발생한다. 따라서 본 논문에서는 클러스터의 속성정보를 주어진 매트릭으로부터 정의하고 예측하여 베이스스테이션과의 연결성에 따라 중계노드를 선정하는 EPCM 알고리즘을 제안한다. 제안된 알고리즘은 클러스터의 속성정보를 상황정보 매트릭스에 저장 및 분석하고, 적응적 보정가중치의 오차보정으로 클러스터의 속성정보를 예측한다. 또한 예측된 속성정보에 따른 연결성으로 베이스스테이션을 향하여 이동하는 중계노드를 선정하게 된다. 주어진 환경에 따른 모의실험에서 예측된 노드의 속성정보를 통한 연결성으로 중계노드를 선정함으로써 전송능력을 비교 분석한 결과 높은 패킷 전송률을 보여주었다.

서지데이터 분석 툴에 대한 특성 및 편의성 비교분석 (Comparative analysis on the distinctive functions and usability of bibliographic data analysis softwares)

  • 이방래;이준영;여운동;이창환;문영호;권오진
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2007년도 추계 종합학술대회 논문집
    • /
    • pp.501-505
    • /
    • 2007
  • 최근에 한국과학기술정보연구원은 계량서지분석에 활용하기 위한 독립형 데이터 분석 시스템 Knowledge Matrix를 개발하였다. 본 논문에서는 개발된 시스템의 성능 수준을 이 분야에서 잘 알려진 분석툴인 VantagePoint와 BibTechMon과 비교분석 하였다. 기능 비교는 데이터, 행렬, 분석, 시각화, 데이터 전처리 부문에서 수행 하였다. 분석결과 각 분석툴의 특장점이 서로 다르지만 전반적으로 KnowledgeMatrix가 좀 더 우수한 기능을 보였다.

  • PDF

지식 결합을 이용한 서로 다른 모델들의 통합 (Integration of Heterogeneous Models with Knowledge Consolidation)

  • 배재권;김진화
    • 경영과학
    • /
    • 제24권2호
    • /
    • pp.177-196
    • /
    • 2007
  • For better predictions and classifications in customer recommendation, this study proposes an integrative model that efficiently combines the currently-in-use statistical and artificial intelligence models. In particular, by integrating the models such as Association Rule, Frequency Matrix, and Rule Induction, this study suggests an integrative prediction model. Integrated models consist of four models: ASFM model which combines Association Rule(A) and Frequency Matrix(B), ASRI model which combines Association Rule(A) and Rule Induction(C), FMRI model which combines Frequency Matrix(B) and Rule Induction(C), and ASFMRI model which combines Association Rule(A), Frequency Matrix(B), and Rule Induction(C). The data set for the tests is collected from a convenience store G, which is the number one in its brand in S. Korea. This data set contains sales information on customer transactions from September 1, 2005 to December 7, 2005. About 1,000 transactions are selected for a specific item. Using this data set. it suggests an integrated model predicting whether a customer buys or not buys a specific product for target marketing strategy. The performance of integrated model is compared with that of other models. The results from the experiments show that the performance of integrated model is superior to that of all other models such as Association Rule, Frequency Matrix, and Rule Induction.