• Title/Summary/Keyword: low-rank decomposition

검색결과 24건 처리시간 0.021초

Paper Recommendation Using SPECTER with Low-Rank and Sparse Matrix Factorization

  • Panpan Guo;Gang Zhou;Jicang Lu;Zhufeng Li;Taojie Zhu
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제18권5호
    • /
    • pp.1163-1185
    • /
    • 2024
  • With the sharp increase in the volume of literature data, researchers must spend considerable time and energy locating desired papers. A paper recommendation is the means necessary to solve this problem. Unfortunately, the large amount of data combined with sparsity makes personalizing papers challenging. Traditional matrix decomposition models have cold-start issues. Most overlook the importance of information and fail to consider the introduction of noise when using side information, resulting in unsatisfactory recommendations. This study proposes a paper recommendation method (PR-SLSMF) using document-level representation learning with citation-informed transformers (SPECTER) and low-rank and sparse matrix factorization; it uses SPECTER to learn paper content representation. The model calculates the similarity between papers and constructs a weighted heterogeneous information network (HIN), including citation and content similarity information. This method combines the LSMF method with HIN, effectively alleviating data sparsity and cold-start issues and avoiding topic drift. We validated the effectiveness of this method on two real datasets and the necessity of adding side information.

Unsupervised feature selection using orthogonal decomposition and low-rank approximation

  • Lim, Hyunki
    • 한국컴퓨터정보학회논문지
    • /
    • 제27권5호
    • /
    • pp.77-84
    • /
    • 2022
  • 본 논문에서는 새로운 비지도 특징 선별 기법을 제안한다. 기존 비지도 방식의 특징 선별 기법들은 특징을 선별하기 위해 가상의 레이블 데이터를 정하고 주어진 데이터를 이 레이블 데이터에 사영하는 회귀 분석 방식으로 특징을 선별하였다. 하지만 가상의 레이블은 데이터로부터 생성되기 때문에 사영된 공간이 비슷하게 형성될 수 있다. 따라서 기존의 방법들에서는 제한된 공간에서만 특징이 선택될 수 있었다. 이를 해소하기 위해 본 논문에서는 직교 사영과 저랭크 근사를 이용하여 특징을 선별한다. 이 문제를 해소하기 위해 가상의 레이블을 직교 사영하고 이 공간에 데이터를 사영할 수 있도록 한다. 이를 통해 더 주요한 특징 선별을 기대할 수 있다. 그리고 사영을 위한 변환 행렬에 저랭크 제한을 두어 더 효과적으로 저차원 공간의 특징을 선별할 수 있도록 한다. 이 목표를 달성하기 위해 본 논문에서는 비용 함수를 설계하고 효율적인 최적화 방법을 제안한다. 여섯 개의 데이터에 대한 실험 결과는 제안된 방법이 대부분의 경우 기존의 비지도 특징 선별 기법보다 좋은 성능을 보여주었다.

Recovering Incomplete Data using Tucker Model for Tensor with Low-n-rank

  • Thieu, Thao Nguyen;Yang, Hyung-Jeong;Vu, Tien Duong;Kim, Sun-Hee
    • International Journal of Contents
    • /
    • 제12권3호
    • /
    • pp.22-28
    • /
    • 2016
  • Tensor with missing or incomplete values is a ubiquitous problem in various fields such as biomedical signal processing, image processing, and social network analysis. In this paper, we considered how to reconstruct a dataset with missing values by using tensor form which is called tensor completion process. We applied Tucker factorization to solve tensor completion which was built base on optimization problem. We formulated the optimization objective function using components of Tucker model after decomposing. The weighted least square matric contained only known values of the tensor with low rank in its modes. A first order optimization method, namely Nonlinear Conjugated Gradient, was applied to solve the optimization problem. We demonstrated the effectiveness of the proposed method in EEG signals with about 70% missing entries compared to other algorithms. The relative error was proposed to compare the difference between original tensor and the process output.

저계수행렬 근사 및 CP 분해 기법을 이용한 CNN 압축 (Compression of CNN Using Low-Rank Approximation and CP Decomposition Methods)

  • 문현철;문기화;김재곤
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2020년도 추계학술대회
    • /
    • pp.133-135
    • /
    • 2020
  • 최근 CNN(Convolutional Neural Network)은 영상 분류, 객체 인식 등 다양한 비전 분야에서 우수한 성능을 보여주고 있으나, CNN 모델의 계산량 및 메모리가 매우 커짐에 따라 모바일 또는 IoT(lnternet of Things) 장치와 같은 저전력 환경에 적용되기에는 제한이 따른다. 따라서, CNN 모델의 임무 성능을 유지하연서 네트워크 모델을 압축하는 기법들이 연구되고 있다. 본 논문에서는 행렬 분해 기술인 저계수행렬 근사(Low-rank approximation)와 CP(Canonical Polyadic) 분해 기법을 결합하여 CNN 모델을 압축하는 기법을 제안한다. 제안하는 기법은 계층의 유형에 상관없이 하나의 행렬분해 기법만을 적용하는 기존의 기법과 달리 압축 성능을 높이기 위하여 CNN의 계층 타입에 따라 두 가지 분해 기법을 선택적으로 적용한다. 제안기법의 성능검증을 위하여 영상 분류 CNN 모델인 VGG-16, ResNet50, 그리고 MobileNetV2 모델 압축에 적용하였고, 모델의 계층 유형에 따라 두 가지의 분해 기법을 선택적으로 적용함으로써 저계수행렬 근사 기법만 적용한 경우 보다 1.5~12.1 배의 동일한 압축율에서 분류 성능이 향상됨을 확인하였다.

  • PDF

그래프 기반 준지도 학습에서 빠른 낮은 계수 표현 기반 그래프 구축 (Graph Construction Based on Fast Low-Rank Representation in Graph-Based Semi-Supervised Learning)

  • 오병화;양지훈
    • 정보과학회 논문지
    • /
    • 제45권1호
    • /
    • pp.15-21
    • /
    • 2018
  • 낮은 계수 표현(Low-Rank Representation, LRR) 기반 방법은 얼굴 클러스터링, 객체 검출 등의 여러 실제 응용에 널리 사용되고 있다. 이 방법은 그래프 기반 준지도 학습에서 그래프 구축에 사용할 경우 높은 예측 정확도를 확보할 수 있어 많이 사용된다. 그러나 LRR 문제를 해결하기 위해서는 알고리즘의 매 반복마다 데이터 수 크기의 정방행렬에 대해 특이값 분해를 수행하여야 하므로 계산 비효율적이다. 이를 해결하기 위해 속도를 향상시킨 발전된 LRR 방법을 제안한다. 이는 최근 발표된 Fast LRR(FaLRR)을 기반으로 하며, FaLRR이 속도는 빠르지만 실제로 분류 문제에서 성능이 낮은 것을 해결하기 위해 기반 최적화 목표에 추가 제약 조건을 도입하고 이를 최적화하는 방법을 제안한다. 실험을 통하여 제안 방법은 LRR보다 더 좋은 해를 빠르게 찾아냄을 확인할 수 있다. 또한, 동일한 해를 도출하는 방법을 찾아내기는 어렵지만 최소화하는 목표가 추가될 경우 더 좋은 결과를 나타내는 Fast MLRR(FaMLRR)을 제안한다.

Time-Varying Multipath Channel Estimation with Superimposed Training in CP-OFDM Systems

  • Yang, Qinghai;Kwak, Kyung-Sup
    • ETRI Journal
    • /
    • 제28권6호
    • /
    • pp.822-825
    • /
    • 2006
  • Based on superimposed training methods, a novel time-varying multipath channel estimation scheme is proposed for orthogonal frequency division multiplexing systems. We first develop a linear least square channel estimator, and meanwhile find the optimal superimposed sequences with respect to the channel estimates' mean square error. Next, a low-rank approximated channel estimator is obtained by using the singular value decomposition. As demonstrated in simulations, the proposed scheme achieves not only better performance but also higher bandwidth efficiency than the conventional pilot-aided approach.

  • PDF

구속연산자에 의한 보정 시스템의 관측성에 관한 연구 (Study on the Observability of Calibration System with a Constraint Oprerator)

  • 이민기;김태성;박근우
    • 대한기계학회논문집A
    • /
    • 제27권4호
    • /
    • pp.647-655
    • /
    • 2003
  • This paper studies the observability of calibration system with a constraint movement by a constraint operator. The calibration system with the constraint movement need only simple sensing device to check whether the constraint movements are completed within an established range. However, it yields the concern about the poor parameter observability due to the constraint movements. This paper uses the QR-decomposition to find the optimal calibration configurations maximizing the linear independence of rows of a observation matrix. The number of identifiable parameters are examined by the rank of the observation matrix, which represents the parameter observability. The method is applied to a parallel typed machining center and the calibration results are presented. These results verify that the calibration system with low-cost indicators and simple planar table is accurate as well as reliable.

특이값 분해를 이용한 블라인드 부분 간격 등화기 (Fractionally Spaced Blind Equalization Using Singular Value Decomposition)

  • 김금비;이정원;남해운;박대영
    • 한국통신학회논문지
    • /
    • 제41권9호
    • /
    • pp.1041-1043
    • /
    • 2016
  • 이 논문은 새로운 블라인드 부분 간격 등화기를 제안한다. 기존의 선형 계획법을 이용한 등화기는 등화기 필터 탭의 자유도를 강제로 줄였기 때문에 성능이 저하된다. 제안 방법은 특이값 분해를 통해 신호 공간을 구해 표본을 최대한 사용하여 등화기 성능을 향상시킨다. 제안 방법은 핵 노름을 이용한 등화기와 성능은 비슷하면서도, 기존 선형 계획법을 이용한 등화기와 비슷한 낮은 복잡도를 갖는다.

일반적인 연결선 구조의 해석을 위한 효율적인 행렬-벡터 곱 알고리즘 (An Efficient Matrix-Vector Product Algorithm for the Analysis of General Interconnect Structures)

  • 정승호;백종흠;김준희;김석윤
    • 대한전자공학회논문지SD
    • /
    • 제38권12호
    • /
    • pp.56-65
    • /
    • 2001
  • 본 논문은 이상적인 균일한 무손실 유전체를 갖는 일반적인 3차원 연결선 구조에서의 커패시턴스 추출 시, 널리 사용되는 일차 대조법(First-order collocation) 외에 고차 구적법을 결합하여 사용함으로써 정확성을 제고하고, 반복적 행렬-벡터의 곱을 효율적으로 수행하기 위한 알고리즘을 제안한다. 제안된 기법은 연결선에서 전기적 성질이 집중되어 있는 코너나 비아를 포함한 경우에 일차 대조법 대신에 구적법을 이용하여 고차로 근사함으로써 정확성을 보장한다. 또한, 이 기법은 경계 요소 기법에서 행렬의 대부분이 수치적으로 저차 계수(low rank)를 이룬다는 회로상의 전자기적 성질을 이용하여 모형차수를 축소함으로써 효율성을 증진한다. 이 기법은 SVD(Singular Value Decomposition)에 기반한 저차 계수 행렬 축소 기법과 신속한 행렬의 곱셈 연산을 위한 Krylov-subspace 차수 축소 기법인 Gram-Schmidt 알고리즘을 도입함으로써 효율적인 연산을 수행할 수 있다. 제안된 방법은 허용 오차 범위 내에서 효율적으로 행렬-벡터의 곱셈을 수행하며, 이를 기존의 연구에서 제시된 기법과의 성능 평가를 통하여 보인다.

  • PDF

Moving Object Detection Using Sparse Approximation and Sparse Coding Migration

  • Li, Shufang;Hu, Zhengping;Zhao, Mengyao
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권5호
    • /
    • pp.2141-2155
    • /
    • 2020
  • In order to meet the requirements of background change, illumination variation, moving shadow interference and high accuracy in object detection of moving camera, and strive for real-time and high efficiency, this paper presents an object detection algorithm based on sparse approximation recursion and sparse coding migration in subspace. First, low-rank sparse decomposition is used to reduce the dimension of the data. Combining with dictionary sparse representation, the computational model is established by the recursive formula of sparse approximation with the video sequences taken as subspace sets. And the moving object is calculated by the background difference method, which effectively reduces the computational complexity and running time. According to the idea of sparse coding migration, the above operations are carried out in the down-sampling space to further reduce the requirements of computational complexity and memory storage, and this will be adapt to multi-scale target objects and overcome the impact of large anomaly areas. Finally, experiments are carried out on VDAO datasets containing 59 sets of videos. The experimental results show that the algorithm can detect moving object effectively in the moving camera with uniform speed, not only in terms of low computational complexity but also in terms of low storage requirements, so that our proposed algorithm is suitable for detection systems with high real-time requirements.