• Journal of Information Processing Systems
• /
• 제15권2호
• /
• pp.410-421
• /
• 2019

Distributed compressed sensing (DCS) states that we can recover the sparse signals from very few linear measurements. Various studies about DCS have been carried out recently. In many practical applications, there is no prior information except for standard sparsity on signals. The typical example is the sparse signals have block-sparse structures whose non-zero coefficients occurring in clusters, while the cluster pattern is usually unavailable as the prior information. To discuss this issue, a new algorithm, called backtracking-based adaptive orthogonal matching pursuit for block distributed compressed sensing (DCSBBAOMP), is proposed. In contrast to existing block methods which consider the single-channel signal reconstruction, the DCSBBAOMP resorts to the multi-channel signals reconstruction. Moreover, this algorithm is an iterative approach, which consists of forward selection and backward removal stages in each iteration. An advantage of this method is that perfect reconstruction performance can be achieved without prior information on the block-sparsity structure. Numerical experiments are provided to illustrate the desirable performance of the proposed method.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제9권2호
• /
• pp.583-599
• /
• 2015

We apply the Bayesian matching pursuit (BMP) algorithm to the estimation of time-frequency selective channels in orthogonal frequency division multiplexing (OFDM) systems. By exploiting prior statistics and sparse characteristics of propagation channels, the Bayesian method provides a more accurate and efficient detection of the channel status information (CSI) than do conventional sparse channel estimation methods that are based on compressive sensing (CS) technologies. Using a reasonable approximation of the system model and a skillfully designed pilot arrangement, the proposed estimation scheme is able to address the Doppler-induced inter-carrier interference (ICI) with a relatively low complexity. Moreover, to further reduce the computational cost of the channel estimation, we make some modifications to the BMP algorithm. The modified algorithm can make good use of the group-sparse structure of doubly selective channels and thus reconstruct the CSI more efficiently than does the original BMP algorithm, which treats the sparse signals in the conventional manner and ignores the specific structure of their sparsity patterns. Numerical results demonstrate that the proposed Bayesian estimation has a good performance over rapidly time-varying channels.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권6호
• /
• pp.2806-2825
• /
• 2018

Unsupervised learning has shown good performance on image, video and audio classification tasks, and much progress has been made so far. It studies how systems can learn to represent particular input patterns in a way that reflects the statistical structure of the overall collection of input patterns. Many promising deep learning systems are commonly trained by the greedy layerwise unsupervised learning manner. The performance of these deep learning architectures benefits from the unsupervised learning ability to disentangling the abstractions and picking out the useful features. However, the existing unsupervised learning algorithms are often difficult to train partly because of the requirement of extensive hyperparameters. The tuning of these hyperparameters is a laborious task that requires expert knowledge, rules of thumb or extensive search. In this paper, we propose a simple and effective unsupervised feature learning algorithm for image classification, which exploits an explicit optimizing way for population and lifetime sparsity. Firstly, a sparse target matrix is built by the competitive rules. Then, the sparse features are optimized by means of minimizing the Euclidean norm ($L_2$) error between the sparse target and the competitive layer outputs. Finally, a classifier is trained using the obtained sparse features. Experimental results show that the proposed method achieves good performance for image classification, and provides discriminative features that generalize well.

• 한국게임학회 논문지
• /
• 제17권5호
• /
• pp.103-112
• /
• 2017

많은 사용자가 함께 즐기는 온라인 게임(MMOGs)에서 IoT의 확장은 서버에 엄청난 부하를 지속적으로 증가시켜, 모든 데이터들이 Big-Data화 되어가는 환경에 있다. 이에 본 논문에서는 딥러닝 기법 중에서 가장 많이 사용되는 Sparse Autoencoder와 이미 잘 알려진 부하분산 알고리즘(ProGReGA-KF)을 결합한다. 기존 알고리즘 ProGReGA-KF과 본 논문에서 제안한 알고리즘을 이동 안정성으로 비교하였고, 제안한 알고리즘이 빅-데이터 환경에서 좀 더 안정적이고 확장성이 있음 시뮬레이션을 통해 보였다.

• 한국통신학회논문지
• /
• 제39A권12호
• /
• pp.756-763
• /
• 2014

본 논문에서는 트리검색 기반의 GTMP (matching pursuit with greedy tree search)이라는 새로운 희소신호 복원기법을 제안한다. 트리검색은 비용함수 (cost function)를 최소화함으로써 희소신호 복원 성능을 향상시키기 위해 적용하였다. 또한 각 노드마다 트리제거 (tree pruning)기법을 이용하여 효율적인 알고리듬을 개발하였다. 본 논문에서는 알고리듬의 성능분석을 통해 희소신호에서 영(0)이 아닌 값의 위치를 정확히 찾아내는 조건을 도출하였다. 그리고 실험을 통해 GTMP가 기존의 희소신호 복원기법에 비해 성능이 향상되었음을 보였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권6호
• /
• pp.2634-2648
• /
• 2020

In this paper, an adaptive sparse singular value decomposition (ASSVD) algorithm is proposed to estimate the signal matrix when only one data matrix is observed and there is high dimensional white noise, in which we assume that the signal matrix is low-rank and has sparse singular vectors, i.e. it is a simultaneously low-rank and sparse matrix. It is a structured matrix since the non-zero entries are confined on some small blocks. The proposed algorithm estimates the singular values and vectors separable by exploring the structure of singular vectors, in which the recent developments in Random Matrix Theory known as anisotropic Marchenko-Pastur law are used. And then we prove that when the signal is strong in the sense that the signal to noise ratio is above some threshold, our estimator is consistent and outperforms over many state-of-the-art algorithms. Moreover, our estimator is adaptive to the data set and does not require the variance of the noise to be known or estimated. Numerical simulations indicate that ASSVD still works well when the signal matrix is not very sparse.

• 대한전자공학회논문지SP
• /
• 제48권2호
• /
• pp.134-140
• /
• 2011

압축 센싱 (Compressed Sensing) 기술을 통해 $M{\times}N$ 측정 행렬의 원소들이 특정의 독립적인 확률 분포에서 뽑혀 identically 분포의 성질을 가지고 있을 때 $M{\ll}N$의 경우에도 스파스 (sparse) 신호를 높은 확률로 정확하게 복원할 수 있다. $L_1$-최소화 알고리즘이 불완전한 측정에 대해서도 스파스 (sparse) 신호를 복원할 수 있다는 것은 잘 알려진 사실이다. 본 논문에서는 OMP를 변형시킨 support 검출과 가중치 기법을 이용한 $L_1$-최소화 방법을 통하여 스파스 (sparse) 신호의 복원 성능을 향상시키는 알고리즘을 제안하고자 한다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권4호
• /
• pp.1110-1127
• /
• 2022

To improve the training efficiency and generalization performance of a support vector machine (SVM) in a large-scale set, an optimal SVM learning method based on adaptive sparse sampling and the granularity shift factor is presented. The proposed method combines sampling optimization with learner optimization. First, an adaptive sparse sampling method based on the potential function density clustering is designed to adaptively obtain sparse sampling samples, which can achieve a reduction in the training sample set and effectively approximate the spatial structure distribution of the original sample set. A granularity shift factor method is then constructed to optimize the SVM decision hyperplane, which fully considers the neighborhood information of each granularity region in the sparse sampling set. Experiments on an artificial dataset and three benchmark datasets show that the proposed method can achieve a relatively higher training efficiency, as well as ensure a good generalization performance of the learner. Finally, the effectiveness of the proposed method is verified.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
• /
• pp.3-8
• /
• 2020

문서 검색은 오래 연구되어 온 자연어 처리의 중요한 분야 중 하나이다. 기존의 키워드 기반 검색 알고리즘 중 하나인 BM25는 성능에 명확한 한계가 있고, 딥러닝을 활용한 의미 기반 검색 알고리즘의 경우 문서가 압축되어 벡터로 변환되는 과정에서 정보의 손실이 생기는 문제가 있다. 이에 우리는 BERT Sparse라는 새로운 문서 검색 모델을 제안한다. BERT Sparse는 쿼리에 포함된 키워드를 활용하여 문서를 매칭하지만, 문서를 인코딩할 때는 BERT를 활용하여 쿼리의 문맥과 의미까지 반영할 수 있도록 고안하여, 기존 키워드 기반 검색 알고리즘의 한계를 극복하고자 하였다. BERT Sparse의 검색 속도는 BM25와 같은 키워드 기반 모델과 유사하여 실시간 서비스가 가능한 수준이며, 성능은 Recall@5 기준 93.87%로, BM25 알고리즘 검색 성능 대비 19% 뛰어나다. 최종적으로 BERT Sparse를 MRC 모델과 결합하여 open domain QA환경에서도 F1 score 81.87%를 얻었다.

• 한국음향학회지
• /
• 제42권6호
• /
• pp.529-535
• /
• 2023

초생 프로펠러 캐비테이션에 의한 소음은 광대역 신호를 방출하는 적은 수의 음원으로 가정된다. 전통적인 캐비테이션 위치 추정 방법은 정확도가 낮으며, 해상도가 낮아 인접한 음원을 구분할 수 없다는 한계점이 있다. 희소 베이지안 학습 기법은 희소성을 가지는 신호에 대해 고해상도의 복원 성능을 보이는 기법으로, 전통적인 캐비테이션 위치추정 방법에 비해 고해상도로 위치를 추정하는 특성을 가진다. 본 논문에서는 희소 베이지안 학습 기법을 적용한 초생 프로펠러 캐비테이션 위치 추정 기법을 제안하고 실제 모형선 실험 결과를 통해 제안한 기법이 정확도 및 해상도 측면에서 기존 방식보다 뛰어남을 보였다.