• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권6호
• /
• pp.2806-2825
• /
• 2018

Unsupervised learning has shown good performance on image, video and audio classification tasks, and much progress has been made so far. It studies how systems can learn to represent particular input patterns in a way that reflects the statistical structure of the overall collection of input patterns. Many promising deep learning systems are commonly trained by the greedy layerwise unsupervised learning manner. The performance of these deep learning architectures benefits from the unsupervised learning ability to disentangling the abstractions and picking out the useful features. However, the existing unsupervised learning algorithms are often difficult to train partly because of the requirement of extensive hyperparameters. The tuning of these hyperparameters is a laborious task that requires expert knowledge, rules of thumb or extensive search. In this paper, we propose a simple and effective unsupervised feature learning algorithm for image classification, which exploits an explicit optimizing way for population and lifetime sparsity. Firstly, a sparse target matrix is built by the competitive rules. Then, the sparse features are optimized by means of minimizing the Euclidean norm ($L_2$) error between the sparse target and the competitive layer outputs. Finally, a classifier is trained using the obtained sparse features. Experimental results show that the proposed method achieves good performance for image classification, and provides discriminative features that generalize well.

• 한국멀티미디어학회논문지
• /
• 제21권2호
• /
• pp.173-180
• /
• 2018

This paper proposes a method to improve the performance of face recognition via super-resolution method using sparse representation and deep learning from low-resolution facial images. Recently, there have been many researches on ultra-high-resolution images using deep learning techniques, but studies are still under way in real-time face recognition. In this paper, we combine the sparse representation and deep learning to generate super-resolution images to improve the performance of face recognition. We have also improved the processing speed by designing in parallel structure when applying sparse representation. Finally, experimental results show that the proposed method is superior to conventional methods on various images.

• 한국음향학회지
• /
• 제42권6호
• /
• pp.529-535
• /
• 2023

초생 프로펠러 캐비테이션에 의한 소음은 광대역 신호를 방출하는 적은 수의 음원으로 가정된다. 전통적인 캐비테이션 위치 추정 방법은 정확도가 낮으며, 해상도가 낮아 인접한 음원을 구분할 수 없다는 한계점이 있다. 희소 베이지안 학습 기법은 희소성을 가지는 신호에 대해 고해상도의 복원 성능을 보이는 기법으로, 전통적인 캐비테이션 위치추정 방법에 비해 고해상도로 위치를 추정하는 특성을 가진다. 본 논문에서는 희소 베이지안 학습 기법을 적용한 초생 프로펠러 캐비테이션 위치 추정 기법을 제안하고 실제 모형선 실험 결과를 통해 제안한 기법이 정확도 및 해상도 측면에서 기존 방식보다 뛰어남을 보였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제6권10호
• /
• pp.2650-2662
• /
• 2012

Due to the semantic gap issue, the performance of automatic image annotation is still far from satisfactory. Active learning approaches provide a possible solution to cope with this problem by selecting most effective samples to ask users to label for training. One of the key research points in active learning is how to select the most effective samples. In this paper, we propose a novel active learning approach based on sparse graph. Comparing with the existing active learning approaches, the proposed method selects the samples based on two criteria: uncertainty and representativeness. The representativeness indicates the contribution of a sample's label propagating to the other samples, while the existing approaches did not take the representativeness into consideration. Extensive experiments show that bringing the representativeness criterion into the sample selection process can significantly improve the active learning effectiveness.

• 한국통신학회논문지
• /
• 제37A권12호
• /
• pp.1122-1132
• /
• 2012

압축센싱은 이미지, 음성신호, 레이더 등 많은 분야에 적용되고 있다. 압축센싱은 주로 통계적 특성이 시불변인 신호에 적용되고 있으며, 측정 데이터를 줄여 압축률을 높일수록 복원에러가 증가한다. 이와 같은 문제점들을 해결하기 위해 음성신호를 프레임 단위로 나누어 병렬로 처리하였으며, dictionary learning을 이용하여 프레임들을 sparse하게 만들고, sparse 계수 벡터와 그 복원값의 차를 이용하여 압축센싱 복원행렬을 적응적으로 만든 적응압축센싱을 적용하였다. 이를 통해 통계적 특성이 시변인 신호도 압축센싱을 이용하여 빠르고 정확한 복원이 가능함을 확인할 수 있었다.

• 한국방사선학회논문지
• /
• 제16권3호
• /
• pp.295-302
• /
• 2022

희박뷰 전산화단층촬영(computed tomography; CT) 영상화 기술은 피폭 방사선량을 감소시킬 수 있을 뿐만 아니라 획득한 투영상의 균일성을 유지하고 잡음을 감소시킬 수 있는 장점이 있다. 하지만 재구성 영상 내 인공물 발생으로 인하여 화질 및 피사체 구조가 왜곡되는 단점이 있다. 본 연구에서는 희박뷰 CT 영상의 인공물 감소를 위해 wavelet 변환과 잔차 학습(residual learning)을 적용한 콘볼루션 신경망(convolutional neural network; CNN) 기반 영상화 모델을 개발하고, 개발한 모델을 통한 희박뷰 CT 영상의 인공물 감소 정도를 정량적으로 분석하였다. CNN은 wavelet 변환 층, 콘볼루션 층 및 역 wavelet 변환 층으로 구성하였으며, 희박뷰 CT 영상과 잔차 영상을 각각 입출력 영상으로 설정하여 영상화 모델 학습을 진행하였다. 영상화 모델 학습을 위해 평균제곱오차(mean squared error; MSE)를 손실함수로, Adam 함수를 최적화 함수로 사용하였다. 학습된 모델을 통해 입력 희박뷰 CT 영상에 대한 예측 잔차 영상을 획득하고, 두 영상간의 감산을 통해 최종 결과 영상을 획득하였다. 또한 최종 결과 영상에 대한 시각적 특성, 최대신호대잡음비(peak signal-to- noise ratio; PSNR) 및 구조적유사성지수(structural similarity; SSIM)를 측정하였다. 연구결과 본 연구에서 개발한 영상화 모델을 통해 희박뷰 CT 영상의 인공물이 효과적으로 제거되며, 공간분해능이 향상되는 결과를 확인하였다. 또한 wavelet 변환과 잔차 학습을 미적용한 영상화 모델에 비해 본 연구에서 개발한 영상화 모델은 결과 영상의 PSNR 및 SSIM을 각각 8.18% 및 19.71% 향상시킬 수 있음을 확인하였다. 따라서 본 연구에서 개발한 영상화 모델을 이용하여 희박뷰 CT 영상의 인공물 제거는 물론 공간분해능 향상 및 정량적 정확도 향상 효과를 획득할 수 있다.

• 한국컴퓨터정보학회논문지
• /
• 제29권1호
• /
• pp.11-19
• /
• 2024

멀티에이전트는 전장 교전 상황, 무인 운송 차량 등 다양한 실제 협동 환경에 사용될 수 있다. 전장 교전 상황에서는 도메인 정보의 제한으로 즉각적인 보상(Dense Reward) 설계의 어려움이 있어 명백한 희소 보상(Sparse Reward)으로 학습되는 상황을 고려해야 한다. 본 논문에서는 전장 교전 상황에서의 아군 에이전트 간 협업 가능성을 확인하며, 희소 보상 환경인 Multi-Robot Warehouse Environment(RWARE)를 활용하여 유사한 문제와 평가 기준을 정의하고, 강화학습 라이브러리인 Ray RLlib의 QMIX 알고리즘을 사용하여 학습 환경을 구성한다. 정의한 문제에 대해 QMIX의 Agent Network를 개선하고 Random Network Distillation(RND)을 적용한다. 이를 통해 에이전트의 부분 관측값에 대한 패턴과 시간 특징을 추출하고, 에이전트의 내적 보상(Intrinsic Reward)을 통해 희소 보상 경험 획득 개선이 가능함을 실험을 통해 확인한다.

• Structural Engineering and Mechanics
• /
• 제81권5호
• /
• pp.647-664
• /
• 2022

The powerful data mapping capability of computational deep learning methods has been recently explored in academic works to develop strategies for structural health monitoring through appropriate characterization of dynamic responses. In many cases, these studies concern laboratory prototypes and finite element models to validate the proposed methodologies. Therefore, the present work aims to investigate the capability of a deep learning algorithm called Sparse Autoencoder (SAE) specifically focused on detecting structural alterations in real-case studies. The idea is to characterize the dynamic responses via SAE models and, subsequently, to detect the onset of abnormal behavior through the Shewhart T control chart, calculated with SAE extracted features. The anomaly detection approach is exemplified using data from the Z24 bridge, a classical benchmark, and data from the continuous monitoring of the San Vittore bell-tower, Italy. In both cases, the influence of temperature is also evaluated. The proposed approach achieved good performance, detecting structural changes even under temperature variations.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제8권4호
• /
• pp.1463-1480
• /
• 2014

It is well known that sparse code is effective for feature extraction of face recognition, especially sparse mode can be learned in the kernel space, and obtain better performance. Some recent algorithms made use of single kernel in the sparse mode, but this didn't make full use of the kernel information. The key issue is how to select the suitable kernel weights, and combine the selected kernels. In this paper, we propose a novel multiple kernel sparse representation based classification for face recognition (MKSRC), which performs sparse code and dictionary learning in the multiple kernel space. Initially, several possible kernels are combined and the sparse coefficient is computed, then the kernel weights can be obtained by the sparse coefficient. Finally convergence makes the kernel weights optimal. The experiments results show that our algorithm outperforms other state-of-the-art algorithms and demonstrate the promising performance of the proposed algorithms.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권4호
• /
• pp.1110-1127
• /
• 2022

To improve the training efficiency and generalization performance of a support vector machine (SVM) in a large-scale set, an optimal SVM learning method based on adaptive sparse sampling and the granularity shift factor is presented. The proposed method combines sampling optimization with learner optimization. First, an adaptive sparse sampling method based on the potential function density clustering is designed to adaptively obtain sparse sampling samples, which can achieve a reduction in the training sample set and effectively approximate the spatial structure distribution of the original sample set. A granularity shift factor method is then constructed to optimize the SVM decision hyperplane, which fully considers the neighborhood information of each granularity region in the sparse sampling set. Experiments on an artificial dataset and three benchmark datasets show that the proposed method can achieve a relatively higher training efficiency, as well as ensure a good generalization performance of the learner. Finally, the effectiveness of the proposed method is verified.