• Communications for Statistical Applications and Methods
• /
• 제29권1호
• /
• pp.27-40
• /
• 2022

In this paper, the focus on the removal noise in the binary image based on the variational Bayesian method with the Ising model. The observation and the latent variable are the degraded image and the original image, respectively. The posterior distribution is built using the Markov random field and the Ising model. Estimating the posterior distribution is the same as reconstructing a degraded image. MCMC and variational Bayesian inference are two methods for estimating the posterior distribution. However, for the sake of computing efficiency, we adapt the variational technique. When the image is restored, the iterative method is used to solve the recursive problem. Since there are three model parameters in this paper, restoration is implemented using the VECM algorithm to find appropriate parameters in the current state. Finally, the restoration results are shown which have maximum peak signal-to-noise ratio (PSNR) and evidence lower bound (ELBO).

• 한국정보통신학회논문지
• /
• 제23권9호
• /
• pp.1060-1069
• /
• 2019

보행자 기반의 카메라 자가 보정 방법들은 복잡한 보정 장치나 절차가 필요하지 않기 때문에 비디오 감시 시스템에 적합하다. 하지만 임의 보행자를 보정 대상으로 사용하는 경우 보행자들의 키를 모르기 때문에 보정 정확도가 저하될 수 있다. 본 논문은 실제 감시 환경에서 이 문제를 해결하기 위한 베이지안 보정 방법을 제안한다. 제안하는 방법에서는 감시 지역 사람들의 키에 대한 통계가 있다고 가정하고, 발-머리 호몰로지(foot-head homology)를 사용하여, 발과 머리의 좌표와 보행자 키의 불확실성을 모두 고려하는 확률 모델을 구성한다. 이 확률 모델을 직접 푸는 것은 난해하므로, 본 연구에서는 근사적 방법인 변분 베이지안 추론(variational Bayesian inference)을 사용한다. 따라서, 이를 통해 관측된 보행자들의 키를 추정함과 동시에 정확한 카메라 파라미터를 구할 수 있다. 다양한 실험을 통해 제안된 방법이 노이즈에 강하며, 보정에 대한 정확한 신뢰도를 제공함을 보였다.

• 응용통계연구
• /
• 제35권3호
• /
• pp.445-455
• /
• 2022

본 논문에서는 고차원 희소 회귀분석을 위한 기존의 베이지안 방법들을 소개하고, 다양한 모의실험 세팅에서 성능을 비교한다. 특히, 확장 가능하고 정확한 베이지안 추론을 가능하게 하는 변분 베이즈 방법(variational Bayes method) (Ray와 Szabó, 2021) 에 중점을 둔다. 시뮬레이션 자료를 기반으로 한 희소 고차원 선형회귀분석을 실시하고 변분 베이즈 방법의 성능을 다른 베이지안 및 빈도론 방법들과 비교한다. 로지스틱 회귀분석에서 변분 베이즈 방법의 실제 성능을 확인하기 위해 백혈병 유전자 발현 자료를 사용하여 실자료 분석을 수행한다.

• ETRI Journal
• /
• 제41권3호
• /
• pp.298-307
• /
• 2019

This paper investigates the use of the inverse-free sparse Bayesian learning (SBL) approach for peak-to-average power ratio (PAPR) reduction in orthogonal frequency-division multiplexing (OFDM)-based multiuser massive multiple-input multiple-output (MIMO) systems. The Bayesian inference method employs a truncated Gaussian mixture prior for the sought-after low-PAPR signal. To learn the prior signal, associated hyperparameters and underlying statistical parameters, we use the variational expectation-maximization (EM) iterative algorithm. The matrix inversion involved in the expectation step (E-step) is averted by invoking a relaxed evidence lower bound (relaxed-ELBO). The resulting inverse-free SBL algorithm has a much lower complexity than the standard SBL algorithm. Numerical experiments confirm the substantial improvement over existing methods in terms of PAPR reduction for different MIMO configurations.

• IEIE Transactions on Smart Processing and Computing
• /
• 제4권4호
• /
• pp.202-208
• /
• 2015

In this study, we propose a new inference algorithm for a multiclass Gaussian process classification model using a variational EM framework and the Laplace approximation (LA) technique. This is performed in two steps, called expectation and maximization. First, in the expectation step (E-step), using Bayes' theorem and the LA technique, we derive the approximate posterior distribution of the latent function, indicating the possibility that each observation belongs to a certain class in the Gaussian process classification model. In the maximization step, we compute the maximum likelihood estimators for hyper-parameters of a covariance matrix necessary to define the prior distribution of the latent function by using the posterior distribution derived in the E-step. These steps iteratively repeat until a convergence condition is satisfied. Moreover, we conducted the experiments by using synthetic data and Iris data in order to verify the performance of the proposed algorithm. Experimental results reveal that the proposed algorithm shows good performance on these datasets.

• ETRI Journal
• /
• 제43권1호
• /
• pp.74-81
• /
• 2021

The mixture model is a very powerful and flexible tool in clustering analysis. Based on the Dirichlet process and parsimonious Gaussian distribution, we propose a new nonparametric mixture framework for solving challenging clustering problems. Meanwhile, the inference of the model depends on the efficient online variational Bayesian approach, which enhances the information exchange between the whole and the part to a certain extent and applies to scalable datasets. The experiments on the scene database indicate that the novel clustering framework, when combined with a convolutional neural network for feature extraction, has meaningful advantages over other models.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권1호
• /
• pp.392-412
• /
• 2018

Due to the semantic gap problem across different modalities, automatically retrieval from multimedia information still faces a main challenge. It is desirable to provide an effective joint model to bridge the gap and organize the relationships between them. In this work, we develop a deep image annotation and classification by fusing multi-modal semantic topics (DAC_mmst) model, which has the capacity for finding visual and non-visual topics by jointly modeling the image and loosely related text for deep image annotation while simultaneously learning and predicting the class label. More specifically, DAC_mmst depends on a non-parametric Bayesian model for estimating the best number of visual topics that can perfectly explain the image. To evaluate the effectiveness of our proposed algorithm, we collect a real-world dataset to conduct various experiments. The experimental results show our proposed DAC_mmst performs favorably in perplexity, image annotation and classification accuracy, comparing to several state-of-the-art methods.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.93-96
• /
• 2019

최근 딥러닝 모델을 다양한 도메인에 적용하여 뛰어난 성능을 보여주고 있다. 하지만 딥러닝 모델은 정답으로 제시된 결과가 정상적으로 예측된 결과인지, 단순히 오버피팅에 의해 예측된 결과인지를 구분하기 어렵다. 이러한 불확실성(Uncertainty)을 측정 할 수 없다는 문제점을 해결하기 위해서 본 논문에서는 베이지안 딥러닝 방법 중 하나인 변분추론(Variational Inference)과 몬테카를로 Dropout을 오픈도메인(Open-Domain) 태스크에 적용하고, 예측 결과에 대한 불확실성을 측정하여 예측결과에 영향을 주는 모델의 성능을 측정해 효과성을 보인다.

• 정보과학회 논문지
• /
• 제43권7호
• /
• pp.795-800
• /
• 2016

이미지 분류 문제는 인간 수준의 성능을 보이지만 일반적인 인식 문제는 어려운 점들이 남아있다. 실내 환경은 다양한 정보를 담고 있어 정보 처리의 양을 효율적으로 줄일 필요성이 있다. 정보의 양을 효율적으로 줄일 수 있도록 대상 객체의 위치 측정을 위한 변분 추론, 변분 베이지안 등의 방법이 소개되었지만, 모든 경우에 대한 주변(marginal) 확률 분포를 구하기 어렵기 때문에 현실적으로 계산하기 어렵다. 본 연구에서는 공간 변형 네트워크(Spatial Transformer Networks)을 응용하여 능동 시각을 이용한 이미지-텍스트 통합 인지 체계를 제안한다. 이 체계는 주어진 텍스트 정보를 바탕으로 이미지의 일부를 효율적으로 샘플링 하도록 학습한다. 이를 통해 전통적인 방법으로 해결하기 어려운 문제를 상당한 격차로 성능을 향상 시킬 수 있다는 것을 보인다. 제안하는 모델을 통해 샘플링 된 이미지를 정성적으로 분석하여 이 모델이 가지는 특성도 함께 살펴본다.

• 한국음향학회지
• /
• 제34권3호
• /
• pp.240-246
• /
• 2015

본 논문은 시간 연속성을 갖는 비음수 행렬 분해(Nonnegative Matrix Factorization, NMF)를 이용하여 잡음에 열화된 음성 신호의 음질을 개선하는 문제를 다룬다. 음성과 잡음 신호는 포아송 분포로 모델되며, NMF의 기본 벡터와 이득 벡터는 감마 분포로 모델된다. 이득 벡터의 시간 연속성은 음질 개선에 중요한 영향을 미치는 것으로 알려져 있다. 본 논문에서 시간의 연속성은 이득 벡터를 감마-마르코프 연쇄(Gamma-Markov chain, GMC) 사전 분포로 모델함으로써 이루어진다. 실험 결과는 제안된 알고리즘이 잡음 신호의 시간 연속성을 효과적으로 모델하는 것을 보여준다.