• Communications for Statistical Applications and Methods
• /
• 제29권1호
• /
• pp.27-40
• /
• 2022

In this paper, the focus on the removal noise in the binary image based on the variational Bayesian method with the Ising model. The observation and the latent variable are the degraded image and the original image, respectively. The posterior distribution is built using the Markov random field and the Ising model. Estimating the posterior distribution is the same as reconstructing a degraded image. MCMC and variational Bayesian inference are two methods for estimating the posterior distribution. However, for the sake of computing efficiency, we adapt the variational technique. When the image is restored, the iterative method is used to solve the recursive problem. Since there are three model parameters in this paper, restoration is implemented using the VECM algorithm to find appropriate parameters in the current state. Finally, the restoration results are shown which have maximum peak signal-to-noise ratio (PSNR) and evidence lower bound (ELBO).

• 응용통계연구
• /
• 제34권1호
• /
• pp.9-23
• /
• 2021

본 논문에서는 평균장 방법(mean-field methods)을 기반으로 사후 분포(posterior distribution)를 근사하는 방법인 변분 베이즈 방법(variational Bayes methods)에 대해 소개한다. 특히, 모수들을 실수공간으로 변환 후의 결합 사후분포를 가우시안 분포(Gaussian distribution)들의 곱(product)으로 근사하는 방법인 자동 미분 변분 추론(automatic differentiation variational inference)방법에 대해 자세히 소개하고, 환자에게 약물을 투여한 후 시간에 따라 약물의 흐름을 파악하는 연구인 약물동태학 모형(pharmacokinetic models)에 적용한다. 소개된 변분 베이즈 방법을 이용하여 자료분석을 실시하고 마코프 체인 몬테 카를로(Markov chain Monte Carlo)방법을 기초로한 자료분석의 결과와 비교한다. 알고리즘의 구현은 Stan을 이용한다.

• ETRI Journal
• /
• 제41권6호
• /
• pp.771-781
• /
• 2019

We propose the VS³-NET model to solve the task of question answering questions with machine-reading comprehension that searches for an appropriate answer in a given context. VS³-NET is a model that trains latent variables for each question using variational inferences based on a model of a simple recurrent unit-based sentences and self-matching networks. The types of questions vary, and the answers depend on the type of question. To perform efficient inference and learning, we introduce neural question-type models to approximate the prior and posterior distributions of the latent variables, and we use these approximated distributions to optimize a reparameterized variational lower bound. The context given in machine-reading comprehension usually comprises several sentences, leading to performance degradation caused by context length. Therefore, we model a hierarchical structure using sentence encoding, in which as the context becomes longer, the performance degrades. Experimental results show that the proposed VS³-NET model has an exact-match score of 76.8% and an F1 score of 84.5% on the SQuAD test set.

• 한국멀티미디어학회논문지
• /
• 제23권7호
• /
• pp.883-890
• /
• 2020

In this paper, we propose a variational expectation-maximization algorithm that computes posterior probabilities from Latent Dirichlet Allocation (LDA) model. The algorithm approximates the intractable posterior distribution of a document term matrix generated from a corpus made up by 50 papers. It approximates the posterior by searching the local optima using lower bound of the true posterior distribution. Moreover, it maximizes the lower bound of the log-likelihood of the true posterior by minimizing the relative entropy of the prior and the posterior distribution known as KL-Divergence. The experimental results indicate that documents clustered to image classification and segmentation are correlated at 0.79 while those clustered to object detection and image segmentation are highly correlated at 0.96. The proposed variational inference algorithm performs efficiently and faster than Gibbs sampling at a computational time of 0.029s.

• 한국정보통신학회논문지
• /
• 제23권9호
• /
• pp.1060-1069
• /
• 2019

보행자 기반의 카메라 자가 보정 방법들은 복잡한 보정 장치나 절차가 필요하지 않기 때문에 비디오 감시 시스템에 적합하다. 하지만 임의 보행자를 보정 대상으로 사용하는 경우 보행자들의 키를 모르기 때문에 보정 정확도가 저하될 수 있다. 본 논문은 실제 감시 환경에서 이 문제를 해결하기 위한 베이지안 보정 방법을 제안한다. 제안하는 방법에서는 감시 지역 사람들의 키에 대한 통계가 있다고 가정하고, 발-머리 호몰로지(foot-head homology)를 사용하여, 발과 머리의 좌표와 보행자 키의 불확실성을 모두 고려하는 확률 모델을 구성한다. 이 확률 모델을 직접 푸는 것은 난해하므로, 본 연구에서는 근사적 방법인 변분 베이지안 추론(variational Bayesian inference)을 사용한다. 따라서, 이를 통해 관측된 보행자들의 키를 추정함과 동시에 정확한 카메라 파라미터를 구할 수 있다. 다양한 실험을 통해 제안된 방법이 노이즈에 강하며, 보정에 대한 정확한 신뢰도를 제공함을 보였다.

• IEIE Transactions on Smart Processing and Computing
• /
• 제4권4호
• /
• pp.202-208
• /
• 2015

In this study, we propose a new inference algorithm for a multiclass Gaussian process classification model using a variational EM framework and the Laplace approximation (LA) technique. This is performed in two steps, called expectation and maximization. First, in the expectation step (E-step), using Bayes' theorem and the LA technique, we derive the approximate posterior distribution of the latent function, indicating the possibility that each observation belongs to a certain class in the Gaussian process classification model. In the maximization step, we compute the maximum likelihood estimators for hyper-parameters of a covariance matrix necessary to define the prior distribution of the latent function by using the posterior distribution derived in the E-step. These steps iteratively repeat until a convergence condition is satisfied. Moreover, we conducted the experiments by using synthetic data and Iris data in order to verify the performance of the proposed algorithm. Experimental results reveal that the proposed algorithm shows good performance on these datasets.

• 응용통계연구
• /
• 제35권3호
• /
• pp.445-455
• /
• 2022

본 논문에서는 고차원 희소 회귀분석을 위한 기존의 베이지안 방법들을 소개하고, 다양한 모의실험 세팅에서 성능을 비교한다. 특히, 확장 가능하고 정확한 베이지안 추론을 가능하게 하는 변분 베이즈 방법(variational Bayes method) (Ray와 Szabó, 2021) 에 중점을 둔다. 시뮬레이션 자료를 기반으로 한 희소 고차원 선형회귀분석을 실시하고 변분 베이즈 방법의 성능을 다른 베이지안 및 빈도론 방법들과 비교한다. 로지스틱 회귀분석에서 변분 베이즈 방법의 실제 성능을 확인하기 위해 백혈병 유전자 발현 자료를 사용하여 실자료 분석을 수행한다.

• ETRI Journal
• /
• 제41권3호
• /
• pp.298-307
• /
• 2019

This paper investigates the use of the inverse-free sparse Bayesian learning (SBL) approach for peak-to-average power ratio (PAPR) reduction in orthogonal frequency-division multiplexing (OFDM)-based multiuser massive multiple-input multiple-output (MIMO) systems. The Bayesian inference method employs a truncated Gaussian mixture prior for the sought-after low-PAPR signal. To learn the prior signal, associated hyperparameters and underlying statistical parameters, we use the variational expectation-maximization (EM) iterative algorithm. The matrix inversion involved in the expectation step (E-step) is averted by invoking a relaxed evidence lower bound (relaxed-ELBO). The resulting inverse-free SBL algorithm has a much lower complexity than the standard SBL algorithm. Numerical experiments confirm the substantial improvement over existing methods in terms of PAPR reduction for different MIMO configurations.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권12호
• /
• pp.519-524
• /
• 2023

해싱 기반 이미지 검색에서는 조작된 이미지의 해시코드가 원본 이미지와 달라 동일한 이미지 검색이 어렵다. 본 논문은 이미지의 질감, 모양, 색상 등 특징 정보로부터 지각적 해시코드를 생성하는 자기 감독 기반 딥해싱 모델을 제안하고 평가한다. 비교 모델은 오토인코더 기반 변분 추론 모델들이며, 인코더는 완전 연결 계층, 합성곱 신경망과 트랜스포머 모듈 등으로 설계된다. 제안된 모델은 기하학적 패턴을 추출하고 이미지 내 위치 관계를 활용하는 SimAM 모듈을 포함하는 변형 추론 모델이다. SimAM은 뉴런과 주변 뉴런의 활성화 값을 이용한 에너지 함수를 통해 객체 또는 로컬 영역이 강조된 잠재 벡터를 학습할 수 있다. 제안 방법은 표현 학습 모델로 고차원 입력 이미지의 저차원 잠재 벡터를 생성할 수 있으며, 잠재 벡터는 구분 가능한 해시코드로 이진화 된다. CIFAR-10, ImageNet, NUS-WIDE 등 공개 데이터셋의 실험 결과로부터 제안 모델은 비교 모델보다 우수하며, 지도학습 기반 딥해싱 모델과 동등한 성능이 분석되었다.

• ETRI Journal
• /
• 제43권1호
• /
• pp.74-81
• /
• 2021

The mixture model is a very powerful and flexible tool in clustering analysis. Based on the Dirichlet process and parsimonious Gaussian distribution, we propose a new nonparametric mixture framework for solving challenging clustering problems. Meanwhile, the inference of the model depends on the efficient online variational Bayesian approach, which enhances the information exchange between the whole and the part to a certain extent and applies to scalable datasets. The experiments on the scene database indicate that the novel clustering framework, when combined with a convolutional neural network for feature extraction, has meaningful advantages over other models.