• 응용통계연구
• /
• 제18권2호
• /
• pp.395-410
• /
• 2005

많은 수의 범주형 변수에 의한 대규모 분할표 분석을 위하여 차원축소(collapsibility) 성질을 이용한 분석 방법을 제안하였다. kullback-Leibler의 발산 측도(divergence measure)를 이용한 서로 완전한 연관을 갖는 변수그룹을 결정하는 방법을 제안하였으며, 제안된 방법에 의한 변수그룹은 주변 로그선형모형(marginal log-linear models)에 의하여 변수들간의 연관성을 식별할 수 있다. 제안된 방법의 적용 예로 데이터 마이닝에서 흔히 접할 수 있는 대규모 분할표 자료인 소비자들의 구매행위 분석을 위한 장바구니 자료의 분석 결과를 제시하였다.

• 한국음향학회지
• /
• 제43권4호
• /
• pp.369-382
• /
• 2024

능동 소나 시스템에서 잔향을 제거하기 위하여 최근 비음수 행렬 분해 기법을 활용한 잔향 제거 알고리즘이 고안된 바 있다. 비음수 행렬 분해 알고리즘을 설계하기 위해서는 분해된 기저 행렬의 곱이 원본 신호와 같도록 유도하는 추정 비용 함수가 필요한데, 기존의 연구에서는 이에 대한 고찰이 없이 쿨백-라이블러 발산 함수를 활용하였다. 본 논문에서는 쿨백-라이블러 발산 함수의 선택이 좋은 선택이었는지, 혹은 성능을 개선할 수 있는 다른 추정 비용 함수가 있는지 연구하고자 하였다. 이를 위하여, 먼저 쿨백-라이블러 함수를 포함하여 일반화된 베타-발산 함수를 활용하여 수정된 잔향 제거 알고리즘을 제안하였다. 그리고 수정된 잔향 제거 알고리즘에 대해 합성된 잔향 신호를 활용한 몬테-카를로 시뮬레이션을 수행하였다. 그 결과 높은 신호대잔향비 환경에서는 쿨백-라이블러 발산 함수(β= 1)가 좋은 성능을 보이지만, 낮은 신호대잔향비 환경에서는 쿨백-라이블러 발산 함수와 유클리드 거리의 중간 특성을 가지는 함수(β= 1.25)가 더 좋은 성능을 보이는 것을 확인하였다.

• International journal of advanced smart convergence
• /
• 제5권4호
• /
• pp.54-56
• /
• 2016

Code-reuse attacks are very dangerous in various systems. This is because they do not inject malicious codes into target systems, but reuse the instruction sequences in executable files or libraries of target systems. Moreover, code-reuse attacks could be more harmful to IoT systems in the sense that it may not be easy to devise efficient and effective mechanism for code-reuse attack detection in resource-restricted IoT devices. In this paper, we propose a detection scheme with using Kullback-Leibler (KL) divergence to combat against code-reuse attacks in IoT. Specifically, we detect code-reuse attacks by calculating KL divergence between the probability distributions of the packets that generate from IoT devices and contain code region addresses in memory system and the probability distributions of the packets that come to IoT devices and contain code region addresses in memory system, checking if the computed KL divergence is abnormal.

• Journal of the Korean Society for Industrial and Applied Mathematics
• /
• 제7권1호
• /
• pp.63-77
• /
• 2003

Some inequalities for the $Csisz{\acute{a}}r\;{\Phi}-divergence$ and applications for the Kullback-Leibler, $R{\acute{e}}nyi$, Hellinger and Bhattacharyya distances in Information Theory are given.

• Communications for Statistical Applications and Methods
• /
• 제29권4호
• /
• pp.471-486
• /
• 2022

Autoregressive moving average (ARMA) models involve nonlinearity in the model coefficients because of unobserved lagged errors, which complicates the likelihood function and makes the posterior density analytically intractable. In order to overcome this problem of posterior analysis, some approximation methods have been proposed in literature. In this paper we first review the main analytic approximations proposed to approximate the posterior density of ARMA models to be analytically tractable, which include Newbold, Zellner-Reynolds, and Broemeling-Shaarawy approximations. We then use the Kullback-Leibler divergence to study the relation between these three analytic approximations and to measure the distance between their derived approximate posteriors for ARMA models. In addition, we evaluate the impact of the approximate posteriors distance in Bayesian estimates of mean and precision of the model coefficients by generating a large number of Monte Carlo simulations from the approximate posteriors. Simulation study results show that the approximate posteriors of Newbold and Zellner-Reynolds are very close to each other, and their estimates have higher precision compared to those of Broemeling-Shaarawy approximation. Same results are obtained from the application to real-world time series datasets.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제5권6호
• /
• pp.1133-1146
• /
• 2011

Cognitive radio (CR) is considered one of the most promising next-generation communication systems; it has the ability to sense and make use of vacant channels that are unused by licensed users. Reliable detection of the licensed users' signals is an essential element for a CR network. Cooperative spectrum sensing (CSS) is able to offer better sensing performance as compared to individual sensing. The presence of malicious users who falsify sensing data can severely degrade the sensing performance of the CSS scheme. In this paper, we investigate a secure CSS scheme, based on the Kullback-Leibler Divergence (KL-divergence) theory, in order to identify malicious users and mitigate their harmful effect on the sensing performance of CSS in a CR network. The simulation results prove the effectiveness of the proposed scheme.

• Journal of the Korean Statistical Society
• /
• 제33권3호
• /
• pp.255-269
• /
• 2004

This paper develops log-density estimation for directional data. The methodology is to use expansions with respect to spherical harmonics followed by estimating the unknown parameters by maximum likelihood. Minimax rates of convergence in terms of the Kullback-Leibler information divergence are obtained.

• 응용통계연구
• /
• 제34권2호
• /
• pp.167-175
• /
• 2021

준지도학습(semi-supervised learning)은 목표값이 있는 데이터와 없는 데이터를 모두 이용하는 학습방법이다. 준지도학습에서 최근에 많은 관심을 받는 일치성규칙(consistency regularization)과 데이터 증대를 이용한 준지도학습(unsupervised data augmentation; UDA)은 목표값이 없는 데이터를 증대하여 학습에 이용한다. 그리고 성능 향상을 위해 훈련신호강화(training signal annealing; TSA)와 신뢰기반 마스킹(confidence based masking)을 이용한다. 본 연구에서는 UDA에서 사용하는 KL-정보량(Kullback-Leibler divergence)과 TSA 대신 JS-정보량(Jensen-Shanon divergene)과 역-TSA를 사용하고 신뢰기반 마스킹을 제거하는 방법을 제안한다. 실험을 통해 제안된 방법의 성능이 더 우수함을 보였다.

• Journal of the Korean Statistical Society
• /
• 제24권2호
• /
• pp.453-470
• /
• 1995

We describe a constrained optimal classification rule for the case when the prior probability of an observation belonging to one of the two populations is unknown. This is done by suggesting a balanced design for the classification experiment and constructing the optimal rule under the balanced design condition. The rule si characterized by a constrained minimization of total risk of misclassification; the constraint of the rule is constructed by the process of equation between Kullback-Leibler's directed divergence measures obtained from the two population conditional densities. The efficacy of the suggested rule is examined through two-group normal classification. This indicates that, in case little is known about the relative population sizes, dramatic gains in accuracy of classification result can be achieved.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2008년도 추계학술발표대회
• /
• pp.40-43
• /
• 2008

본 논문에서는 고차원 영역의 데이터 집합을 저차원 영역으로 표현하는 방법에 대해서 제안한다. 특별히 고차원 영역을 2 차원 영역으로 실험하였다. 제안한 방법은 사람이 데이터 객체 사이의 거리나 관계를 직관적으로 인지할 수 있도록 하는 방법이다. 데이터 객체 사이의 거리나 관계를 계산하기 위하여 Kullback-Leibler divergence 를 사용하였다. 이 방법은 확률 분포를 갖는 벡터들 사이의 거리를 계산하여 사용한다. Kullback-Leibler divergence 를 사용하여 계산된 거리 값들은 저차원 영역에서 객체들의 좌표를 계산하기 위하여 사용된다. 좌표계산을 위해서 Simulated Annealing 란 최적화 기법을 사용하였다. 실험 결과를 통해 다차원 데이터를 2 차원 영역으로 표현한 것이 충분히 직관적임을 보였다.