• Journal of the Korean Society for Industrial and Applied Mathematics
• /
• 제2권1호
• /
• pp.41-60
• /
• 1998

This paper derives a consistent and bias corrected extension of Akaike's Information Criterion (AIC), $AIC_{bc}$, based on Kullback-Leibler information. This criterion has terms that penalize the overparametrization more strongly for small and large samples than that of AIC. The overfitting problem of the asymptotically efficient model selection criteria for small and large samples will be overcome. The $AIC_{bc}$ also provides a consistent model order selection. Thus, it is widely applicable to data with small and/or large sample sizes, and to cases where the number of free parameters is a relatively large fraction of the sample size. Relationships with other model selection criteria such as $AIC_c$ of Hurvich, CAICF of Bozdogan and etc. are discussed. Empirical performances of the $AIC_{bc}$ are studied and discussed in better model order choices of a linear regression model using a Monte Carlo experiment.

• 응용통계연구
• /
• 제20권1호
• /
• pp.79-89
• /
• 2007

Arizono와 Ohta(1989)에 의해 소개된 정규성 검정은 쿨백-라이블러 판별정보를 이용하고 있으며, 검정통계량의 유도에 기반이 되는 판별정보의 추정량을 얻기 위해 Vasicek(1976)의 표본엔트로피와 분산의 최대가능도 추정량을 사용했다. 그런데 두 추정량은 편향성을 가지게 되므로 보다 정확한 판별정보의 추정을 위해 비편향 추정량을 사용하는 것이 바람직하다. 본 논문에서는 편향을 수정한 엔트로피 추정량과 분산의 균일최소분산비편향 추정량을 사용하여 판별정보의 추정량을 구하고 이로부터 유도되는 검정통계량을 사용하는 개선된 정규성 검정을 제시한다. 제안한 검정의 특성을 규명하고 검정력 비교를 위해서 모의실험을 수행한다.

• 한국정보과학회논문지:데이타베이스
• /
• 제37권6호
• /
• pp.285-291
• /
• 2010

본 연구에서는 나이브 베이시안 학습의 환경에서 속성의 가중치를 계산하는 새로운 방식을 제안한다. 기존 방법들이 속성에 가중치를 부여하는 방식인데 반하여 본 연구에서는 한걸음 더 나아가 속성의 값에 가중치를 부여하는 새로운 방식을 연구하였다. 이러한 속성값의 가중치를 계산하기 위하여 Kullback-Leibler 함수를 이용하여 가중치를 계산하는 방식을 제안하였고 이러한 가중치들의 특성을 분석하였다. 제안된 알고리즘은 다수의 데이터를 이용하여 속성 가중치 방식과 비교하였고 대부분의 경우에 더 좋은 성능을 제공함을 알 수 있었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제5권6호
• /
• pp.1133-1146
• /
• 2011

Cognitive radio (CR) is considered one of the most promising next-generation communication systems; it has the ability to sense and make use of vacant channels that are unused by licensed users. Reliable detection of the licensed users' signals is an essential element for a CR network. Cooperative spectrum sensing (CSS) is able to offer better sensing performance as compared to individual sensing. The presence of malicious users who falsify sensing data can severely degrade the sensing performance of the CSS scheme. In this paper, we investigate a secure CSS scheme, based on the Kullback-Leibler Divergence (KL-divergence) theory, in order to identify malicious users and mitigate their harmful effect on the sensing performance of CSS in a CR network. The simulation results prove the effectiveness of the proposed scheme.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2008년도 추계학술발표대회
• /
• pp.40-43
• /
• 2008

본 논문에서는 고차원 영역의 데이터 집합을 저차원 영역으로 표현하는 방법에 대해서 제안한다. 특별히 고차원 영역을 2 차원 영역으로 실험하였다. 제안한 방법은 사람이 데이터 객체 사이의 거리나 관계를 직관적으로 인지할 수 있도록 하는 방법이다. 데이터 객체 사이의 거리나 관계를 계산하기 위하여 Kullback-Leibler divergence 를 사용하였다. 이 방법은 확률 분포를 갖는 벡터들 사이의 거리를 계산하여 사용한다. Kullback-Leibler divergence 를 사용하여 계산된 거리 값들은 저차원 영역에서 객체들의 좌표를 계산하기 위하여 사용된다. 좌표계산을 위해서 Simulated Annealing 란 최적화 기법을 사용하였다. 실험 결과를 통해 다차원 데이터를 2 차원 영역으로 표현한 것이 충분히 직관적임을 보였다.

• Journal of the Korean Statistical Society
• /
• 제29권1호
• /
• pp.1-8
• /
• 2000

A spectrum minimizing the frequency-domain Kullback-Leibler information number has been proposed and used to modify a spectrum estimate. Some numerical examples have illustrated the KL spectrum estimate is superior to the initial estimate, i.e., the autocovariances obtained by the inverse Fourier transformation of the KL spectrum estimate are closer to the sample autocovariances of the given observations than those of the initial spectrum estimate. Also, it has been shown that a Gaussian autoregressive process associated with the KL spectrum is the closest in the timedomain Kullback-Leibler sense to a Gaussian white noise process subject to given autocovariance constraints. In this paper a corresponding conditional probability theorem is presented, which gives another rationale to the KL spectrum.

• 한국수학교육학회지시리즈B:순수및응용수학
• /
• 제4권1호
• /
• pp.97-104
• /
• 1997

The large deviations theorem of Cramer is extended to conditional probabilities in the following sense. Consider a random sample of pairs of random vectors and the sample means of each of the pairs. The probability that the first falls outside a certain convex set given that the second is fixed is shown to decrease with the sample size at an exponential rate which depends on the Kullback-Leibler distance between two distributions in an associated exponential familiy of distributions. Examples are given which include a method of computing the Bahadur exact slope for tests of certain composite hypotheses in exponential families.

• 대한전자공학회논문지SP
• /
• 제41권6호
• /
• pp.89-97
• /
• 2004

빛을 반사하거나 방출하는 물체의 형상은 여러 원인에 의해 왜곡된 영상으로 센서에 포착된다. 이러한 왜곡을 제거해 원래 물체의 형상을 추정하는 것을 영상 복원이라고 한다. 영상 복원은 결정론적 방법과 확률론적 방법이 있다. 본 논문에서는 확률론적 방법의 한 종류로서 피셔 인포메이션(Fisher Information)으로부터 유도된 MFI(Minimum Fisher Information)을 이용한 영상 복원을 제안한다. 이는 B. Roy Frieden에 의해 최근에 제안된 신호 추정 방법의 하나이다. MFI을 이용한 복원에서 노이즈 제어 파라미터에 따라 영상 복원의 결과가 어떻게 변화하는지를 조사하였으며, 복원의 정확도에 대한 기준으로 크로스 엔트로피(Kullback-Leibler entropy)를 사용하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제6권5호
• /
• pp.1463-1478
• /
• 2012

Based on the theory of local-world network, the composition self-similarity (CSS) of network traffic is presented for the first time in this paper for the study of DoS detection. We propose the concept of composition distribution graph and design the relative operations. The $(R/S)^d$ algorithm is designed for calculating the Hurst parameter. Based on composition distribution graph and Kullback Leibler (KL) divergence, we propose the composition self-similarity anomaly detection (CSSD) method for the detection of DoS attacks. We evaluate the effectiveness of the proposed method. Compared to other entropy based anomaly detection methods, our method is more accurate and with higher sensitivity in the detection of DoS attacks.

• Nuclear Engineering and Technology
• /
• 제55권3호
• /
• pp.827-838
• /
• 2023

Centrifugal pump is a key part of nuclear power plant systems, and its health status is critical to the safety and reliability of nuclear power plants. Therefore, fault diagnosis is required for centrifugal pump. Traditional fault diagnosis methods have difficulty extracting fault features from nonlinear and non-stationary signals, resulting in low diagnostic accuracy. In this paper, a new fault diagnosis method is proposed based on the improved particle swarm optimization (IPSO) algorithm-based variational modal decomposition (VMD) and relevance vector machine (RVM). Firstly, a simulation test bench for rotor faults is built, in which vibration displacement signals of the rotor are also collected by eddy current sensors. Then, the improved particle swarm algorithm is used to optimize the VMD to achieve adaptive decomposition of vibration displacement signals. Meanwhile, a screening criterion based on the minimum Kullback-Leibler (K-L) divergence value is established to extract the primary intrinsic modal function (IMF) component. Eventually, the factors are obtained from the primary IMF component to form a fault feature vector, and fault patterns are recognized using the RVM model. The results show that the extraction of the fault information and fault diagnosis classification have been improved, and the average accuracy could reach 97.87%.