• Journal of the Korean Data and Information Science Society
• /
• 제25권5호
• /
• pp.1079-1094
• /
• 2014

상호정보 (mutual information)를 이용한 변수 선택법은 반응변수와 설명변수간의 선형적인 연관성뿐만 아니라 비선형적인 연관성을 감지하며, 설명변수 사이의 연관성도 고려하는 좋은 변수선택 방법이다. 하지만 고차원 자료에서 상호정보를 추정하기가 쉽지 않아 이에 대한 연구가 필요하다. Cai 등 (2009)은 조건부 상호정보를 이용한 전진선택법과 가지치기법을 이용하여 이러한 문제를 해결하였으며, 마이크로어레이 자료와 같은 고차원 자료에서 조건부 상호정보를 이용한 변수 선택법으로 선택된 변수들로 구성된 SVM의 분류 성능이 SVM-RFE 및 기존의 필터링 방법으로 선택된 변수들로 구성된 SVM의 분류 성능보다 뛰어남을 보였다. 하지만 조건부 상호정보를 추정할 때 사용된 Parzen window 방법은 변수의 수가 많아질수록 변수 선택 시간이 길어지는 단점으로 인해 이에 대한 보완이 필요하다. 본 논문에서는 조건부 상호정보 계산 시 필요한 설명변수의 분포를 다변량 정규분포로 가정함으로써 변수선택을 위한 계산시간을 단축시키며 동시에 변수선택의 성능을 향상시키고자 한다. 반면, 설명변수의 분포를 다변량 정규분포로 가정한다는 것은 강한 제약이 될 수 있으므로 이를 완화시킨 Edgeworth 근사를 이용한 조건부 상호정보 기반의 변수 선택법을 제안한다. 실증분석을 통해 본 논문에서 제안한 방법의 효율성을 살펴보았으며, 기존의 조건부 상호정보 기반 변수 선택법에 비해 계산 속도나 분류 성능 면에서 우수함을 보였다.

• ETRI Journal
• /
• 제33권2호
• /
• pp.210-218
• /
• 2011

Battiti's mutual information feature selector (MIFS) and its variant algorithms are used for many classification applications. Since they ignore feature synergy, MIFS and its variants may cause a big bias when features are combined to cooperate together. Besides, MIFS and its variants estimate feature redundancy regardless of the corresponding classification task. In this paper, we propose an automated greedy feature selection algorithm called conditional mutual information-based feature selection (CMIFS). Based on the link between interaction information and conditional mutual information, CMIFS takes account of both redundancy and synergy interactions of features and identifies discriminative features. In addition, CMIFS combines feature redundancy evaluation with classification tasks. It can decrease the probability of mistaking important features as redundant features in searching process. The experimental results show that CMIFS can achieve higher best-classification-accuracy than MIFS and its variants, with the same or less (nearly 50%) number of features.

• 대한전자공학회논문지
• /
• 제26권9호
• /
• pp.1299-1307
• /
• 1989

A Korean syllable is regarded as a random variable according to its probabilistic property in occurrence. A Korean syllable is divided into a 'choseong', a 'jungseong', and a 'jongseong' which are regarded as random variables. From the cumulative freaquency of a Korean syllable all possible joint probabilities and conditional probabilities are computed for the three ramdom variables. From the joint probabilities and the conditional probabilities all possible joint entropies and conditional entropies are computed for the three random varibles. Also all possible average mutual informations are calculated for the three random variables. Average mutual informatin between two random variables hss its biggest value between choseong and jungseong. Average mutual information between a random variable and other two random variables has its biggest value between jungseong and choseong-jongseong.

• 정보처리학회논문지B
• /
• 제17B권4호
• /
• pp.303-308
• /
• 2010

본 논문에서는 기울기 벡터장과 조건부 엔트로피를 결합한 의료영상 정합 방법을 제안한다. 정합 방법은 조건부 확률의 엔트로피에 기반한 측도를 수행한다. 먼저 공간적 정보를 얻기 위해 윤곽선 정보의 방향을 제공하는 기울기 정보인 기울기 벡터장을 계산한다. 다음으로 주어진 두 영상에서 픽셀의 밝기정보와 에지정보를 결합하여 조인트 히스토그램을 계산하여 조건부 엔트로피를 구하고, 이것을 두 영상의 정합측도로 사용한다. 제안된 방법의 성능평가를 위해 자기공명 영상과 변환된 컴퓨터단층촬영 영상에 기존 방법인 상호정보기반의 측도, 조건부 엔트로피만을 사용한 측도와 비교 실험을 수행한다. 실험결과로부터 제안한 방법이 기존의 최적화 방법들 보다 더 빠르고 정확한 정합임을 알 수 있다.

• Genomics & Informatics
• /
• 제20권2호
• /
• pp.17.1-17.11
• /
• 2022

Genetic associations have been quantified using a number of statistical measures. Entropy-based mutual information may be one of the more direct ways of estimating the association, in the sense that it does not depend on the parametrization. For this purpose, both the entropy and conditional entropy of the phenotype distribution should be obtained. Quantitative traits, however, do not usually allow an exact evaluation of entropy. The estimation of entropy needs a probability density function, which can be approximated by kernel density estimation. We have investigated the proper sequence of procedures for combining the kernel density estimation and entropy estimation with a probability density function in order to calculate mutual information. Genotypes and their interactions were constructed to set the conditions for conditional entropy. Extensive simulation data created using three types of generating functions were analyzed using two different kernels as well as two types of multifactor dimensionality reduction and another probability density approximation method called m-spacing. The statistical power in terms of correct detection rates was compared. Using kernels was found to be most useful when the trait distributions were more complex than simple normal or gamma distributions. A full-scale genomic dataset was explored to identify associations using the 2-h oral glucose tolerance test results and γ-glutamyl transpeptidase levels as phenotypes. Clearly distinguishable single-nucleotide polymorphisms (SNPs) and interacting SNP pairs associated with these phenotypes were found and listed with empirical p-values.

• 한국인터넷방송통신학회논문지
• /
• 제14권6호
• /
• pp.47-54
• /
• 2014

러프집합을 구성하는 식별불가능 관계를 표현하는 정보시스템에서 데이터의 중복이나 비일관성은 피할 수 없기 때문에 속성의 감축은 매우 중요하다. 러프집합이론에 있어서 일관적인 정보시스템과 비일관적인 정보시스템의 속성감축의 차이를 극복하고 자, 본 연구에서는 조건 및 결정속성에 대한 상관분석에 베이지언 사후확률을 적용한 새로운 불확실성 척도와 속성감축 알고리즘을 제안한다. 정보시스템의 불확실성에 대하여 제안된 척도와 기존의 조건부 정보엔트로피 척도를 비교해 본 결과, 정보시스템의 조건속성과 결정속성의 상호정보를 이용하여 속성간의 불확실성을 측정하는데 있어 제안된 방법이 조건부 정보엔트로피에 의한 방법보다 정확성이 있음을 보여준다.

• 전자공학회논문지CI
• /
• 제46권6호
• /
• pp.1-6
• /
• 2009

본 논문에서는 명암도 기반의 의료영상 정합을 위한 최적화 방법을 소개하고자 한다. 제안하는 최적화 방법은 조건부 확률의 엔트로피에 기반한 측도를 사용함으로써 수행된다. 본 논문에서는 정합을 수행하기 위해서 주어진 두 영상의 명암도에 대한 조인트 히스토그램으로부터 계산된 조건부 엔트로피를 개선하여 새로운 정합 방법의 측도로써 정의한다. 그리고 기존의 명암도 기반의 방법들 즉, 명암도 차이 측정을 이용한 방법, 상관계수를 이용한 방법, 상호정보량을 이용한 방법 등과 비교 실험을 수행한다. 단일 모달리티 뇌 MR 영상을 이용한 실험과 서로 다른 모달리티 뇌 MR 영상과 CT 영상의 정합 결과를 통해서 성능을 평가한다. 실험결과에 의하면 제안한 방법이 기존의 최적화 방법들 널다 최적화 하는데 소요되는 시간이 더 빠르고 정확한 정합이 됨을 알 수 있다.

• Journal of Communications and Networks
• /
• 제11권6호
• /
• pp.607-614
• /
• 2009

Recently, Lu et al. proposed an efficient conditional privacy preservation protocol, named ECPP, based on group signature scheme for generating anonymous certificates from roadside units (RSUs). However, ECPP does not provide unlinkability and traceability when multiple RSUs are compromised. In this paper, we make up for the limitations and propose a robust and efficient anonymous authentication protocol without loss of efficiency as compared with ECPP. Furthermore, in the proposed protocol, RSUs can issue multiple anonymous certificates to an OBU to alleviate system overheads for mutual authentication between OBUs and RSUs. In order to achieve these goals, we consider a universal re-encryption scheme and identity-based key establishment scheme as our building blocks. Several simulations are conducted to verify the efficiency and effectiveness of the proposed protocol by comparing with those of the existing ECPP.

• 한국언어정보학회:학술대회논문집
• /
• 한국언어정보학회 1995년도 Language, Information and Computation = Proceedings of the 10th Pacific Asia Conference, Hong Kong
• /
• pp.121-126
• /
• 1995

A new method for Chinese word segmentation named Conditional F'||'&'||'BMM (Forward and Backward Maximal Matching) which incorporates both bigram statistics (ie., mutual infonllation and difference of t-test between Chinese characters) and linguistic rules for ambiguity resolution is proposed in this paper The key characteristics of this model are the use of: (i) statistics which can be automatically derived from any raw corpus, (ii) a rule base for disambiguation with consistency and controlled size to be built up in a systematic way.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2010년도 하계학술대회
• /
• pp.32-35
• /
• 2010

This paper presents an efficient monitoring method of a network protocol for a downloadable conditional access system (DCAS) that can securely transmit conditional access software via a bi-directional communication channel. In order to guarantee a secure channel based on mutual authentication between a DCAS head end server and set-top boxes, DCAS messages are encrypted and digitally signed. Owing to applied cryptographic algorithms, it is impossible to get information from messages directly without additional processing. Through categorizing DCAS messages into several groups, the proposed monitoring method can efficiently parse and trace DCAS messages in real-time. In order to verify the stability and effectiveness of the proposed monitoring method, we implement a DCAS monitoring system capable of capturing and parsing all DCAS messages. The experimental results show that the proposed monitoring method is well designed.