• 제목/요약/키워드: Entropy difference

검색결과 125건 처리시간 0.022초

조건부 엔트로피와 3차원 볼륨 렌더링기법을 이용한 의료영상의 정합과 가시화 (Registration and Visualization of Medical Image Using Conditional Entropy and 3D Volume Rendering)

  • 김선월;조완현
    • Communications for Statistical Applications and Methods
    • /
    • 제16권2호
    • /
    • pp.277-286
    • /
    • 2009
  • 영상정합은 동일한 장면에 대해서 서로 다른 시간 혹은 특성의 센서로부터 서로 다른 위치 에서 얻는 영상들의 공간적 대응관계를 찾는 과정이다. 본 논문에서는 동일 환자에게 촬영한 뇌 MR과 CT영상간의 상이한 공간좌표계의 차이를 보정하기 위 한 강인한 정합방법을 소개한다. 두 영상의 명암도에 대한 결합 히스토그램으로부터 계산된 개선된 조건부 엔트로피(MCE: Modified Conditional Entropy)를 이용하여 최대인 위치로 정합을 수행하고, 3차원 볼륨 렌더링 기법을 이용하여 정합된 영상을 가시화한다.

Context-Based Minimum MSE Prediction and Entropy Coding for Lossless Image Coding

  • Musik-Kwon;Kim, Hyo-Joon;Kim, Jeong-Kwon;Kim, Jong-Hyo;Lee, Choong-Woong
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 1999년도 KOBA 방송기술 워크샵 KOBA Broadcasting Technology Workshop
    • /
    • pp.83-88
    • /
    • 1999
  • In this paper, a novel gray-scale lossless image coder combining context-based minimum mean squared error (MMSE) prediction and entropy coding is proposed. To obtain context of prediction, this paper first defines directional difference according to sharpness of edge and gradients of localities of image data. Classification of 4 directional differences forms“geometry context”model which characterizes two-dimensional general image behaviors such as directional edge region, smooth region or texture. Based on this context model, adaptive DPCM prediction coefficients are calculated in MMSE sense and the prediction is performed. The MMSE method on context-by-context basis is more in accord with minimum entropy condition, which is one of the major objectives of the predictive coding. In entropy coding stage, context modeling method also gives useful performance. To reduce the statistical redundancy of the residual image, many contexts are preset to take full advantage of conditional probability in entropy coding and merged into small number of context in efficient way for complexity reduction. The proposed lossless coding scheme slightly outperforms the CALIC, which is the state-of-the-art, in compression ratio.

Tri-training algorithm based on cross entropy and K-nearest neighbors for network intrusion detection

  • Zhao, Jia;Li, Song;Wu, Runxiu;Zhang, Yiying;Zhang, Bo;Han, Longzhe
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제16권12호
    • /
    • pp.3889-3903
    • /
    • 2022
  • To address the problem of low detection accuracy due to training noise caused by mislabeling when Tri-training for network intrusion detection (NID), we propose a Tri-training algorithm based on cross entropy and K-nearest neighbors (TCK) for network intrusion detection. The proposed algorithm uses cross-entropy to replace the classification error rate to better identify the difference between the practical and predicted distributions of the model and reduce the prediction bias of mislabeled data to unlabeled data; K-nearest neighbors are used to remove the mislabeled data and reduce the number of mislabeled data. In order to verify the effectiveness of the algorithm proposed in this paper, experiments were conducted on 12 UCI datasets and NSL-KDD network intrusion datasets, and four indexes including accuracy, recall, F-measure and precision were used for comparison. The experimental results revealed that the TCK has superior performance than the conventional Tri-training algorithms and the Tri-training algorithms using only cross-entropy or K-nearest neighbor strategy.

A Goodness of Fit Tests Based on the Partial Kullback-Leibler Information with the Type II Censored Data

  • Park, Sang-Un;Lim, Jong-Gun
    • 한국통계학회:학술대회논문집
    • /
    • 한국통계학회 2003년도 추계 학술발표회 논문집
    • /
    • pp.233-238
    • /
    • 2003
  • Goodness of fit test statistics based on the information discrepancy have been shown to perform very well (Vasicek 1976, Dudewicz and van der Meulen 1981, Chandra et al 1982, Gohkale 1983, Arizona and Ohta 1989, Ebrahimi et al 1992, etc). Although the test is well defined for the non-censored case, censored case has not been discussed in the literature. Therefore we consider a goodness of fit test based on the partial Kullback-Leibler(KL) information with the type II censored data. We derive the partial KL information of the null distribution function and a nonparametric distribution function, and establish a goodness of fit test statistic. We consider the exponential and normal distributions and made Monte Calro simulations to compare the test statistics with some existing tests.

  • PDF

Shannon Entropy as an Indicator of the Spatial Resolutions of the Morphologies of the Mode Patterns in an Optical Resonator

  • Park, Kyu-Won;Kim, Jinuk;Moon, Songky
    • Current Optics and Photonics
    • /
    • 제5권1호
    • /
    • pp.16-22
    • /
    • 2021
  • We present the Shannon entropy as an indicator of the spatial resolutions of the morphologies of the resonance mode patterns in an optical resonator. We obtain each optimized number of mesh points, one of minimum size and the other of maximum one. The optimized mesh-point number of minimum size is determined by the identifiable quantum number through a chi-squared test, whereas the saturation of the difference between Shannon entropies corresponds to the other mesh-point number of maximum size. We also show that the optimized minimum mesh-point increases as the (real) wave number increases and approximates the proportionality constant between them.

베이지언 정보엔트로피에 의한 불완전 의사결정 시스템의 불확실성 향상 (Uncertainty Improvement of Incomplete Decision System using Bayesian Conditional Information Entropy)

  • 최규석;박인규
    • 한국인터넷방송통신학회논문지
    • /
    • 제14권6호
    • /
    • pp.47-54
    • /
    • 2014
  • 러프집합을 구성하는 식별불가능 관계를 표현하는 정보시스템에서 데이터의 중복이나 비일관성은 피할 수 없기 때문에 속성의 감축은 매우 중요하다. 러프집합이론에 있어서 일관적인 정보시스템과 비일관적인 정보시스템의 속성감축의 차이를 극복하고 자, 본 연구에서는 조건 및 결정속성에 대한 상관분석에 베이지언 사후확률을 적용한 새로운 불확실성 척도와 속성감축 알고리즘을 제안한다. 정보시스템의 불확실성에 대하여 제안된 척도와 기존의 조건부 정보엔트로피 척도를 비교해 본 결과, 정보시스템의 조건속성과 결정속성의 상호정보를 이용하여 속성간의 불확실성을 측정하는데 있어 제안된 방법이 조건부 정보엔트로피에 의한 방법보다 정확성이 있음을 보여준다.

Shannon의 정보이론과 문헌정보 (Shannon's Information Theory and Document Indexing)

  • 정영미
    • 한국문헌정보학회지
    • /
    • 제6권
    • /
    • pp.87-103
    • /
    • 1979
  • Information storage and retrieval is a part of general communication process. In the Shannon's information theory, information contained in a message is a measure of -uncertainty about information source and the amount of information is measured by entropy. Indexing is a process of reducing entropy of information source since document collection is divided into many smaller groups according to the subjects documents deal with. Significant concepts contained in every document are mapped into the set of all sets of index terms. Thus index itself is formed by paired sets of index terms and documents. Without indexing the entropy of document collection consisting of N documents is $log_2\;N$, whereas the average entropy of smaller groups $(W_1,\;W_2,...W_m)$ is as small $(as\;(\sum\limits^m_{i=1}\;H(W_i))/m$. Retrieval efficiency is a measure of information system's performance, which is largely affected by goodness of index. If all and only documents evaluated relevant to user's query can be retrieved, the information system is said $100\%$ efficient. Document file W may be potentially classified into two sets of relevant documents and non-relevant documents to a specific query. After retrieval, the document file W' is reclassified into four sets of relevant-retrieved, relevant-not retrieved, non-relevant-retrieved and non-relevant-not retrieved. It is shown in the paper that the difference in two entropies of document file Wand document file W' is a proper measure of retrieval efficiency.

  • PDF

무손실 점진적 영상 전송을 위한 피라미드 데이터 구조에 관한 연구 (A Pyramid Data Structure for Progressive Lossless Image Transmission)

  • 안재훈;정호열;최태영
    • 전자공학회논문지B
    • /
    • 제30B권6호
    • /
    • pp.49-58
    • /
    • 1993
  • Extended reduced difference pyramid (ERDP) is proposed for lossless progressive image transmission, which is based on a new transform called rounded-transform(RT). The RT is a nonlinear and reversible transform of integers into integers utilizing two kinds of the rounding operations such as round up and down. The ERDP can be obtained from an N-poing RT or a series of RTs of both. For the performance evaluation, the entropy of the difference images to be transmitted is used as a lower bound transmission rate. Two examples of the ERDP can be easily shown, which is more effective in the entropy than the ordinary RDP.

  • PDF

SVM 기반의 시선 인식 시스템의 구현 (An Implementation of Gaze Recognition System Based on SVM)

  • 이규범;김동주;홍광석
    • 정보처리학회논문지B
    • /
    • 제17B권1호
    • /
    • pp.1-8
    • /
    • 2010
  • 시선 인식에 관한 연구는 현재 사용자가 응시하고 있는 위치를 파악하는 것으로 많은 응용 분야를 가지며 지속적으로 발전되어 왔다. 기존의 시선 인식에 관한 대부분의 연구는 적외선 LED 및 카메라, 고가의 헤드마운티드 장비 등을 이용하였기 때문에 범용 사용에 문제점을 가지고 있다. 이에 본 논문에서는 한 대의 PC용 웹 카메라를 사용한 SVM(Support Vector Machine) 기반의 시선 인식 시스템을 제안하고 구현한다. 제안한 시스템은 4방향과 9방향의 시선을 인식하기 위해 모니터를 가로 6, 세로 6, 총 36개의 시선 위치로 나누어 각각 9개, 4개씩 그룹핑 및 학습하여 사용자의 시선을 인식한다. 또한, 시선 인식의 성능을 높이기 위해 차영상 엔트로피를 이용한 영상 필터링 방법을 적용한다. 제안한 시스템의 성능을 평가하기 위하여 기존에 제시되었던 차영상 엔트로피 기반의 시선 인식 시스템, 눈동자 중심점과 눈의 끝점을 이용한 시선 인식 시스템, PCA 기반의 시선 인식 시스템을 구현하고 비교 실험을 수행하였다. 실험 결과 본 논문에서 제안한 SVM 기반의 시선 인식 시스템이 4방향은 94.42%, 9방향은 81.33%의 인식 성능을 보였으며, 차영상 엔트로피를 이용한 영상 필터링 방법을 적용하였을 경우에 4방향은 95.37%, 9방향은 82.25%의 성능을 보여 기존의 시선 인식 시스템보다 높은 성능을 나타내었다.

조건부 정보엔트로피에 의한 불완전 정보시스템의 불확실성 측정 (Uncertainty Measurement of Incomplete Information System based on Conditional Information Entropy)

  • 박인규
    • 한국인터넷방송통신학회논문지
    • /
    • 제14권2호
    • /
    • pp.107-113
    • /
    • 2014
  • 러프집합에서 식별불능의 관계와 근사공간의 개념을 이용해서 의사결정표로부터 최적화된 정보를 유도하게 된다. 그러나 일반적으로 결정표에서 데이터의 중복이나 비일관성은 피할 수 없기 때문에 속성의 중요성은 지식의 감축에서 매우 중요한 개념이다. 속성의 중요성에 대한 대수학적인 정의는 도메인중의 완전한 부분집합에 대한 해당 속성이 주는 영향을 고려하는 것이고, 정보이론적인 정의는 도메인 중의 불완전한 부분집합에 대한 해당 속성이 주는 영향을 고려하는 것이다. 따라서 속성 중요성은 정보이론적인 관점의 정의와 대수학인 관점의 정의가 분명하게 차이가 있다. 본 논문에서는 정보시스템의 조건속성과 결정속성에 포함될 수 있는 정보를 최적화하기 위한 정보이론적인 척도로써 러프집합을 이용한 조건부 정보엔트로피를 제안하고 그 효용성을 보인다.