• Communications for Statistical Applications and Methods
• /
• 제18권5호
• /
• pp.625-636
• /
• 2011

본 논문에서는 로그정규분포의 엔트로피에 대한 모수적 추정량으로 최소분산비편향추정량과 최대가능도추정량을 제시하고 성질을 비교한다. 각 추정량의 분산을 유도해서 일치성을 밝히고 최대가능도 추정량의 편향이 추정에 미치는 영향을 분석한다. 델타근사방법을 이용해서 얻은 추정량의 분포를 제시하고 적합도 평가를 통한 유도한 분포의 확증을 위해서 모의실험을 수행한다. 평균제곱오차에 의한 상대적 효율성에 대한 조사를 통해 두 추정량의 성능을 비교한다. 모의실험의 결과에서 최소분산비편향추정량은 최대가능도 추정량보다 더 좋은 효율을 보이는 것으로 나타나며, 특히 표본크기와 분산이 동시에 작아짐에 따라 효율이 점점 높아지게 되어 월등히 나은 성능을 발휘함을 볼 수 있다.

• 대한전자공학회논문지SP
• /
• 제41권6호
• /
• pp.89-97
• /
• 2004

빛을 반사하거나 방출하는 물체의 형상은 여러 원인에 의해 왜곡된 영상으로 센서에 포착된다. 이러한 왜곡을 제거해 원래 물체의 형상을 추정하는 것을 영상 복원이라고 한다. 영상 복원은 결정론적 방법과 확률론적 방법이 있다. 본 논문에서는 확률론적 방법의 한 종류로서 피셔 인포메이션(Fisher Information)으로부터 유도된 MFI(Minimum Fisher Information)을 이용한 영상 복원을 제안한다. 이는 B. Roy Frieden에 의해 최근에 제안된 신호 추정 방법의 하나이다. MFI을 이용한 복원에서 노이즈 제어 파라미터에 따라 영상 복원의 결과가 어떻게 변화하는지를 조사하였으며, 복원의 정확도에 대한 기준으로 크로스 엔트로피(Kullback-Leibler entropy)를 사용하였다.

• 응용통계연구
• /
• 제24권2호
• /
• pp.383-391
• /
• 2011

이 논문에서는 역가우스분포의 적합을 위한 변형된 엔트로피 기반 검정을 제시한다. 이 검정은 자료생성분포와 역가우스분포의 엔트로피 차이에 기초를 두고 있으며 검정통계량은 엔트로피 차이의 추정량을 사용한다. 엔트로피 차이의 추정량은 자료생성분포에 대한 엔트로피 추정량으로 Vasicek의 표본엔트로피와 역가우스분포에 대한 엔트로피 추정량로 균일최소분산불편추정량을 사용하여 얻는다. 모의실험을 통해 얻은 표본크기와 윈도크기에 따른 검정통계량의 기각값들을 표의 형태로 제공한다. 제안한 검정의 검정력 알아보기 위해 여러 대립분포와 표본크기에 대해서 모의실험을 수행하고 기존의 엔트로피 기반 검정과 비교한다.

• Journal of the Korean Statistical Society
• /
• 제26권1호
• /
• pp.131-146
• /
• 1997

In this paper the problem of measuring the stochastic dependence among sets fo random variates is considered, and attention is specifically directed to forming a single well-defined measure of the dependence among sets of normal variates. A new information theoretic measure of the dependence called dependence index (DI) is introduced and its several properties are studied. The development of DI is based on the generalization and normalization of the mutual information introduced by Kullback(1968). For data analysis, minimum cross entropy estimator of DI is suggested, and its asymptotic distribution is obtained for testing the existence of the dependence. Monte Carlo simulations demonstrate the performance of the estimator, and show that is is useful not only for evaluation of the dependence, but also for independent model testing.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2007년도 학술발표회 논문집
• /
• pp.178-182
• /
• 2007

In this study, we evaluated current raingauge network of Soyanggang dam region applying spatial-correlation analysis and Entropy theory to recommend an optimized raingauge network. In the process of analysis, correlation distance of raingauge stations is estimated and evaluated via spatial-correlation method and entropy method. From this correlation distances, respective influencing radii of each dataset and each methods is assessed. The result of correlation and entropy analysis has estimated correlation distance of 25.546km and influence radius of 7.206km, deducing a decrease of network density from $224.53km^2$ to $122.47km^2$ which satisfy the recommended minimum densities of $250km^2$ in mountainous regions(WMO, 1994) and an increase of basin coverage from 59.3% to 86.8%. As for the elevation analysis the relative evaluation ratio increased from 0.59(current) to 0.92(optimized) resulting an obvious improvement.

• 응용통계연구
• /
• 제3권2호
• /
• pp.91-105
• /
• 1990

베이시안 결정론에서 사전 확률 분포함수는 표본을 추출하기 이전에 추정하여야 한다. 대개 는 분포함수군을 먼저 선택한 후, 그 중 하나를 결정자의 경험을 통하여 선택한다. 이러한 주관적인 사전 확률 분포함수의 선택방법이 베이시안 결정론에 대한 주요비판이 항상 되어 왔다. 본 논문에서는 최대 엔트로피 이론을 이용하여 우리 주변의 의사결정에 많이 이용되 는 정보들에 관한 객관적인 사전 확률 분포함수들을 구하였다. 그 결과는 히스토그램 형태 의 분포함수가 된다. 그러나 사전 정보가 많은 경우에는 최대 엔트로피 모형의 해를 구하기 위하여 복잡한 비선형 연립방정식을 풀어야 하는데, 구체적인 형태의 함수를 구하지 못하는 경우가 대부분이다. 이 때에는 초소의 크로스 엔트로피 모형을 이용하여 사전확률 분포함수 를 구하는 것이 편리하다. 그밖에 엔트로피 이론으로 구한 사전확률 분포함수의 확률적 수 렴성을 증명하였다.

• Journal of Electrical Engineering and information Science
• /
• 제1권1호
• /
• pp.91-97
• /
• 1996

This paper proves by straightforward computation an interesting property of a recursive indexing: it preserves the entropy of a geometrically-distributes stationary memoryless source. This result is a pleasant surprise because the recursive indexing though one-to-one, is a symbol-to-string mapping and the entropy is measured in terms of the source symbols. This preservation of the entropy implies that the minimum average number of bits needed to represent a geometric memoryless source by the recursive indexing followed by a good binary encoder of a finite imput alphabet remains the same as that by a good encoder of an infinite input alphabet. Therefore, the recursive indexing theoretically keeps coding optimality intact. For this reason recursive indexing can provide an interface for a binary code with a finite code book that performs reasonably well for a source with an infinite alphabet.

• 인터넷정보학회논문지
• /
• 제17권3호
• /
• pp.19-24
• /
• 2016

최소오차 엔트로피 알고리듬(MEE)은 충격성 잡음 환경에서 성능이 우수한 것으로 알려져 있다. 이 논문에서는 충격성 잡음에 대한 강인성의 견지에서 MEE 알고리듬의 최적해와 특성을 연구하였다. 큰 오차 값의 영향을 경감하는 요인들과 최적 가중치의 움직임에 대한 분석을 통하여 MEE의 최적해가 충격성 잡음으로부터 안정적으로 유지되도록 하는 주된 역할은 크기 조정된 입력 엔트로피가 담당하고 있음이 밝혀졌다. 시뮬레이션 결과에서, MEE의 최적해는 MSE 성능기준의 최적해와 같은 값을 가짐을 보였다.

• Journal of the Korean Data and Information Science Society
• /
• 제24권4호
• /
• pp.847-856
• /
• 2013

본 논문에서는 모수적과 비모수적 엔트로피 추정량들에 기초한 정규분포에 대한 적합도 검정을 다룬다. 정규분포의 엔트로피에 대한 모수적 추정량으로 사용할 최소분산비편향추정량을 유도한다. 이 추정량과 대립가설 하에서의 자료생성분포에 대한 비모수적 엔트로피 추정량으로 표본엔트로피와 이것의 변형된 추정량들을 이용하여 검정통계량들을 구축했고 이 검정통계량들을 사용하는 새로운 엔트로피 기반 적합도 검정들을 제시한다. 제안한 검정들의 기각값들을 모의실험을 통해 추정해서 표의 형태로 제시한다. 성능의 조사를 위해 수행한 모의실험에서 제안한 검정들이 기존의 Vasicek (1976) 검정보다는 더 좋은 검정력을 가지는 것으로 나타난다. 응용에서 새로운 검정들이 정규성 검정을 위한 경쟁적인 도구로 시용될 수 있을 것으로 기대된다.

• 한국지하수토양환경학회:학술대회논문집
• /
• 한국지하수토양환경학회 2005년도 총회 및 춘계학술발표회
• /
• pp.139-142
• /
• 2005

Kim and Lee(2005) suggested Minimum Entropy Deconvolution(MED) to estimate the temporal sequence of the relative recharge. However this study by Kim and Lee(2005) was just related to the verification of the conceptual approach with MED. In this study, we try to characterize the applicability of MED in the case of spatially heterogeneous recharge (distance from recharge area). Simulated results were recorded with some specific sampling points. Estimated results from this study show higher than 0.8 in cross-correlation with the original recharge sequence.