Prior distributions using the entropy principles

엔트로피 이론을 이용한 사전 확률 분포함수의 추정

Several practical prior distributions are derived using the maximum entropy principle. Also, an interactive method for estimating a prior distribution which uses the minimum cross-entropy principle is proposed when there are many prior informations. The consistency of the prior distributions obtained by the entropy principles is discussed.

베이시안 결정론에서 사전 확률 분포함수는 표본을 추출하기 이전에 추정하여야 한다. 대개 는 분포함수군을 먼저 선택한 후, 그 중 하나를 결정자의 경험을 통하여 선택한다. 이러한 주관적인 사전 확률 분포함수의 선택방법이 베이시안 결정론에 대한 주요비판이 항상 되어 왔다. 본 논문에서는 최대 엔트로피 이론을 이용하여 우리 주변의 의사결정에 많이 이용되 는 정보들에 관한 객관적인 사전 확률 분포함수들을 구하였다. 그 결과는 히스토그램 형태 의 분포함수가 된다. 그러나 사전 정보가 많은 경우에는 최대 엔트로피 모형의 해를 구하기 위하여 복잡한 비선형 연립방정식을 풀어야 하는데, 구체적인 형태의 함수를 구하지 못하는 경우가 대부분이다. 이 때에는 초소의 크로스 엔트로피 모형을 이용하여 사전확률 분포함수 를 구하는 것이 편리하다. 그밖에 엔트로피 이론으로 구한 사전확률 분포함수의 확률적 수 렴성을 증명하였다.