• Proceedings of the Korea Contents Association Conference
• /
• 2014.11a
• /
• pp.39-40
• /
• 2014

신경회로망의 학습을 위하여 크로스 엔트로피 오차함수가 사용되며, 이의 성능향상을 위하여 확장된 크로스 엔트로피 함수도 제시되었다. 크로스 엔트로피 오차함수는 정보이론에서 제시된 상대 엔트로피(relative entropy)에서 유도된 함수이다. 상대 엔트로 피는 두 확률밀도함수의 발산(divergence) 함수이다. 이 논문에서는 상대 엔트로피와 크로스 엔트로피 관계를 파악한 후, 이를 기반으로 확장된 크로스 엔트로피에 상응하는 새로운 엔트로피 발산 함수를 n=2와 4인 경우에 대하여 유도한다.

• The Korean Journal of Applied Statistics
• /
• v.3 no.2
• /
• pp.91-105
• /
• 1990

Several practical prior distributions are derived using the maximum entropy principle. Also, an interactive method for estimating a prior distribution which uses the minimum cross-entropy principle is proposed when there are many prior informations. The consistency of the prior distributions obtained by the entropy principles is discussed.

• Proceeding of EDISON Challenge
• /
• 2014.03a
• /
• pp.311-323
• /
• 2014

분자동역학 모의실험을 이용하여 간단한 van der Waals 상호작용하는 이성분 혼합물 계의 섞임 자유에너지 및 섞임 엔트로피 등 섞임과 관련된 열역학 함수들을 계산하는 방법을 소개한다. 각 혼합물의 과잉 자유에너지는 열역학 적분 (thermodynamic integration)방법을 이용하여 계산하고, 이성분 혼합물의 섞임 관련 열역학 함수들은 Hess의 법칙을 확장함으로써 구한다. 계산 결과로부터 온도가 증가할수록 계의 섞임 Helmholtz 자유에너지는 감소하며, 섞임 내부에너지도 감소함을 알 수 있다. 섞임 엔트로피는 온도가 증가할수록 이상기체의 섞임 엔트로피에 접근함을 알 수 있다. 섞임 Helmholtz 자유에너지에 대한 섞임 내부에너지와 섞임 엔트로피 기여도를 조사한 결과 이 계의 섞임 과정을 주도하는 추진력은 엔트로피에 의한 것임을 알 수 있다. 본 연구 방법과 결과를 이용함으로써 학부생들이 혼합물의 열역학 성질을 이해하는데 도움을 주리라 기대한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.11b
• /
• pp.796-798
• /
• 2005

본 연구에서는 엔트로피 이론을 사용하여 ICA(Independent Component Analysis) 점수함수를 생성하는 새로운 밀도추정자(Density Estimator)를 제안한다. 원 신호에 대한 밀도함수의 추정은 적당한 점수함수를 생성하기 위해 필요하고, 미분 가능한 밀도함수인 커널을 이용한 밀도추정법(Kernel Density Estimation)을 이용하여 점수함수를 생성하였다. 보다 빠른 점수함수의 생성을 위해서 식의 형태를 convolution 형태로 표현하였으며, ICA 학습을 위해서 결합엔트로피를 최대화(Joint Entropy Maximization)하는 방향으로 커널의 폭을 학습하였다. 이를 위해서 기울기 강하법(Gradient descent method)를 사용하였으며, 이러한 제약 사항은 새로운 밀도 추정자를 설계하기 위한 기본적인 개념을 나타낸다. 실험결과, 커널의 폭을 담당하는 smoothing parameters들이 일정한 값으로 학습함을 알 수 있었다.

• Bioinformatics and Biosystems
• /
• v.1 no.2
• /
• pp.103-108
• /
• 2006

Computational prediction of protein-ligand binding has been widely used as a tool to discover lead compounds fur new drugs. Prediction accuracy is determined in part by the scoring function used in docking calculations. Diverse scoring functions are available, and these can be classified into force-field based, empirical, and knowledge-based functions depending upon the basic assumptions made in development. Among these, force-field based functions consider physical interactions the most in detail. However, the force-field based functions have the drawback of not including the entropic effect while considering only the energy contribution such as dispersion or electrostatic forces. In this article, a method to take into account of the entropic effect using the colony energy is suggested when force-field based scoring functions is used by extracting conformational information obtained from the pre-existing docking program. An improved result for decoy discrimination is illustrated when the method is applied to the DOCK scoring function, and this implies that more accurate docking calculation is possible.

• Journal of Korean Society of Coastal and Ocean Engineers
• /
• v.10 no.4
• /
• pp.204-210
• /
• 1998

This paper presents the development of the probability density function applicable for wave heights (peak-to-trough excursions) in finite water depth including shallow water depth. The probability distribution applicable to wave heights of a non-Gaussian random process is derived based on the concept of the maximum entropy method. When wave heights are limited by breaking wave heights (or water depth) and only first and second moments of wave heights are given, the probability density function developed is closed form and expressed in terms of wave parameters such as $H_m$(mean wave height), $H_{rms}$(root-mean-square wave height), $H_b$(breaking wave height). When higher than third moment of wave heights are given, it is necessary to solve the system of nonlinear integral equations numerically using Newton-Raphson method to obtain the parameters of probability density function which is maximizing the entropy function. The probability density function thusly derived agrees very well with the histogram of wave heights in finite water depth obtained during storm. The probability density function of wave heights developed using maximum entropy method appears to be useful in estimating extreme values and statistical properties of wave heights for the design of coastal structures.

• The Journal of the Acoustical Society of Korea
• /
• v.24 no.5
• /
• pp.262-270
• /
• 2005

In this paper, a new temporal decomposition method is proposed. where not oniy distortion but also entropy are involved in segmentation. The interpolation functions and the target feature vectors are determined by a dynamic Programing technique. where both distortion and entropy are simultaneously minimized. The interpolation functions are built by using a training speech corpus. An iterative method. where segmentation and estimation are iteratively performed. finds the locally optimum Points in the sense of minimizing both distortion and entropy. Simulation results -3how that in terms of both distortion and entropy. the Proposed temporal decomposition method Produced superior results to the conventional split vector-quantization method which is widely employed in the current speech coding methods. According to the results from the subjective listening test, the Proposed method reveals superior Performance in terms of qualify. comparing to the Previous vector quantization method.

• Journal of the Korean Institute of Telematics and Electronics C
• /
• v.35C no.6
• /
• pp.67-75
• /
• 1998

Although the nCE(n-th order cross-entropy) error function resolves the incorrect saturation problem of conventional EBP(error back-propagation) algorithm, the performance of MLP's (multilayer perceptrons) trained using the nCE function depends heavily on the order of the nCE function. In this paper, we propose an adaptive learning rate to make the performance of MLP's insensitive to the order of the nCE error. Additionally, we propose a limited error signal of output node to prevent unstable learning due to the adaptive learning rate. The effectiveness of the proposed method is demonstrated in simulations of handwritten digit recognition and thyroid diagnosis tasks.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2011.05a
• /
• pp.148-148
• /
• 2011

Riemann 문제는 천수방정식과 같은 쌍곡선형 방정식과 단일한 도약에 의해 불연속인 어떤 점의 좌 우에서 상수인 자료로 구성되는 초기치 문제로서 그 해법은 Godunov 방법과 같이 정확해에 의하면 정확 Riemann 해법, 근사 기법에 의하면 근사 Riemann 해법으로 불린다. 지금까지 이용되는 근사 Riemann 해법으로는 1981년에 P. L. Roe가 제안한 Roe의 선형화 기법과 1983년에 A. Harten, P. D. Lax, 그리고 B. van Leer가 제안한 HLL 기법의 수정 기법들이다. 최대 및 최소 파속만 고려하는 것으로 알려진 HLL 기법은 1988년에 B. Einfeldt의 제안에 의해 두 파속의 결정에서 Roe의 선형화 기법에 따른 고유치와 비교하는 것으로 수정되었다(HLLE 기법). 또한, 1994년에 E. F. Toro 등은 접촉파를 고려하기 위해 선형화된 지배방정식의 정확해로부터 중앙 파속을 고려하는 기법을 제안하였고, 이를 HLLC 기법으로 불렀다. 2002년에 T. Linde는 중앙 파속을 평가하기 위해 일반화된(수학적) 엔트로피 함수를 도입하였으며, van Leer는 이를 HLLL 기법으로 불렀다. 이 기법에서는 접촉파의 평가를 위해 보존변수에 대한 일반화된 엔트로피 함수로부터 중앙 파속이 유도되며, 이것과 특성 속도의 비교를 통해 최대 및 최소 파속이 결정된다. 따라서 이 기법에서는 모든 파속이 초기치로부터 결정되므로 HLLE 기법과 달리 Roe의 선형화 기법과 완전히 결별되고 HLLC 기법과 달리 정확해에 의존되지 않는 점에서 HLLL 기법은 모태인 HLL 기법의 온전한 계승으로 볼 수 있다. HLLL 기법은 여러 분야에 적용된 바 있으나, 수공학 분야에 적용된 사례는 알려진 바 없다. 이는 천수방정식에 대한 (물리적) 엔트로피 함수가 명확하지 않기 때문인 것으로 보인다. 이 연구에서는 보존변수로부터 정의되는 총 에너지를 일반화된 엔트로피 함수로 간주하여 모형을 구성하고, 정확해가 알려진 1차원 문제에 대해 적용성을 검토하였다. 정확해가 알려진 경우에 대해 모의한 결과, 1차 정도 수치해의 한계에도 불구하고, HLLL 기법의 결과는 대체로 정확해와 잘 일치하였으며 그 외의 HLL-형 기법의 그것에 비해 우수한 것으로 나타났다. 특히, 물이 빠져 바닥이 드러나는 상태에 대한 접촉 파속의 추정에서 Riemann 불변량을 이용하는 HLLC 기법에 비해 물이 빠지는 전선을 더 정확하게 포착하는 HLLL 기법의 결과는 매우 고무적이었다.

• Proceedings of the Korea Water Resources Association Conference
• /
• 2012.05a
• /
• pp.783-783
• /
• 2012

본 연구에서는 낙동강 임하댐 유역을 대상으로 엔트로피 이론(혼합분포 적용)과 관측소의 공간적 분포를 동시에 고려하여 강우관측망을 평가하였다. 일반적으로 혼합분포를 이용하는 강우관측망 평가는 연속분포를 이용하는 경우 비해 강우의 시공간적 간헐성을 고려할 수 있다는 장점이 있다. 아울러 유역의 면적평균강우량을 산정시 강우관측소는 균등하게 설치된 경우가 가장 이상적이며, 이를 최근린 지수(Nearest neighbor index)를 이용하여 강우관측소 간에 공간적 분포를 등급화하였다. 최근린 지수는 임의의 점에 가장 가까운 인접 점들 간의 거리 특성을 이용하는 방법으로 점의 분포를 보다 지리적으로 파악할 수 있다. 본 연구에서는 엔트로피의 최대 정보전달량 및 강우관측소의 등급을 동시에 고려하기 위해 유클리디언 거리를 이용하여 2개의 목적함수를 통합하였으며, 이를 MOGA(Multi Objective Genetic Algorithm)를 이용하여 최적관측망을 선정하였다. 그 결과 MOGA를 이용하여 관측망을 평가한 경우 엔트로피 이론만을 적용했을 때보다 최적관측소가 보다 분산됨을 확인하였다.