• Proceedings of the Korean Information Science Society Conference
• /
• 1999.10b
• /
• pp.195-197
• /
• 1999

본 논문은 음성인식 시스템에서 정확도를 높이기 위해 후처리 단계에서 후보 단어들의 엔트로피 정보를 이용하였다. 기존의 우도비 검출방법은 음성 데이터에 따라 음성인식 시스템의 성능이 변하고 N개의 후보단어들의 우도값이 비슷하여 오인식 발생확률이 높았다. 그러나 본 논문에서는 각 후보 단어들의 엔트로피 값보다 인식대상 단어 외의 단어들의 엔트로피 값이 상대적으로 낮은 후보를 거절하는 후처리 방법을 사용하여 음성 데이터에 독립적이면서도 변별력을 높인 정확한 음성인식 시스템을 얻을 수 있었다. 실험 결과 본 논문에서 제안하는 엔트로피에 의한 후처리 방법은 우도비에 의한 방법보다 인식 시스템의 성능을 falser alarm이 20%일 때 최대 3.6% 향상시킬 수 있었다.

• 한국방재학회:학술대회논문집
• /
• 2010.02a
• /
• pp.102.2-102.2
• /
• 2010

도시의 생활권 전역에 걸쳐 설치되어 있는 지하매설 시설물인 하수관망은 그 거동에 따라 방류수역의 수질에 큰 영향을 준다. 하수관망을 통한 하수의 이송특성은 관망의 형상과 각 지점에서의 수질정보에 영향을 받는다. 본 연구에서는 이 두 가지 인자에 대한 분석을 위해 하수관망의 외적 형상과 내적 정보흐름의 관계를 분석하였다. 실제 하수관망을 대상으로 자연하천의 정량화에 쓰이는 하천차수방법을 적용해 관망의 차수를 구분하여 도시에 공간적으로 넓게 분포되어있는 하수관망의 범위를 좁힌 후, 정보이론에서의 엔트로피(Entropy) 개념을 하수관망에 도입하여 하수관망의 차수와의 상관관계를 알아보았다. 이러한 분석을 통하여 하수관망의 차수와 엔트로피 사이에 유기적 상관성이 성립함을 확인 할 수 있었다. 총엔트로피와 한계엔트로피 모두 관망의 차수와 유의한 관계를 보였으나 그 양상은 반대로 나타났다.

• The KIPS Transactions:PartB
• /
• v.17B no.4
• /
• pp.303-308
• /
• 2010

In this paper, we propose a medical image registration technique combining the gradient vector flow and modified conditional entropy. The registration is conducted by the use of a measure based on the entropy of conditional probabilities. To achieve the registration, we first define a modified conditional entropy (MCE) computed from the joint histograms for the area intensities of two given images. In order to combine the spatial information into a traditional registration measure, we use the gradient vector flow field. Then the MCE is computed from the gradient vector flow intensity (GVFI) combining the gradient information and their intensity values of original images. To evaluate the performance of the proposed registration method, we conduct experiments with our method as well as existing method based on the mutual information (MI) criteria. We evaluate the precision of MI- and MCE-based measurements by comparing the registration obtained from MR images and transformed CT images. The experimental results show that the proposed method is faster and more accurate than other optimization methods.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.25 no.4B
• /
• pp.755-762
• /
• 2000

Entropy coders as a noiseless compression method are widely used as end-point compression for images so there have been many contributions to increase of entropy coder performance and to reduction of entropy coder complexity. In this paper, we propose some entropy coders based on binary forward classification (BFC). BFC requires overhead of classification but there is no change between the amount of input information and that of classified output information, which we prove this property in this paper. And using the proved property, we propose entropy coders which are Golomb-Rice coder after BFC (BFC+GR) and arithmetic coder with BFC(BFC+A). The proposed entropy decoders do not have further complexity Son BFC. Simulation results also show better performance than other entropy coders which have similar complexity to proposed coders.

• Annual Conference on Human and Language Technology
• /
• 2001.10d
• /
• pp.130-137
• /
• 2001

최대 엔트로피 모델(maximum entropy model)은 여러 가지 자연언어 문제를 학습하는데 성공적으로 적용되어 왔지만, 두 가지의 주요한 문제점을 가지고 있다. 그 첫번째 문제는 해당 언어에 대한 많은 사전 지식(prior knowledge)이 필요하다는 것이고, 두번째 문제는 계산량이 너무 많다는 것이다. 본 논문에서는 텍스트 단위화(text chunking)에 최대 엔트로피 모델을 적용하는 데 나타나는 이 문제점들을 해소하기 위해 새로운 방법을 제시한다. 사전 지식으로, 간단한 언어 모델로부터 쉽게 생성된 결정트리(decision tree)에서 자동적으로 만들어진 규칙을 사용한다. 따라서, 제시된 방법에서의 최대 엔트로피 모델은 결정트리를 보강하는 방법으로 간주될 수 있다. 계산론적 복잡도를 줄이기 위해서, 최대 엔트로피 모델을 학습할 때 일종의 능동 학습(active learning) 방법을 사용한다. 전체 학습 데이터가 아닌 일부분만을 사용함으로써 계산 비용은 크게 줄어 들 수 있다. 실험 결과, 제시된 방법으로 결정트리의 오류의 수가 반으로 줄었다. 대부분의 자연언어 데이터가 매우 불균형을 이루므로, 학습된 모델을 부스팅(boosting)으로 강화할 수 있다. 부스팅을 한 후 제시된 방법은 전문가에 의해 선택된 자질로 학습된 최대 엔트로피 모델보다 졸은 성능을 보이며 지금까지 보고된 기계 학습 알고리즘 중 가장 성능이 좋은 방법과 비슷한 성능을 보인다 텍스트 단위화가 일반적으로 전체 구문분석의 전 단계이고 이 단계에서의 오류가 다음 단계에서 복구될 수 없으므로 이 성능은 텍스트 단위화에서 매우 의미가 길다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2002.04b
• /
• pp.451-453
• /
• 2002

연어는 습관적으로 같이 자주 나타나는 단어열로 각 단어로 분리하기보다 통합해 처리하는 것이 효율적이기 때문에 기계 번역과 음성 인식등에서 유용만 정보로 사용된다. 이러한 연어를 추출하기 위해 본 논문에서는 2가지 경우를 고려했는데, 첫 번째로 인어를 말뭉치에 자주 나타나는 단어열이라고 했을 때 단어열들의 엔트로피가 일정값 이상이면 연어로 추출했다 두 번째로 통사적 제약이 있는 연어를 주술하기 위해 앞 또는 뒤에 올 단어를 제약하는 단어의 엔트로피를 구해 일정값 미만이면 그 단어를 포함한 단어열을 연어로 추출했다. 실험은 품사 부착된 HANTCE 말뭉치를 가지고 수행했고, 젓 번째 방법으로 실험했을 때 엔드로피가 2이상인 단어열을 가지고 분리된 연어도 유도해냈다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2018.07a
• /
• pp.213-214
• /
• 2018

빅 데이터 활용의 증가로 인해 효율적으로 데이터를 분류하는 것은 머신러닝의 주요 과제이다. 제한적인 자원을 가지고 이에 맞는 처리능력을 갖기 위해서는 단일 기기의 자원 관리능력을 향상시키는 방향의 연구가 필요하다. 본 논문에서는 머신러닝을 위한 학습 데이터를 최대 엔트로피 이론을 적용시켜 효과적으로 분류하는 방법을 제안한다. 최대 엔트로피에 대한 간단한 설명과 최대 엔트로피 이론을 적용시키기 위한 간단한 사전 작업들의 방향 등에 대한 설명을 토대로 기술하였다. 또한 본 연구를 통해 얻게 된 문제점들과 향후 연구에 필요한 피드백을 갖는다.

• The Korean Journal of Applied Statistics
• /
• v.3 no.2
• /
• pp.91-105
• /
• 1990

Several practical prior distributions are derived using the maximum entropy principle. Also, an interactive method for estimating a prior distribution which uses the minimum cross-entropy principle is proposed when there are many prior informations. The consistency of the prior distributions obtained by the entropy principles is discussed.

• Proceeding of EDISON Challenge
• /
• 2014.03a
• /
• pp.311-323
• /
• 2014

분자동역학 모의실험을 이용하여 간단한 van der Waals 상호작용하는 이성분 혼합물 계의 섞임 자유에너지 및 섞임 엔트로피 등 섞임과 관련된 열역학 함수들을 계산하는 방법을 소개한다. 각 혼합물의 과잉 자유에너지는 열역학 적분 (thermodynamic integration)방법을 이용하여 계산하고, 이성분 혼합물의 섞임 관련 열역학 함수들은 Hess의 법칙을 확장함으로써 구한다. 계산 결과로부터 온도가 증가할수록 계의 섞임 Helmholtz 자유에너지는 감소하며, 섞임 내부에너지도 감소함을 알 수 있다. 섞임 엔트로피는 온도가 증가할수록 이상기체의 섞임 엔트로피에 접근함을 알 수 있다. 섞임 Helmholtz 자유에너지에 대한 섞임 내부에너지와 섞임 엔트로피 기여도를 조사한 결과 이 계의 섞임 과정을 주도하는 추진력은 엔트로피에 의한 것임을 알 수 있다. 본 연구 방법과 결과를 이용함으로써 학부생들이 혼합물의 열역학 성질을 이해하는데 도움을 주리라 기대한다.

• The Journal of Korea Institute of Information, Electronics, and Communication Technology
• /
• v.2 no.3
• /
• pp.87-95
• /
• 2009

As information theoretic learning techniques, error entropy minimization criterion (MEE) and maximum cross correntropy criterion (MCC) have been studied in depth for supervised learning. MEE criterion leads to maximization of information potential and MCC criterion leads to maximization of cross correlation between output and input random processes. The weighted combination scheme of these two criteria, namely, minimization of Error Entropy with Fiducial points (MEEF) has been introduced and developed by many researchers. As an approach to unsupervised, blind channel equalization, we investigate the possibility of applying constant modulus error (CME) to MEE criterion and some problems of the method. Also we study on the application of CME to MEEF for blind equalization and find out that MEE-CME loses the information of the constant modulus. This leads MEE-CME and MEEF-CME not to converge or to converge slower than other algorithms dependent on the constant modulus.