• 제목/요약/키워드: Shannon's Information Theory

검색결과 22건 처리시간 0.024초

샤논 정보이론의 상관성 동기에 관한 연구 (A Study on the Relative Motivation of Shannon's Information Theory)

  • 이문호;김정수
    • 한국인터넷방송통신학회논문지
    • /
    • 제21권3호
    • /
    • pp.51-57
    • /
    • 2021
  • 본 논문에서는 샤논 정리(1948)의 동기가 되는 아인슈타인 특수상대성이론(1905)과 베르누이 유체역학(1738)의 상관성을 AB=A/A=I Dimension 관점에서 유도했고 샤논 정리 채널코드를 시뮬레이션했다. 베르누이 유체역학 ΔP=pgh를 한라산 화산 Magma 폭발식으로 적용했을 때 Dimension과 높이가 실측치와 일치했다. 아인슈타인 특수상대성이론과 샤논의 정보이론, 그리고 유체역학의 연돌효과(Stack Effect) 이론의 관계를 분석해 보고 화산 폭발의 관계를 수학적으로 증명했다. 아인슈타인, 베르누이의 에너지보존과 질량보존은 샤논 정리에서는 대역폭과 power의 효율면과 같았다.

오일러(Euler)와 샤논(Shannon)의 만남 (A Meeting of Euler and Shannon)

  • 이문호
    • 한국인터넷방송통신학회논문지
    • /
    • 제17권1호
    • /
    • pp.59-68
    • /
    • 2017
  • 세상에 꽃고 여자도 아름답지만 오일러 공식과 대칭이 가장 아름답다. 샤논은 무선통신과 정보이론이 뿌리가 되는 샤논 정리를 오일러 정리에 기반해 정보와 통신에 응용했고, 오늘날 Smart Phone의 원리다. 그들의 만난 점은 MIMO(multiple input and multiple output) 다중안테나 다이버시티가 $e^{-SNR}$ 이다. 본 논문에서는 세상에서 가장 아름다운 공식 $e^{{\pi}i}+1=0$를 발견한 오일러와 무선통신과 정보통신을 탄생시킨 $C=Blog_2(1+{\frac{S}{N}})$을 발견한 샤논의 공식을 간단히 유도하고 이 두 거장은 샤논 한계(Shannon limit)에서 만남을 증명하고 숨어있는 비밀이 무엇인가를 밝힌다. 또한 대수학코딩이론(Algebraic coding theory)와 삼각함수 속에 숨겨진 비밀은 대칭(symmetric)과 Element-wise Inverse가 됨을 발견한다.

MODEL BASED DIAGNOSTICS FOR A GEARBOX USING INFORMATION THEORY

  • Choi, J.;Bryant, M.D.
    • 한국윤활학회:학술대회논문집
    • /
    • 한국윤활학회 2002년도 proceedings of the second asia international conference on tribology
    • /
    • pp.459-460
    • /
    • 2002
  • This article discusses a diagnostics method based on models, and information theory. From an extensive system dynamics bond graph model of a gearbox [1], simulated were various cases germane to this diagnostics approach, including the response of an ideal gearbox, which functions perfectly to designer's specifications, and degraded gearboxes with tooth root cracking. By comparing these cases and constructing a signal flow analogy between the gearbox and a communication channel, Shannon' s information theory [2], including theorems, was applied to the gearbox to assess system health, in terms of ability to function.

  • PDF

EDISON 앱 개발 및 교육을 위한 Polymer Collapse 중 Polymer의 Entropy 및 Free Energy 계산

  • 박윤재;장락우
    • EDISON SW 활용 경진대회 논문집
    • /
    • 제6회(2017년)
    • /
    • pp.75-81
    • /
    • 2017
  • Polymer collapse transition에 대한 연구가 많이 진행되어왔다. 허나 각각의 microstate에 대한 entropy나 free energy에 대한 계산을 하지는 못하였다. 최근 local nonequilibrium thermodynamics와 관련한 논문이 발표되었는데 이는 비평형 상태에서의 각각의 microstate에 대한 확률 분포를 결정하는 물리량을 발견 및 특성을 규명하여 이 중 특별한 상태가 지니는 "information" 이라는 양이 내부에너지와 엔트로피와의 상관관계가 있음을 보였다. 또한, 이러한 information theory를 이용한 Shannon entropy를 사용하여 entropy를 정의하고 free energy와 같은 물리량을 계산하였다. 따라서 이를 이용하여 information theory를 이용한 Shannon entropy와 이로 정의된 free energy를 이용하여 polymer collapse중 entropy 및 free energy를 계산하였다.

  • PDF

정보이론의 협력무선통신에의 응용 (Application of information theory to wireless cooperative communications)

  • 김윤현;양재수;하광준;김진영
    • 한국정보통신설비학회:학술대회논문집
    • /
    • 한국정보통신설비학회 2009년도 정보통신설비 학술대회
    • /
    • pp.337-343
    • /
    • 2009
  • Information theory is one field of the applied mathematics quantitating the data in order to store data as many as in the medium or communicate through channel. it was released on the Shannon's paper, in 1948. With basis on this paper, It has been achieved dramatically development for communication, signal processing, and date procedure and transmission in the network In this paper, the basic concept of information theory is described through dealing with contents about meaning of information, entropy, and channel capacity. It is also handled how information theory is applied to the fields of sensor network, relay channel, MIMO system, and others.

  • PDF

Shannon의 정보이론과 문헌정보 (Shannon's Information Theory and Document Indexing)

  • 정영미
    • 한국문헌정보학회지
    • /
    • 제6권
    • /
    • pp.87-103
    • /
    • 1979
  • Information storage and retrieval is a part of general communication process. In the Shannon's information theory, information contained in a message is a measure of -uncertainty about information source and the amount of information is measured by entropy. Indexing is a process of reducing entropy of information source since document collection is divided into many smaller groups according to the subjects documents deal with. Significant concepts contained in every document are mapped into the set of all sets of index terms. Thus index itself is formed by paired sets of index terms and documents. Without indexing the entropy of document collection consisting of N documents is $log_2\;N$, whereas the average entropy of smaller groups $(W_1,\;W_2,...W_m)$ is as small $(as\;(\sum\limits^m_{i=1}\;H(W_i))/m$. Retrieval efficiency is a measure of information system's performance, which is largely affected by goodness of index. If all and only documents evaluated relevant to user's query can be retrieved, the information system is said $100\%$ efficient. Document file W may be potentially classified into two sets of relevant documents and non-relevant documents to a specific query. After retrieval, the document file W' is reclassified into four sets of relevant-retrieved, relevant-not retrieved, non-relevant-retrieved and non-relevant-not retrieved. It is shown in the paper that the difference in two entropies of document file Wand document file W' is a proper measure of retrieval efficiency.

  • PDF

Shannon의 함수

  • 이범준
    • 한국해양학회지
    • /
    • 제14권1호
    • /
    • pp.32-38
    • /
    • 1979
  • 생태학에서의 다양성(diversity) 문제는 일반적으로 통용되고 있는 다양성=안정성 (diversity=stability)의 개념과 연관되어 항상 생태학자들의 관심대상이 되어 있다. (Watt 1966). 처음으로 군집(community)의 diversity에 대한 개념을 시도한 것은 Gleason(1922)이며 diversity index의 측정은 Fisher(1943)로부터 시작한다.(in Travers 1979, Hurlbert 1971, Gallucci 1973).

  • PDF

Characterization of New Two Parametric Generalized Useful Information Measure

  • Bhat, Ashiq Hussain;Baig, M. A. K.
    • Journal of Information Science Theory and Practice
    • /
    • 제4권4호
    • /
    • pp.64-74
    • /
    • 2016
  • In this paper we define a two parametric new generalized useful average code-word length $L_{\alpha}^{\beta}$(P;U) and its relationship with two parametric new generalized useful information measure $H_{\alpha}^{\beta}$(P;U) has been discussed. The lower and upper bound of $L_{\alpha}^{\beta}$(P;U), in terms of $H_{\alpha}^{\beta}$(P;U) are derived for a discrete noiseless channel. The measures defined in this communication are not only new but some well known measures are the particular cases of our proposed measures that already exist in the literature of useful information theory. The noiseless coding theorems for discrete channel proved in this paper are verified by considering Huffman and Shannon-Fano coding schemes on taking empirical data. Also we study the monotonic behavior of $H_{\alpha}^{\beta}$(P;U) with respect to parameters ${\alpha}$ and ${\beta}$. The important properties of $H_{{\alpha}}^{{\beta}}$(P;U) have also been studied.

AN EXTENSION OF JENSEN-MERCER INEQUALITY WITH APPLICATIONS TO ENTROPY

  • Yamin, Sayyari
    • 호남수학학술지
    • /
    • 제44권4호
    • /
    • pp.513-520
    • /
    • 2022
  • The Jensen and Mercer inequalities are very important inequalities in information theory. The article provides the generalization of Mercer's inequality for convex functions on the line segments. This result contains Mercer's inequality as a particular case. Also, we investigate bounds for Shannon's entropy and give some new applications in zeta function and analysis.

신호 전송의 양과 질에서 위너의 MMSE와 샤논의 정보 이론적 정보량 극한 과 격자 코드 와의 만남 (Encounter of Lattice-type coding with Wiener's MMSE and Shannon's Information-Theoretic Capacity Limits in Quantity and Quality of Signal Transmission)

  • 박대철;이문호
    • 전자공학회논문지
    • /
    • 제50권8호
    • /
    • pp.83-93
    • /
    • 2013
  • 통계적 신호 전송에 관한 위너의 MMSE와 정보이론 관점에서 처음으로 증명한 샤논의 상호 정보량을 비교함으로서 둘 사이의 관련성을 연구하였다. 위너가 신호 전송에서 보려했던 것은 잡음이 존재하는 채널에서 복원하려는 신호의 전송 품질의 근본적 극한(limit)를 계산해내려는 것이라 해석할 수 있다. 반면, 샤논은 엔트로피 개념을 적용하여 상호 정보에 대한 불확실성의 차를 최대화로 하는 전송 정보량의 근본적 상한(upper bound)의 극한(limits)을 계산을 계산하려는 것이라 해석할 수 있다. 본 논문의 관심은 샤논의 점 대 점 채널 용량의 근본적 극한을 계산하는 샤논의 공식을 유도함에 있어 위너의 최소 평균 자승 오차(MMSE) 컴바이너에 의한 최적 위너 필터를 사용했을 때 위너의 MMSE와 샤논의 상호 정보량이 미적분관계로 연결되어 있음을 확인하는 것이며, 위너 필터의 MMSE 와 샤논의 상호 정보량이 만나는 점에서 대역 효율성의 상한과 에너지 효율성의 하한을 계산하였다. mod-${\Lambda}$ AWGN 채널 모델에 의한 적절한 성형 격자 ${\Lambda}$의 선택과 ${\alpha}$의 MMSE 추정에 의해 격자형 부호 방식이 샤논의 원래 채널 용량 극한에 미치게 됨을 확인하였다.