DOI QR코드

DOI QR Code

신호 전송의 양과 질에서 위너의 MMSE와 샤논의 정보 이론적 정보량 극한 과 격자 코드 와의 만남

Encounter of Lattice-type coding with Wiener's MMSE and Shannon's Information-Theoretic Capacity Limits in Quantity and Quality of Signal Transmission

  • 박대철 (한남대학교 정보통신공학과) ;
  • 이문호 (전북대학교 전자공학부)
  • 투고 : 2013.05.13
  • 발행 : 2013.08.15

초록

통계적 신호 전송에 관한 위너의 MMSE와 정보이론 관점에서 처음으로 증명한 샤논의 상호 정보량을 비교함으로서 둘 사이의 관련성을 연구하였다. 위너가 신호 전송에서 보려했던 것은 잡음이 존재하는 채널에서 복원하려는 신호의 전송 품질의 근본적 극한(limit)를 계산해내려는 것이라 해석할 수 있다. 반면, 샤논은 엔트로피 개념을 적용하여 상호 정보에 대한 불확실성의 차를 최대화로 하는 전송 정보량의 근본적 상한(upper bound)의 극한(limits)을 계산을 계산하려는 것이라 해석할 수 있다. 본 논문의 관심은 샤논의 점 대 점 채널 용량의 근본적 극한을 계산하는 샤논의 공식을 유도함에 있어 위너의 최소 평균 자승 오차(MMSE) 컴바이너에 의한 최적 위너 필터를 사용했을 때 위너의 MMSE와 샤논의 상호 정보량이 미적분관계로 연결되어 있음을 확인하는 것이며, 위너 필터의 MMSE 와 샤논의 상호 정보량이 만나는 점에서 대역 효율성의 상한과 에너지 효율성의 하한을 계산하였다. mod-${\Lambda}$ AWGN 채널 모델에 의한 적절한 성형 격자 ${\Lambda}$의 선택과 ${\alpha}$의 MMSE 추정에 의해 격자형 부호 방식이 샤논의 원래 채널 용량 극한에 미치게 됨을 확인하였다.

By comparing Wiener's MMSE on stochastic signal transmission with Shannon's mutual information first proved by C.E. Shannon in terms of information theory, connections between two approaches were investigated. What Wiener wanted to see in signal transmission in noisy channel is to try to capture fundamental limits for signal quality in signal estimation. On the other hands, Shannon was interested in finding fundamental limits of signal quantity that maximize the uncertainty in mutual information using the entropy concept in noisy channel. First concern of this paper is to show that in deriving limits of Shannon's point to point fundamental channel capacity, Shannon's mutual information obtained by exploiting MMSE combiner and Wiener filter's MMSE are interelated by integro-differential equantion. Then, At the meeting point of Wiener's MMSE and Shannon's mutual information the upper bound of spectral efficiency and the lower bound of energy efficiency were computed. Choosing a proper lattice-type code of a mod-${\Lambda}$AWGN channel model and MMSE estimation of ${\alpha}$ confirmed to lead to the fundamental Shannon capacity limits.

키워드

참고문헌

  1. http://www.isss.org/lumwiener.htm http://en.wikipedia.org/wiki/Wiener_process
  2. Lars Lundheim, On Shannon and "Shannon's Formula", Telektronikk , 2002
  3. 이문호, 실용 정보 이론, 복두 출판사, 1997.
  4. http://en.wikipedia.org/wiki/Claude_Shannon http://en.wikipedia.org/wiki/Norvert_Wiener
  5. C. E. Shannon, "A mathematical theory of communication," Bell Syst. Tech. J. vol. 27, pp. 379-423, 623-656, Jul./Oct. 1948. https://doi.org/10.1002/j.1538-7305.1948.tb01338.x
  6. Nobert Wiener, "What is information theory?", IRE Trans. on Information Theory, Vol. 2, No. 2, 1956, pp. 48 https://doi.org/10.1109/TIT.1956.1056796
  7. Thomas M. Cover J. A. Thomas, Information Theory, Wiley, 1991.
  8. D. Guo, S. Shamai (Shitz), and S. Verdu, "Mutual information and minimum mean-square error in Gaussian channels," IEEE Trans. Information Theory, vol. 51, no. 4, pp. 1261- 1282, Apr. 2005. https://doi.org/10.1109/TIT.2005.844072
  9. Uri Erez and Ram Zamir, "Achieving 1/2 log(1 + SNR) on the AWGN Channel With Lattice Encoding and Decoding, " IEEE Transactions on Information Theory, Vol. 50, no. 10, pp.2293-2314 October 2004. https://doi.org/10.1109/TIT.2004.834787
  10. Daniel P. Palomar, and Sergio Verdu, "Gradient of Mutual Information in Linear Vector Gaussian Channels," IEEE Trans. on Information Theory, vol. 52, no. 1, pp. 141-154 Jan. 2006 https://doi.org/10.1109/TIT.2005.860424
  11. James C. G. Lesurf, Information and Measurement, 2nd Edition, Taylor & Francis; 2 edition (October 15, 2001) , chapter 8
  12. G. Poltyrev, "On coding without restrictions for the AWGN channel," IEEE Trans. Inform. Theory, vol. 40, pp. 409-417, Mar., 1994 https://doi.org/10.1109/18.312163
  13. E. Agrell, T. Eriksson, A. Vardy, and K. Zeger, "Closest point search in lattices," IEEE Trans. Inform. Theory, vol. 48, pp. 2201-2214, Aug. 2002. https://doi.org/10.1109/TIT.2002.800499
  14. L. Rey Vega and H. Rey, A Rapid Introduction to Adaptive Filtering, SpringerBriefs in Electrical and Computer Engineering, chapter 2, 2013.
  15. 조용수, 김재권, 양원명, MIMO-OFDM 무선통신과 MATLAB, 홍릉과학출판사, 2008.
  16. Jinho Choi, Optimal Combining and Detection: Statistical Signal Processing for Communications, Cambridge University Press; 1st edition (March 8, 2010), chapter 4
  17. 이문호, 펑부스, "세명의 사용자를 위한 협력 다중점 송수신(CoMP)에서의 격자(Lattice) 부호 대칭 간섭 채널", 전자공학회 논문지 TC편, Vol.49, No.6, 2012.06