熵与信息之关系的严格表述

1948年,申农(C.E.Shannon)在他所发表的信息论的奠基性论文中首次提出了信息熵(也称申农熵)的概念,建立了研究信息在通讯工程中传递过程的可靠性的数学理论。这是人类关于信息定量化的第一次成功的尝试。在此之后的四十年里,随着信息科学的深入发展和广泛应用,熵的概念已波及到自然科学乃至社会科学的各个领域。探讨并揭示信息熵概念的热力学基础,对于正确理解和使用信息熵来说是至关重要的。