熵与信息价值

“熵”是物理学中的一个名称,它与温度、体积一样,是物质系统状态的一个函数,它表征系统的紊乱程度或说不确定性程度,系统越“乱”,越不确定,熵值便越大;系统越有序,越确定,熵值便越小。熵这个名词一出现,即与信息联系在一起,信息论创始人仙农引进熵这个名称时,曾把它视为不确定性的代名词。著名物理学家波尔兹曼曾说过:“熵是一个系统失去了的‘信息’的度量”,粗略地说。