熵、信息量与情报科学

熵是十九世纪为研究热机的物理化学过程而引入的一个热力学概念,而信息量则是二十世纪信息论与控制论中提出的一个重要概念.源于不同领域的这两个概念都与几率概念有紧密联系,从而找到了共同点.所不同的是,熵是系统紊乱程度的量度,而信息量则是系统有序程度的量度.情报科学是新兴的信息科学的一个重要组成部分,它尚处于连定义都在争论的不成熟阶段.因此,如果能将现代自然科学与社会科学的理论成就应用于情报领域,对于促进情报由经验上升为理论的历史进程。