关于信息度量问题的思考

为克服Shannon熵的局限性,修改了Shannon熵的公理,用公理化的方法,推导出具有有限分布列的离散型随机变量的信息量系。并且将它推广到任意具有可数无限分布列的离散型随机变量和随机向量。证明了信息量系的最大信息量定理,可加性定理,广义可加性定理、互信息定理、独立性定理等性质。对信息量系中参数值的选取提出建议。

关于信息度量算法的进一步研究

Shannon熵在信息论的发展和应用中起着关键的作用,但是Shannon熵还存在许多局限性。为了更好地克服Shannon熵的局限性,在前人的基础上修改了Shannon熵的公理。用公理化的方法,推导出了有限分布列的离散型随机变量的信息量系,不仅将它推广到连续型随机变量,而且将信息量系的最大信息量定理推广到连续型随机变量,统一了离散型和连续型随机变量的信息度量算法。最后利用得出的结论对连续型随机变量信息熵给出两个验证性算例。