广义熵和广义互信息的编码意义

本文首先简要介绍了作者早些时候提出的预测熵、广义熵和广义互信息，然后讨论了预测熵、广义熵和广义互信息的编码意义，定义了限误差信息率Ｒ（ＡＪ），证明了广义熵是给定误差限制ＡＪ时的Ｓｈａｎｎｏｎ互信息的最小值，说明了广义熵、限误差信息率和信息率失真之间的关系。用广义信息量Ｉ（ｘｉ；ｙｉ）代替经典理论中的失真量ｄ（ｘｉ，ｙｉ），从而把信息率失真论改造为保精度信息率论。文中同时提供了推导出的二元相似信源的保精度信息率函数，和上机计算出的以图像视觉为例的多元相似信源保精度信息率函数Ｒ（Ｇ），并提供了Ｒ（Ｇ）和信源量化等级及主观分辨率的关系。保精度信息率论不只是关于数据压缩的理论，同时也是关于优化客观信息和主观理解相匹配的理论。

B-模糊集合代数和广义互信息公式

基于两种概率的区分,推导出了一个广义Shannon熵公式和一个广义互信息公式。后者和模糊性有关,并且可用于语言和感觉中的信息度量。为了由原子语句为真的条件概率求出复合语句为真的条件概率,提出了一个遵循布尔运算的模糊集合代数。所谓的模糊信息被还原为概率信息。新的理论在经典理论——概率论,集合论及Shannon信息论——的基础上容易理解。

基于广义互信息的人脑图像配准研究

医学图像配准技术是目前医学图像处理领域的研究热点。我们在基于Shannon熵的相似性测度的基础上,提出了一种新的适于图像刚性配准的基于Rényi熵的广义距离量度——广义互信息(GMI),并将其用于人脑的三维医学图像的配准。经仿真实验证明:基于广义距离的配准测度是Shannon熵的互信息测度的自然推广,它们有着不同的适用范围。广义互信息比一般意义下的互信息节省时间,并且能够体现配准图像间更多的一致性,配准效果在很大程度上满足了临床的应用要求。

一种基于广义互信息的图像配准算法

互信息作为图像配准中的相关度矩阵有着广泛的应用,通常采用的是基于Shannon熵的互信息。采用一个广义的信息熵——Renyi熵,提出了一种基于广义互信息的图像配准方法。在全局搜索阶段,采用q取较小值的Renyi熵,此时,Renyi熵可以消除局部极值,再通过局部优化方法对当前的局部最优解进行局部寻优,以找到全局最优解;在局部优化阶段,使用基于q→1时的Renyi熵的归一化互信息测度作为目标函数。实验结果表明:相对于归一化互信息图像配准算法,基于Renyi熵的互信息配准算法有良好的配准效果,且提高了配准速度。

新的独立性度量及其在混沌信号分析中的应用

发现独立性可用一种简便的数格子方法估计 ,据此提出了“占格率”这一全新的独立性度量 .接着又提出了一类无穷多种独立性度量———准熵 ,它们将变量经分布函数变换后量化 ,再用凸函数对其联合概率的均匀性进行度量 .占格率的数学期望也是一种准熵 .此外 ,还提出了广义互信息及其递归算法 ,将传统的互信息推广到一类无穷多种独立性度量 .上述新度量对连续变量的分布不作先验假设 ,而是从样本中得出分布函数值的无偏估计 ,因此适合于根据观测值估计任意连续分布变量的独立性 .本文还将新度量用于混沌信号分析 ,表明它们都是在经典的互信息之外的奇异吸引子重构时延的好的选取准则 .

时间序列间统计依赖性测量的一种改进方法

提出了利用改进的广义互信息测量 2个随机变量之间非线性统计依赖性的方法 ,在此基础上获得了利用关联积分计算 2个具遍历性的观测时间序列之间统计依赖性的公式 ,并与利用互信息和广义互信息测量 2个观测时间序列之间统计依赖性的方法进行了比较 。

BICM-OFDM失配解调修正研究

考虑多路窄带干扰及非理想信道估计所造成的影响,采用常规的译码方法会使系统的信道适应力下降,降低与其他系统的兼容性,导致系统性能变差。因此,分析比特交织编码调制-正交频分复用(BICM-OFDM)系统中的解调失配现象,提出一种基于广义互信息(GMI)和对数似然比(LLR)的二维修正解调算法,并推导得到了基于信道转移概率的最佳LLR。理论分析及数值仿真结果表明,该修正解调算法与传统译码方法相比,可以在GMI和误码率等方面显著提高系统性能。