基于IB方法的无冗余多视角聚类

针对数据中多视角模式挖掘的问题,提出一个基于IB方法的无冗余多视角聚类算法:NrMIB.该算法一方面采用IB思想来最大化地保存聚类结果中的信息量,以确保高质量的聚类结果;另一方面通过最小化聚类结果与已知数据划分模式间的互信息来确保新的聚类结果相对于已知划分模式是无冗余的.NrMIB算法既适宜于分析共现数据,又适宜于分析欧氏空间非共现数据,可挖掘出数据中线性及非线性可分模式,无需额外参数来估算欧氏空间的信息量.在人工构造数据模式识别、人脸识别和文档聚类上的实验结果表明,NrMIB算法可有效地挖掘出数据中所蕴含的多个合理划分模式,性能优于传统单视角聚类算法及3个现有的无冗余多视角聚类算法.

基于数据选择模型的IB算法

针对数据对象自身模式特征明确程度的不同给IB(Information Bottleneck)方法数据分析带来的问题,定义一个"基于明确因素"的数据选择模型,使得IB方法可从数据集中选取模式特征较为明确的数据对象并对其进行模式分析,提出DSIB(Data Selection Information Bottleneck)算法.DSIB算法采用数据压缩过程中所产生的信息损失作为数据对象模式特征是否明确的判定条件,使用"边选择边学习"的顺序"抽取-合并"策略来优化DSIB目标函数.实验结果表明:随着数据选择标准的不断提高,DSIB算法在提高数据分析精度的同时所牺牲的召回率较小;与未做选择的数据分析算法相比,DSIB算法可更好地识别出数据中所固有的内在模式.

基于最大化交叉互信息的对称IB算法

对称IB(Symmetric Information Bottleneck)通过行、列压缩变量之间的相互协作来挖掘数据中的双向压缩模式.由于行、列压缩变量不能完全承载行、列基层变量中所蕴含的特征信息,从而导致对称IB所得的数据双向压缩模式与基层变量所蕴含的内在模式之间存在一定的偏离.针对该问题,通过最大化地保存压缩变量与基层变量交叉之间的互信息,将基层变量引入到数据的双向压缩中,使它们协助压缩变量共同来学习联合分布中的双向压缩模式,提出交叉对称IB:ICSIB(Inter-Correlated Symmetric Information Bottleneck).ICSIB算法采用交错的顺序"抽取-合并"迭代过程来优化压缩变量与基层变量交叉之间的互信息,可保证得到目标函数的一个局部优解.实验结果表明,在基层特征变量的协助下,ICSIB算法得到的数据双向压缩模式更接近于数据中真实的内在模式,并可有效地应用于数据的联合聚类中.

基于变异的迭代sIB算法

IB方法使用源变量和相关变量的联合概率分布对源变量进行最大化压缩,使压缩变量最大化地保存相关变量的信息.连续IB算法(sIB)是一种较好的、应用较多的IB算法之一,但该算法存在效率低、优化不充分等问题.为了解决sIB在应用中存在的这些问题,提出了一种基于变异的迭代sIB算法(isIB).isIB算法首先从相关实验中选取合理的变异率;基于该变异率,该算法从sIB算法所产生的初始解向量中随机选取相应比例的位置,对其中的类标号进行随机变异并优化;再通过多次迭代获得了相应的优化解.实验表明在数据集相同、基本sIB算法调用次数相同的条件下,isIB算法相对于sIB算法具有运行效率高、解更优化的特点.

一种面向非平衡数据的多簇IB算法

信息瓶颈(Information Bottleneck,IB)方法在处理非平衡数据集时,倾向于将大簇中的数据对象划分到数据规模较小的小簇中,造成了聚类效果不理想的问题。针对该问题,提出了一种面向非平衡数据的多簇信息瓶颈算法(McIB)。McIB算法采用向下抽样方法来降低非平衡数据集的倾斜度,使用先划分再学习后合并的策略来优化IB算法处理非平衡数据的合并抽取过程。整个算法包含3步:首先根据分离标准来确定抽样比例参数;然后对数据进行初步的聚类,生成可信赖的多个簇;最后再利用簇之间的相似性对簇进行合并,组织多个簇代表每个实际的簇来得到最终的聚类结果。实验结果表明:所提算法能够有效地解决IB方法在非平衡数据集上的"均匀效应"问题;与其他聚类算法相比,McIB算法的性能更优。

一种特征加权的顺序IB算法

提出了一种基于特征加权的IB算法—wsIB算法,该算法融入了ReliefF算法,对特征进行加权,抑制了冗余特征,强化了有效特征。在加权变换后的特征空间中进行聚类,实验结果表明,该算法优于sIB算法。

融合扩展信息瓶颈理论的话题关联检测方法研究

话题关联检测的关键任务在于判断给定报道对是否属于同一话题.现有判断方法往往忽略种子事件与其直接相关事件之间的层次关系.为此,通过分析报道内部语义分布规律及篇章结构,并依据语义分布规则,利用语义分布规律改进信息瓶颈(Information bottleneck,IB)算法,用于子话题逻辑语义单元的划分,并利用这些逻辑语义单元表示报道,进行话题关联检测.实验证明该方法有较快的收敛速度,并在一定程度上提高了系统性能.

基于信息瓶颈方法的出租车空载聚集区聚类算法

在交通物联网中,出租车以其方便、快捷的特性扮演着重要角色.但是,出租车服务的动态、随机和异步并发的特性使得其难以采用微分、差分等数学方法描述.其中,出租车空载问题是公认的智能交通的最大难题之一.提出在GPS数据的基础上,基于信息瓶颈方法来聚类城市内出租车的空载聚集区域,从而指导空载车辆规避这些区域,以此达到提高出租车载客率的效果.出租车空载聚集区聚类算法将出租车视为原变量,GPS数据视为相关变量.目标是寻求压缩变量,在尽可能压缩出租车簇的个数的同时,最大化保留空载聚集区域的相关信息.在某城市出租车的真实GPS数据集上的相关实验表明,算法可以准确识别空载聚集区.

基于信息瓶颈聚类的多聚焦图像融合

提出一种基于信息瓶颈聚类的多聚焦图像融合方法。该方法采用信息瓶颈算法对源图像进行聚类分析,获得联合的聚类表示;由非下采样Contourlet变换对源图像进行多分辨率分解,通过联合聚类表示指导各频域系数融合;采用非下采样Contourlet逆变换重构获得融合图像。实验结果表明,该方法具有良好的客观评价性能和主观视觉效果。

基于信息瓶颈的变压器故障诊断算法

为保证电网安全运行,解决变压器故障早期预警问题,提出一种基于信息瓶颈的变压器故障诊断方法。该方法分为两个阶段,采用信息瓶颈方法对数据进行聚类,得到簇内相似性最大的结果簇;通过簇内训练样本的简单多数投票,确定待测样本的故障类别。实际数据集上的实验结果表明,该方法是可行有效的,相比大卫三角形法、贝叶斯算法和神经网络算法,该算法的分类结果正确率分别提高了14.65%、25.00%和11.23%。

基于信息瓶颈法的图像分离-合并分割算法

在图像处理中,分割算法是其主要研究焦点之一。针对该问题,提出基于信息瓶颈法的新图像分离-合并分割算法。该方法的目的是抽取与输入相关的一个变量的紧密表征,并使得在考虑与输出相关的另一个变量互信息的损失最小。首先,基于一系列图像区域和强度直方图集合之间定义信息渠道,在此渠道中,以互信息的最大化来优化图像分割法;然后,通过最小化互信息损失,完成在上一阶段中获得的多区域合并过程。在二维图像上做的实验表明所提出算法的性能。

一种优化的顺序IB文本聚类算法

针对顺序 IB(sIB)算法在文本聚类上存在的诸如易陷入局部优解、效率较低等问题,基于模拟退火方法,提出一种优化的顺序文本聚类算法(SA-isIB).该算法根据一个合理的退火序列,从基本 sIB 算法产生的初始聚类结果中随机选取一定比例的文本,对其类标记进行随机修改并重新对解进行优化,经过退火过程后,得到比 sIB 算法精度更高的文本聚类结果.文本数据集上的实验结果表明,SA-isIB 能有效提高 sIB 算法用于文本聚类的精度.

基于信息瓶颈算法的图像语义标注

首先采用改进的 k 均值无监督图像分割算法将图像分割成不同的区域,提出信息瓶颈聚类方法对分割后的区域进行聚类,建立图像语义概念和聚类区域之间的相互关系.然后对未标注的图像进行分割,在给出分割区域的条件下,计算每个语义概念的条件概率,使用条件概率最大的语义关键字实现图像语义的自动标注.对一个包含500幅图像的图像库进行实验,结果表明,本文方法比其它方法更有效.

网络文本分类中基于信息瓶颈的特征提取

针对网络文本特征关键词多、新词多的特点,提出了一种基于概念特征的文本分类提取方法。应用信息瓶颈法,根据关键词在不同类标号上的分布情况完成关键词聚类。在此基础上,结合概念抽取的方法,将词聚类结果映射到知网义原,并以此作为分类特征。在网络文本语料上的分类实验显示,该方法保留了基于概念特征提取方法的鲁棒性强、特征维数低的优点,但克服了概念词典中新词无定义,需要维护更新词典的不足。