基于互信息最大化的特征选择算法及应用

该文以互信息最大化原则为指导,经过推导和分析后提出了一种基于信息论模型的新的特征选择算法,称之为基于互信息最大化的特征选择算法(MaxMI)。基本思想就是特征选择后,应当尽可能多地保留关于类别的信息。该算法与传统的信息增益、互信息和交叉熵在表达形式上具有一定的相似性,但是并不完全相同。从实验上验证了基于互信息最大化的特征选择算法优于其它三种算法。

一种基于互信息最大化的模型无关基因选择方法

针对大规模基因芯片高维度的基因表达数据存在大量无关和冗余特征可能降低分类器性能的问题,提出了一种基于互信息最大化方法(MMI)和与遗传算法的模型无关的基因选择方法来将特征选择转化为全局优化问题,其中的适应度函数定义为类间距离与类内距离之比,适应程度高。为了评价算法的性能,采用3个数据集进行了实验,结果表明MMIGA-Selection取得了较好的效果,在每个数据集上获得了较高的5折交叉验证正确率。MMIGA-Selection主要有两个优点:一是可以有效减少冗余基因;二是模型无关性,选择得出的特征子集可直接用于其他类型的分类器,分类精度较高。

基于云平台的互信息最大化特征提取方法研究

随着大规模基因芯片的应用,针对高维度的基因表达数据存在大量无关和冗余特征可能降低分类器性能的问题,提出了一种基于云平台的互信息最大化特征提取(CMI-Selection)方法。Hadoop云计算平台对基因表达数据划分后进行并行计算,同时结合互信息最大化方法对特征进行提取,实现了云计算平台上的特征过滤模型。实验结果表明,基于云平台的互信息最大化特征提取方法能够在保证较高分类精度的情况下,快速提取特征,节省大量时间资源,是一种高效的基因特征提取系统。

一种基于互信息最大化的Raptor码优化设计方法

Raptor码通过级联预编码可以很好地改善错误平层问题,但编译码的复杂度相对较高。为了降低级联Raptor码的复杂度,提出一种基于互信息最大化的Raptor码优化设计方法。该方法基于外部信息转移图的渐进收敛分析,从最大化互信息的角度出发,得到有限迭代次数约束下的校验节点度分布的数学模型。仿真结果表明,当译码迭代次数一定时,基于互信息最大化设计的Raptor码与码率最大化设计的Raptor码相比,具有更好的误码性能。

一种基于邻域互信息最大化和粒子群优化的特征基因选择方法

针对基因表达谱数据高维度、低样本和数值型的特点,为了选出对分类有用的特征基因,提出了一种基于邻域互信息最大化和粒子群优化的特征基因选择方法.该方法首先基于邻域互信息最大化对基因进行排序,然后选择出排序在前且冗余较少的基因构成初选特征基因集合,最后用初选特征基因集合对粒子群优化算法的部分种群进行初始化,能较快的搜寻到较优的特征基因子集.实验结果表明,该算法可快速有效地选择特征基因,并获得较高的分类精度.

基于互信息最大化和特征聚类的特征选择

提出一种互信息最大化和特征聚类相结合的特征选择法,并将其应用于邮件识别。通过互信息最大化从原始特征空间中选择次优特征子集,借助于特征空间的聚类来剔除冗余特征,从而实现特征空间的再次降维。实验结果表明该方法是一种有效的特征选择法。

基于互信息最大化的多视图协作学习算法在智能岗位推荐上的应用

为了解决在线求职平台中大量求职数据和企业招聘数据之间的精准匹配问题,文章设计了一种基于互信息最大化的多视角协作学习算法,以特定的预测分析和分值计算模型为基础,提前对人岗的基础信息做基础训练,对冷信息做预测模型,对热数据做取向加权计算,以解决就业信息中人岗匹配精准度和速度性能的相悖性问题,并将算法成果应用到公共服务云平台的智能岗位推荐工作场景中。

结合对抗互信息的多变量时间序列抗噪异常检测

近年来,对多变量时间序列的异常检测在各领域中逐渐突显出其重要性。然而,由于多变量时间序列的时空依赖性以及采集所存在的噪声干扰,使得模型学习到的分布与真实分布存在一定的偏差,进而影响检测性能。为了解决以上问题,提出一种结合对抗互信息的多变量时间序列抗噪异常检测模型(RADAM)。通过设计对比学习机制来达到多变量时间序列全局信息和局部信息的互信息最大化,以此来学习多变量时间序列的时间与空间依赖性;利用自适应权重和过滤器模块减少噪声样本对于训练过程的干扰,使模型在训练过程中具备较高的抗噪能力。在五个真实数据集上与六个先进的同类异常检测方法进行了对比实验,实验结果证明RADAM性能明显优于其他基线模型,说明RADAM能显著提升在包含噪声的多变量时间序列数据集上异常检测的准确度。

融入时间信息的预训练序列推荐方法

序列推荐旨在根据用户与项目的历史交互序列,学习用户动态偏好,为用户推荐后续可能感兴趣的项目。基于预训练模型在适应下游任务方面具有优势,预训练机制在序列推荐中备受关注。现有序列推荐预训练方法忽略了现实中时间对用户交互行为的影响,为了更好地捕获用户与项目交互的时间语义,提出了融入时间信息的预训练序列推荐模型TPTS-Rec(Time-aware Pre-Training method for Sequence Recommendation)。首先,在嵌入层引入时间嵌入矩阵以获取用户交互项目与时间的关联信息。然后,在自注意力层采用同一时间点采样的方法以学习项目间的时间关联信息。最后,在微调阶段从时间维度扩增用户交互序列长度以缓解数据稀疏性问题。在真实数据集上的对比实验结果表明,与基线模型相比,所提模型TPTS-Rec的推荐效果有显著提升。

社交影响增强的图神经网络推荐方法

随着在线社交平台的发展,社交推荐已成为推荐系统中的一个重要任务.然而,用户间的社交关系通常具有稀疏性,这在一定程度上限制推荐系统的性能.为此,文中提出社交影响增强的图神经网络推荐方法,旨在利用用户之间的隐式社交关系增强社交推荐的效果.首先,分析用户与物品之间的交互数据,揭示隐含的社交关系,重构用户间的社交图.在此基础上,利用互信息最大化方法,有效融合社交图的全局特征与用户的局部特征.同时,将可学习机制融入图注意力网络中,充分捕获用户和物品间的交互信息.最后,提出一种改进的贝叶斯个性化排序损失,为评分预测任务提供准确的用户特征表示和物品特征表示.在3个公开数据集上的实验表明,文中方法性能较优.

一种改进的IR-HARQ功率分配方案

为了保证信息在无线衰落信道条件下的稳定传输,提出了一种基于正交幅度调制(Quadrature Amplitude Modulation,QAM)的增量冗余混合自动重传请求(Incremental Redundancy Hybrid Automatic Repeat Request,IR-HARQ)功率分配方案,计算了基于QAM的IR-HARQ传输链路的互信息,以提高数据吞吐率为目的提出了混合传输策略。在瑞利衰落信道下将该方案与最大化互信息策略和逆信道策略进行Matlab仿真比较,结果显示提出的混合传输策略有更高的数据吞吐率,且随着重传次数的增加,数据吞吐率迅速接近遍历容量。

基于铁路调度指挥作业指令的关键词识别技术应用研究

针对规范铁路调度人员的口头指令这一问题,计划使用关键词识别技术来对调度人员的作业指令进行识别记录,对不规范用语进行约束调整。采用基于关键词–废料模型的关键词识别技术,使用非词格依赖的最大互信息准则端到端训练方法,进行关键词识别模型训练,实现对铁路调度人员口头指令的自动识别。针对出现频率最高的2个关键词进行实验分析,研究该方法在工业场景下应用的可行性。实验结果表明,通过调节参数控制误识率,可达到一定的关键词识别率,具备应用可行性。

多级特征增强的图表示学习模型

针对图数据的表示学习在推荐系统、链接预测等图下游任务已展现出重要的研究价值。然而目前主流的方法存在一些缺陷:图卷积网络的固定传播模式限制节点表示的语义表达能力,以及编码器-解码器结构中的正则化重建阻碍学习节点间的差异化特征,这些都可能导致节点表示不能很好适应图下游任务。为此,基于互信息最大化理论提出一种多级特征增强的图表示学习模型,能以无监督的方式生成高质量的节点表示。模型使用提取器保留节点原始属性中的差异化特征,利用注意力聚合器维持编码空间中节点分布的局部相关性和全局差异性,应用深度图信息最大化策略统一全局编码规则。实验结果证明,在几个基准图数据集上该模型在直推式学习和归纳式学习下的编码表现均超过了所有的主流对比基线。

电影中吸烟活动识别

电影中的活动识别是计算机视觉领域的一个难点问题.传统识别算法受到电影中镜头视角变化、场景变化和光照变化等因素的影响,使得其对于真实场景活动识别的效果较差.针对上述问题,提出一种新颖的基于互信息的组合识别方法.该方法以纯贝叶斯互信息最大化构造初始框架,针对"吸烟"这类极具代表性的动作,将活动的SIFT信息和STIP信息融合得到最优的组合分类器.该方法在电影《咖啡和烟》中进行了测试,实验结果表明,该方法具有很好的鲁棒性,并且很大程度上提高了抽烟活动的识别率.

融合JMIM和NGBoost的电力系统暂态稳定评估方法

为实现电力系统暂态稳定在线快速评估和可信度评价,提出了一种融合联合互信息最大化(JMIM)和自然梯度提升(NGBoost)的暂态稳定评估方法。基于JMIM,采用联合互信息和“最大最小值”原则挖掘海量输入数据的相关性,从而筛选出电网关键运行特征,避免维度爆炸问题。为实现高可信度的暂态稳定评估,构建NGBoost驱动的暂态稳定评估模型,可以以函数形式对模型的条件概率分布参数进行预测,进而实现概率预测,并量化可信度。结合自适应可信度阈值修正方法,实现对系统受扰状态暂态稳定的时序评估。利用新英格兰10机39节点系统和中国某省级电网数据进行了算例测试。与其他机器学习方法相比,所提方法在噪声干扰下具有更好的鲁棒性,可更准确识别不稳定运行状态。

面向多故障诊断的分层架构及其实现

多故障并发时,故障征兆表现复杂,并非多个单故障征兆的简单叠加,而且故障振动信号往往具有非稳态性,加大了多故障诊断的难度。为此,提出了一个面向多故障诊断的分层架构。联合应用互信息最大化准则与灰色关联分析,对待诊断的多故障与潜在的单故障模式之间的关联特性进行定量评价,据此建立候选故障集合;在此基础上,分别提取候选故障与多故障模式的小波变换能量矩特征,用于自组织映射网络的训练与测试;借助自组织映射网络的拓扑映射能力,在特征空间对耦合特征解耦分离的同时实现多故障模式的判别。实验结果表明,所提方法应用于多故障诊断是有效的。而且,它可以在多故障并发情况下对所识别出的各个单故障的严重程度进行排序,有利于制定合理的维修决策。

基于多模态融合的视频情感分析技术

介绍一种视频多模态情感识别方法。一个视频通常通过文本、声音和视觉图像等多模态信息来表达同一种情感主题,而如何将同一个视频中不同异构数据之间的信息融合并最大程度地利用是目前需要重点攻克的难题。通过互信息最大化的方法,高效融合视频中的文本、声音与视觉图像等多模态异构数据,尽可能多地消除模态之间的差异,最终实现对视频的情感进行识别分析。在公开的MOSEI多模态数据集上进行实验,实验结果显示MAE值达55.4。相比之前的一些模型,本模型效果更优,且实验模型构造不繁琐,为后面相关的研究打下良好的基础。

基于支持向量回归算法的抗乳腺癌药物活性预测

根据候选药物中分子描述符对应的生物活性指数,利用条件互信息最大化准则选出了20个具有显著影响的特征分子描述符。借助所选特征分子描述符建立了支持向量回归算法,并对新合成化合物的生物活性进行预测和分析。利用sklearn中metric模块对预测结果进行了拟合,验证了预测结果的正确性。

长(特长)隧道视频检测系统分析

利用视频检测技术可以为长(特长)隧道提供丰富的交通运行参数,但由于隧道环境条件所限,目前视频检测技术在隧道内使用存在诸多问题。本文在对长(特长)隧道视频检测系统进行认真分析的基础上,提出将整个隧道视频检测作为一个大系统对象,综合提取其交通运行的参数,应用后台信息处理方法,以提高各检测参数的可靠性。

多模态情感分析模型对抗攻击评估与防御方法

为系统探究多模态情感分析模型在对抗攻击下的鲁棒性,采用3种经典对抗攻击方法(快速梯度符号方法、投影梯度下降和动量迭代快速梯度符号方法)、2种模态数据输入(视觉和语音)和4种不同的数据特征融合方法(特征相加、特征拼接、多模态低秩双线性和多模态Tucker融合),对比各种组合下模型的性能表现,研究影响多模态情感分析模型鲁棒性的内在因素.提出一种基于互信息最大化的多模态防御方法,通过减少输入模态特征中的冗余信息提升模型鲁棒性.研究结果表明:在非线性特征融合及双模态数据输入组合下,模型抵御对抗攻击效果最佳;在应用互信息最大化防御方法后,模型性能及抵御攻击能力均可得到有效提升.