最大相关最小冗余两阶段文本特征选择方法

目的为解决传统卡方统计法(CHI)仅考虑文本特征与文本类别的相关性进行特征选择,未考虑特征之间的冗余性,导致文本分类的性能不佳的问题。方法使用最大相关最小冗余原则,对CHI法初次选择的特征子集,利用强相关低冗余思想有目的地筛选低冗余特征,提升文本特征选择效果,提出一种基于最大相关最小冗余的两阶段文本特征选择方法(CHI_impMI)。结果对复旦大学新闻文本语料进行分类,相比于CHI和CHI_MI特征选择方法,CHI_impMI方法的性能指标均为最优,文本分类效果最好。结论CHI_impMI方法在相关度与冗余度之间达到了很好的平衡,从而有效提升文本分类性能。

基于ReliefF和最大相关最小冗余的多标记特征选择

针对现有的特征选择模型未涉及特征和标记集之间的相关度,造成分类精度偏低等情况,提出了基于ReliefF和最大相关最小冗余(maximum Relevance and Minimum Redundancy,mRMR)的多标记特征选择.首先,运用互信息计算每个标记和标记集之间的相关度,使用每项相关度占其相关度之和的比例设计了标记权重,由此构建了特征和标记集间的相关度,初选与标记集相关度高的特征;其次,计算对象在特征上的距离,构建了新的特征权值更新公式,基于标记权重改进多标记ReliefF模型.然后,基于互信息和标记权重构建了最大相关性,设计了最小冗余性及其新的最大相关最小冗余评价准则,并将其应用于多标记特征选择,进一步剔除冗余特征;最后,设计了一种基于ReliefF和最大相关最小冗余的多标记特征选择算法,有效提高了多标记分类性能.在8个多标记数据集上测试所提算法的平均分类精度、覆盖率、汉明损失、1错误率和排序损失,实验结果证明了该算法的有效性.

基于零信任架构与最小权限原则的配电终端物联网数据共享访问控制方法

为最大程度保护配电终端物联网数据共享安全,提出基于零信任架构与最小权限原则的配电终端物联网数据共享访问控制方法.构建基于零信任的物联网数据共享访问控制框架,通过身份认证模块检验用户身份和访问控制权限,利用IDS模块辨别用户入网后的明显网络攻击行为,用户行为度量模块的行为信任度量代理,依据存储在信任度量数据库中的用户历史行为度量数据计算用户信任度,对用户的行为信任等级进行周期性评估,识别长期潜伏且高度隐蔽的网络攻击行为,基于行为信任的访问决策代理以用户信任等级为依据,依据最小权限原则进行用户-角色分配,制定和实施访问决策;物联网控制器根据信任度量结果动态调整用户资源访问的权限,通过发送流表的方式实现用户配电终端物联网资源访问权限的动态调整.实验结果表明,该方法能够准确控制物联网数据的共享访问,且综合性能更全面,在完成用户访问任务的同时拥有的冗余权限最少,既满足了用户访问要求又保证了网络数据安全.

基于改进最大相关最小冗余判据的暂态稳定评估特征选择

提出一种基于改进最大相关最小冗余判据(maximal relevance and minimal redundancy,mRMR)的暂态稳定评估特征选择方法。首先对标准mRMR方法进行改进,在最大相关、最小冗余判据中引入一个权重因子以细化对特征相关性和冗余性的度量。然后,考虑相量测量单元可以提供的故障后实测信息,构造由系统特征构成的原始特征集,将改进的mRMR应用于特征选择。通过增量搜索算法得到一组嵌套的候选特征子集,并使用支持向量机分类器验证各候选特征子集的分类性能,选择得到具有最大分类正确率的特征子集。基于新英格兰39节点系统和IEEE 50机测试系统的算例结果验证了所提特征选择方法的有效性。

基于最大相关最小冗余相关向量机的风电功率缺失数据补齐研究

首先分析得出与功率有关的变量,然后根据互信息理论对变量通过最大相关最小冗余的原则进行特征选取,挖掘特征与功率之间的联系,最后根据这种联系对功率数据进行补齐。利用该方法对吉林省某风电场进行算例验证,结果表明,随机缺失的数据补齐之后的准确率高于连续缺失后补齐的结果,而且基于相关向量机模型补齐的输出功率的结果误差减小,准确率提高。

改进的最大相关最小冗余特征选择方法研究

特征选择方法作为重要的数据预处理工作一直受到各个领域的关注。在分析现有的特征选择方法的基础上,针对MRMR方法中存在的冗余度和相关性评价方法单一,不能根据用户需求设置特征维度等问题进行了改进。在冗余度计算过程提出一种新的简单快速的计算方法;在计算权重过程中提出针对不同数据选用不同的特征评价方法;引入新的目标评价函数来进行特征选择。在五个经典的用于生物认证领域的特征数据库(FERET、CASIA、ORL、PIE和扩展的YaleB)上验证了算法的有效性,实验结果充分证明了改进的最大相关最小冗余算法的优势。

基于最大相关-最小冗余的动作识别算法

为了提高动作的识别精度与鲁棒性,降低冗余特征,提高算法效率,设计了一种基于最大相关-最小冗余(Max-Correlation and Min-Redundancy,MCMR)的动作识别算法.首先,为了消除噪声影响,减少计算成本,利用符号聚集近似(SAX)技术将连续图像序列转换为离散符号;其次,为避免出现时间漂移问题,利用动态时间归整(Dynamic Time Warping,DTW)来计算符号特征的距离,提取符号序列的特征;然后,为了消除冗余的特征,定义了一个特征权重,根据权重对特征进行降序排列,引入最大相关-最小冗余技术消除相关性弱的特征,筛选出具有高相关性和低冗余的特征;最后,为了完成动作识别,根据筛选出的特征,利用k-近邻(K-Nearest Neighbor,KNN)进行分类器学习.结果表明:与当前动作识别算法相比,本文算法能够有效完成动作的识别与理解,具有较高的识别率,有效地降低了冗余特征,提高了算法的效率和鲁棒性.

面向文本分类的基于最小冗余原则的特征选取

在文本分类中,为了降低计算复杂度,常用的特征选取方法(如IG)都假设特征之间条件独立。该假设将引入严重的特征冗余现象。为了降低特征子集的冗余度,本文提出了一种基于最小冗余原则(minimal RedundancyPrinciple,MRP)的特征选取方法。通过考虑不同特征之间的相关性,选择较小冗余度的特征子集。实验结果显示基于最小冗余原则方法能够改善特征选取的效果,提高文本分类的性能。

基于最大相关最小冗余朴素贝叶斯分类器的应用

目的将基于最大相关最小冗余(maximum relevance minimum redundancy,MRMR)的朴素贝叶斯分类器(naive bayesian classifier,NBC)应用于基因表达数据并与经典NBC、随机森林(random forests,RF)进行比较。方法采用Matlab与R软件编程,应用结肠癌与肺癌基因表达数据集,分别采用上述三种方法进行比较研究,使用10-折交叉验证方法估计经典NBC与RF的分类准确率。结果应用MRMR-NBC分析结肠癌基因表达数据集显示,采用信息熵(mutual information quotient,M IQ)法,当特征m=11时分类准确率达93.55%;而采用信息差(mutual information difference,M ID)法时,当m=15时分类准确率达到95.16%。应用MRMR-NBC分析肺癌基因表达数据集显示,采用MIQ法,当m=14时分类准确率最高达98.63%,而采用MID法时当m=12时分类准确率达到97.26%。而采用经典NBC分析结肠癌与肺癌基因表达数据时,分类准确率分别为66.67%、80.00%;RF在分析结肠癌与肺癌基因表达数据时,分类准确率分别为81.89%、77.62%。结论 M RM R-NBC能在仅有极少属性参与分类时,得到较高的分类准确率,优于经典NBC与RF。

利用最小冗余最大相关和SVM的SAR图像海上溢油识别

近年溢油事故频发,海洋污染日益严重。利用合成孔径雷达(SAR)卫星可以有效跟踪由海上溢油事故导致的油膜扩展情况。利用最大冗余最小相关-支持向量机(mRMR_SVM)算法进行SAR图像溢油识别,为溢油事故决策支持提供重要前提。首先采用mRMR提取最优特征向量集,对输入值进行降维;然后采用SVM算法解决油膜图像分类问题,同时选择径向基函数(RBF)为核函数;使用训练集训练该模型,调整模型参数;以测试集特征向量作为输入,利用训练好的模型进行溢油识别。实验结果表明,mRMR_SVM模型对SAR图像的油膜和类油膜识别有效,准确率为96.875%。

基于邻域互信息最大相关性最小冗余度的特征选择

特征选择是一种重要的数据预处理步骤,其中互信息是一类重要的信息度量方法.本文针对互信息不能很好地处理数值型的特征,介绍了邻域信息熵与邻域互信息.其次,设计了基于邻域互信息的最大相关性最小冗余度的特征排序算法.最后,用此算法选择前若干特征进行分类并与其它算法比较分类精度.实验结果表明本文提出算法在分类精度方面且优于或相当于其它流行特征选择算法.

基于最大相关最小冗余的多标记特征选择

针对多标记学习中高维数据运行速度问题,提出一种基于最大相关最小冗余的特征选择算法ML-MRMR。利用数据与标记的互信息,获得了最大相关性最少冗余性特征集合。分析了所选特征百分比与精度关系。实验结果表明,所提出算法在速度和精度上都具有明显的优势。

基于最大相关最小冗余准则的变压器故障诊断特征选择

电力变压器油中溶解气体分析(DGA)技术广泛应用于变压器内典型故障诊断,其中基于DGA数据的人工智能诊断方法在变压器故障诊断领域具有较高的识别率,但该类方法在选择故障特征量时尚无统一的标准。鉴于此,本文尝试引入最大相关最小冗余算法(mRMR),以互信息理论为基础挖掘变压器故障特征量之间以及特征量与故障类型之间的关联关系,通过分析大量的DGA在线监测数据挖掘出最优的变压器故障特征量集,并采用支持向量机(SVM)分类器对比优选特征量集和传统的特征量集合在变压器故障诊断的效率。最后,通过与SVM智能分类、IEC推荐的三比值分类方法的对比测试表明该方案的故障诊断准确率优于传统的故障诊断方案,故障识别效率高于新型的人工智能诊断方案,更适合于现场的工程应用及推广。

基于最大信息系数和最大相关最小冗余的特征选择算法研究

基于Reshef提出的具有普适性与公平性的测度函数MIC,并结合最大相关最小冗余的理念,发展一种“最大相关最小冗余可比”的特征选择算法MIC-mRMR。以5个UCI数据为例,采用SVM预测模型进行验证,得到优于传统最小相关最大冗余算法的结果。

基于最大相关和最小冗余准则及极限学习机的癫痫发作检测方法

癫痫发作检测可以实现脑电分类和病灶定位,对癫痫的临床治疗具有重要意义。针对大数据量、高特征值空间长程脑电的快速和准确分类问题,提出一种基于最大相关和最小冗余准则及极限学习机的癫痫发作检测方法。对脑电信号进行短时傅里叶变换,并选取能量时频分布为特征,利用基于最大相关和最小冗余准则的方法进行特征选择,并使用极限学习机、支持向量机和反向传播算法对癫痫不同状态进行分类和判别。实验结果表明,极限学习机的分类准确率和训练速度两方面性能优于支持向量机和反向传播算法,发作间期和发作期的分类准确率达到98%以上,训练时间仅为0.8 s,所提方法能够实时准确地检测癫痫发作。

最大相关最小冗余限定性贝叶斯网络分类器学习算法

朴素贝叶斯分类器(nave bayes)是一种简单而有效的基于贝叶斯思想的分类方法,但它的属性条件独立性假设并不符合实际,影响了它的分类性能。BAN(bayesian network augmented nave bayes)分类器扩展了朴素贝叶斯分类器,使其表示属性之间依赖关系的能力增强,但是其学习算法需要大量的高维计算,在小采样数据集上,影响BAN分类器的分类性能。基于改进的最大相关最小冗余特征选择技术,提出限定性贝叶斯网络分类器学习算法(k-BAN)。本算法使用改进的最大相关最小冗余特征选择技术,通过选择属性结点的连接关系集合建立属性之间的依赖性关系。将该分类方法与NB,TAN和BAN分类器进行实验比较。实验结果表明,在小采样数据集上,本算法获得的限定性贝叶斯网络分类器具有更高的分类准确性。

基于改进最小冗余最大相关及私有化预测用于抗菌肽活性的QSAR研究

基于地统计学和氨基酸理化性质对氨基酸序列进行特征提取,发展了一种改进的最小冗余最大相关特征选择方法,并引入了私有化预测结合支持向量机进行建模预测,得到了一种新的抗菌肽活性的预测方法。结果表明,地统计学关联特征能更好地表征氨基酸序列,特征选择对于高维回归数据的处理作用明显,同时能有效地增强模型的解释性,私有化预测能进一步提升模型的预测能力。所得新方法具有较好的预测能力及可解释性,在高维回归数据领域具有较为广泛的应用前景。

基于改进最大相关最小冗余的选择性集成分类器

在构建选择性集成分类器时,寻找分类准确率高且差异性大的最优分类器子集至关重要。为平衡集成子集中基分类器的准确性和多样性,提出了一种基于改进最大相关最小冗余的选择性集成分类器(ImRMRSEC)。首先,将基分类器对验证集的预测结果视为一个个“特征”,把特征选择的思想扩展到集成分类器的约简问题中,基于最大相关最小冗余准则寻找基分类器子集。其次,引入Gram-Schmidt正交化求取“特征”的等价向量,替代原向量输入最大相关最小冗余算法中,并基于距离相关系数(DCC)衡量相关性。同时,利用序列浮动前向选择方法搜索最优子集。实验结果充分展示了所构建分类器卓越的设计性能。

一种基于最大相关-最小冗余算法的输电线路故障定位方法

针对传统输电线路故障定位精度较低且易受故障后暂态分量影响的问题,提出一种基于数据驱动的输电线路故障定位方法。构建基于系统状态和故障位置的电力系统运行数据集,基于最大相关-最小冗余准则,在此数据集中挖掘关键特征与故障位置之间的隐含关系,提取与故障位置最大相关且变量之间最小冗余的关键信息,构建与故障位置最相关的核心变量集,应用曲线拟合技术获取运行变量与故障位置之间的数学解析关系,综合多个特征信息给出准确的故障定位结果。仿真验证结果表明,与传统基于阻抗的故障定位方法相比,所提方法具有更高的故障定位精度,同时对故障后出现的暂态分量也有良好的适应能力,是一种准确快速的输电线路故障定位新方法。

基于最大相关最小冗余-随机森林算法的多联机系统在线故障诊断策略研究

为了提高多联机系统制冷剂充注量故障检测率,本文提出一种结合最大相关最小冗余(minimal-Redundancy-Maximal-Relevance,m RMR)和随机森林(RandomForest,RF)算法的在线故障诊断策略。利用mRMR结合RF在训练集上进行特征选择,结合网格搜索和十折交叉验证对随机森林、决策树和支持向量机3种模型进行参数寻优,并将优化后的模型用于测试集中。在多个在线验证集上对mRMR-RF模型进行验证,结果表明:仅选择6个特征变量就可建立准确率达98.63%的随机森林诊断模型;3种诊断模型中,RF算法的诊断效果最好,整体分类准确率达到97.06%;在4个不同在线多联机系统上检验,其分类准确率分别为95.82%、85.74%、88.24%和93.96%,分类准确率均在85%以上。说明基于mRMR-RF的故障诊断模型具有较强的泛化能力。