机器学习中混合特征选择对模式预报广西春夏气温的订正研究

针对机器学习中单一特征选择方法性能不优良,结果稳定性差的问题,提出Spearman相关系数和XGBoost特征重要性混合的特征选择方法(SpearmanXgb),并结合RF、XGBoost和LightGBM 3种机器学习算法对ECMWF模式预报的广西春夏近地面2 m气温进行订正。结果表明:(1)混合特征选择方法在训练时间和均方根误差两方面,均优于单一的Spearman相关系数和XGBoost特征重要性特征选择方法,即训练时间减少19.7%和10.3%,均方根误差下降0.94%和0.64%。(2)3种模型预测的气温平均均方根误差相比模式分别下降了7.04%、7.47%和7.37%;预报前期(24~96 h)XGBoost的预报效果较好,预报中后期(120~240 h)LightGBM的预报效果较好。(3)由于广西东南部和东北部地形以山地、丘陵为主,地形较复杂,且易受台风、华南前汛期等复杂天气过程影响,气温变化幅度较大,ECMWF模式和3种机器学习模型对这两个地区的预报误差都较高。(4)利用SHAP值分析模型结果对各特征取值幅度的敏感程度,检验表明更准确的入选特征可不同程度降低模型的RMSE,为改善ECMWF模式预报效果提供了思路。

一种使用多Filter初始化GA种群的混合特征选择模型

特征选择已经是高维数据处理尤其是模式识别领域中的一个关键问题.提出一种混合特征选择模型用于从潜在的相关特征中选择那些最重要的特征.该模型包括两部分:filter部分与wrapper部分.在filter部分,4种不同的Filter方法分别对候选特征进行独立排序,在融合后进一步生成综合特征排序,综合排序随后产生遗传算法(GA)的初始种群.在wrapper部分,GA算法根据神经网络的分类准确率对个体(特征子集)进行评价,以便于搜索到最优的特征子集.测试结果表明,该模型不仅能有效地减少特征子集的大小,而且还可以进一步提高分类识别的准确率和效果.

一种混合特征选择方法及应用研究

针对目前基于机器视觉的棉花异性纤维在线检测的分类精度低和检测速度慢的问题,提出一种高效的棉花异性纤维混合特征选择方法。首先利用费舍尔评分滤波式特征选择方法过滤噪声特征,然后利用蚁群优化从已去噪的特征集中选取最优特征子集。提出的方法与费舍尔评分方法及基于蚁群优化的特征选择方法进行了对比分析,结果表明提出的方法选出的最优特征集仅包含12个特征,分类准确度达到93.45%,对一幅4000×500像素的彩色图像的在线检测时间仅为0.8116秒。所提方法能选择出具有较高分类精度、较小特征数量的优化特征子集,可以有效地改进棉花异性纤维检测的精度与效率,对提高现有基于机器视觉的棉花异性纤维在线检测设备性能具有重要的应用价值。

基于交互信息的混合特征选择算法

针对传统的特征选择算法只专注于特征间的相关性和冗余性而没有考虑特征之间交互作用的问题,提出一种基于交互信息的混合特征选择(hybrid feature selection based on mutual information,MIHFS)算法,该算法以K-最近邻算法的分类准确率作为衡量所选特征分类性能的评价指标,有效地去除了冗余和不相关的特征,保留了具有交互作用的特征。为了评估该算法的性能,从分类准确率、所选特征数量以及算法稳定性三方面,与最大相关最小冗余、联合互信息等7种特征选择算法在8个数据集上进行了实验比较和分析。实验结果表明:MIHFS算法具有较强的稳定性,不仅有效降低了特征空间的维数,而且在所选特征的分类性能方面明显优于其他特征选择算法。最后将MIHFS算法与灰色关联分析法-逼近理想解的排序技术法相结合并应用到高邮凹陷永安地区戴一段地质评价中,其评价结果准确率为80%,与实际钻探结果基本吻合,具有较高的可靠性,能够有效指导油气地质评价。

基于Spark的肿瘤基因混合特征选择方法

为处理随微阵列技术发展而急剧增长的肿瘤基因数据,实现对肿瘤基因数据的特征选择,结合集成特征选择和混合特征选择,提出一种Spark分布式计算框架的混合特征选择方法。利用F-score特征选择方法去除无关特征,进行初步特征选择,结合F-score、多分类支持向量机递归消除法、基于随机森林的特征选择3种方法得到最优的特征子集,并采用支持向量机对特征子集进行分类预测。实验结果表明,该方法能通过选择较少的基因达到较高的分类准确率。

基于自适应遗传算法的混合特征选择方法

高维数据含有大量冗余和噪音特征影响检测效果,维度过高使得系统训练时间长、实时性差。采用卡方(Chi Square)过滤算法,删除冗余和相关性低的特征;采用LightGBM算法作为封装方法组成混合特征选择算法,通过自适应遗传算法进行搜索获取最优特征子集。在入侵检测KDDCUP99数据集上进行3种算法的对比验证。实验结果表明,该方法具有较好的检测效果和特征约减能力。

基于语义增强的改进混合特征选择的文本分类

如何从文本中抽取出能够体现文本特点的关键特征,抓取特征到类别之间的映射是文本分类核心问题之一。传统的词袋模型的优点是将每个词视为一个特征,而缺点是计算成本会随特征数量和文本与特征之间的关系的增加而增加,并且没有考虑文本特征自身的语义关系,语义关系的优势是获取文本和特征之间的相关性。针对这个问题,提出一种增强混合特征选择方法,该方法使用混合特征选择进行降维,然后再使用词向量对低频词进行语义增强。为了验证增强的混合特征选择对文本分类的作用,构建了两个实验,使用LSTM算法进行分类模型训练与测试。对爬取的71825个新闻文本数据进行实验表明,基于语义的增强混合特征选择方法在文本分类时既提高了分类效率又能保证分类精度。

用于垃圾邮件识别的“词频-筛”混合特征选择方法

文中针对当下愈发泛滥的垃圾邮件,分别使用朴素贝叶斯分类和支持向量机分类法对当前日益泛滥的垃圾邮件进行识别、分类,将"词频-筛"混合特征选择方法应用于分类器模型中,以提高分类器的识别性能.同时,通过考虑更全面的分类概率情况,改进朴素贝叶斯分类模型,进一步提升朴素贝叶斯分类器的识别性能.最后通过实验得到了该垃圾邮件识别系统的准确率、召回率和F1值等分类识别性能指标.实验结果表明,"词频-筛"混合特征选择方法能有效提高垃圾邮件分类器的识别性能,而且使用成本敏感方法的分类输出调节模块也能大大降低分类器将正常邮件误判为垃圾邮件的概率,因此,文中设计的垃圾邮件识别系统具有较强的实用性,可以在实际工作、生活中使用.

基于混合特征选择的轻度认知功能障碍的诊断分类

为了有效提高轻度认知功能障碍(Mild Cognitive Impairment,MCI)的诊断分类效果,提出了一种基于Relief算法和支持向量机回归特征消除SVMRFE算法的混合特征选择方法 Relief-SVMREF,该算法首先利用Relief算法去除无效特征,同时针对Relief算法无法去除冗余特征的问题,本文利用皮尔逊相关系数对选择出的特征进行冗余分析,去除冗余特征。最后利用SVMRFE算法对选出的特征进行排序,得到最终排序系数。对得到的特征排序采用留一交叉验证方法获取最优子集,再用SVM分类识别。实验结果表明该方法能够取得更好的分类效果。

基于PSO混合特征选择算法在疲劳驾驶中的应用

基于多源生理信号的驾驶员疲劳检测研究存在特征信息冗余以及佩戴多种传感器影响驾驶员操作的问题。为此,提出一种结合粒子群优化算法和序列后向选择的特征选择算法。在适应度函数中加入信号源数的惩罚项,在降低特征维度的同时减少传感器的使用数量。根据所使用分类器的特点对适应度函数进行简化,提高特征选择算法的运行效率。在粒子定义中加入信号选择位,提高信号的筛选力度。实验结果表明,该算法平均使用2种信号和16. 1种特征,能够获得95. 3%的疲劳驾驶检测正确率。

基于混合特征选择和超参优化的晶圆蚀刻缺陷预测方法

为了提高半导体晶圆制程中缺陷预测的准确率,提出一种混合特征选择和基于序列模型优化(SMBO)相结合的缺陷预测方法。该方法以对高维度、多噪声、多模态与线性不可分的数据具有良好适用性的随机森林和支持向量机两种机器学习算法为基础,首先利用基于随机森林算法的稳定性筛选为特征评分,再基于序列前向搜索方法搜索降序排序的特征,依次创建支持向量机分类模型,并采用SMBO方法进行优化,最终选择表现最好且特征数量最少的模型进行缺陷预测。为了验证所提方法的有效性和优异性,使用蚀刻制程中的残渣缺陷和凹坑缺陷的实际工程数据进行预测对比分析,最终验证了其对晶圆制造过程中的缺陷具有优异的识别能力。

基于改进CHI的新的短文本混合特征选择方法

在短文本分类中,特征项的选择和特征权重的计算是非常重要的两个步骤。传统卡方统计量方法(CHI)存在特征项与类别负相关的问题,使得短文本分类模型的性能并不好。笔者就此问题提出了一种新的混合特征选择算法,用改进的短文本类关键词抽取方法,结合改进的CHI特征选择的方法,以及将类关键词扩展到文档向量中,有效克服了CHI方法的特征项与类别负相关的问题。通过对网络医务咨询短文本分类的实验,对新算法与传统CHI方法以及其他特征选择算法的实验结果作对比,表明了新算法要优于传统特征选择算法。

基于混合特征选择的中小学生近视影响因素及预测分析

目的 建立近视预测模型,分析西安市新城区中小学生近视影响因素,为制定学生近视防控策略以及干预措施的实施提供科学依据。方法 基于2022年陕西省学生常见病监测项目,使用5 m标准对数视力表进行视力检查,并用台式电脑验光仪对学生眼睛进行屈光度检测。将参与视力筛查及填写调查问卷的2 511名学生纳入研究,分别使用支持向量机递归特征消除(SVM-RFE)、基于交叉验证的最小绝对收缩和选择算子回归(LASSOCV)、χ^(2)检验-SelectKBest、决策树-SelectFromModel、互信息法用于近视影响因素的筛选,将筛选出的变量分别纳入多因素logistic回归和5种分类预测模型,进行近视发生风险预测。结果 共检出近视1 780名,近视率为70.89%(1 780/2 511),男生近视率为69.24%(833/1 203)、女生近视率为72.4%(947/1 203)。小学、初中、高中和职高学生近视率分别为54.69%(560/1 024)、78.96%(473/599)、84.12%(747/888)。所有变量在5种特征选择方法前15名中出现3次及以上的共17个。5种特征选择方法中,5种均选择了年龄、父母是否近视;4种选择了父母是否提醒注意读写姿势,读写时胸口离桌子边沿超过一拳,参加英语、数学、写作等文化类补习班时间。logistic回归结果显示,年龄(O R=1.329,95%CI:1.286~1.373,P<0.001)、父母近视情况(父母一方近视O R=1.808,95%C I:1.453~2.251,P<0.0001;父母均近视O R=3.566,95%CI:2.691~4.726,P<0.001)、父母提醒注意读写姿势(O R=1.349,95%CI:1.092~1.666,P=0.006)、课间休息时在户外活动(O R=0.774,95%CI:0.636~0.943,P=0.011)、看电视时眼睛距离电视显示屏超过3 m(经常或总是O R=0.792,95%CI:0.589~1.064,P=0.122;从不或者偶尔O R=1.099,95%CI:0.835~1.445,P=0.501)、平均每天放学后做作业读书时间(O R=1.342,95%CI:1.105~1.631,P=0.003)是近视发生的影响因素。5种模型预测结果显示,各模型变量筛选后性能均优于变量筛选前。变量筛选后的SVM-RBF取得了最优的分类性能[受试者工作特征曲线下面积(AUC)=0.73,准确度(accuracy)=0.72,f1值(f1-score)=0.74,精确度(precision)=0.78,召回值(recall)=0.72],其次为变量筛选后的SVM-POLY(AUC=0.73,accuracy=0.71,f1-score=0.73,precision=0.78,recall=0.71),说明并不是纳入的变量越多、模型的预测性能越好。结论 学生近视率随着年龄、学段增长而快速增长,也与随着年级增长学生课业负担增加及使用手机等电子产品时间增加有关。

基于混合式特征选择的滚动轴承故障诊断方法

为降低滚动轴承故障特征集的维数,提升诊断精度,提出一种混合式特征选择方法。该方法由两个阶段构成,首先通过费舍尔分值法对原始特征集进行预排序,根据特征的费舍尔得分按照降序排序,利用得分曲线的拐点确定预选子集的范围,去除原始特征集中的无关特征;然后将遗传算法嵌入Wrapper阶段中,利用分类器的识别精度作为评价标准,从预选子集中去除冗余特征,确定最优子集。通过实验证明,该方法可以有效地用于滚动轴承不同故障类型和不同故障程度的诊断,最优子集在仅保留了关键特征的同时,识别精度得到提升。

基于混合进化算法的特征选择方法研究

特征选择(Feature Selection,FS)是一种有效的数据预处理方法,它可以通过选择高维数据中一组具有高相关性和低冗余性的特征,从而解决数据冗余引起的维数灾难.目前许多计算方法已经被应用于求解FS问题,其中基于教与学优化(Teaching and Learning-based Optimization Algorithm,TLBO)的特征选择模型由于其高效的全局搜索能力受到越来越多学者的关注.然而,随着数据规模的不断扩大,这些算法所具有的模型不稳定、模型精确度低和局部搜索能力差等局限性,使算法的研究逐步陷入困境.为解决上述问题,本文提出了融合教与学优化算法与局部搜索方法(Local Search,LS)的混合进化Wrapper算法模型(Teaching and Learning-based Optimization-Local Search Algorithm,TLBOLS).首先,由于传统的教与学优化算法不能直接用于求解特征选择问题,算法在初始化阶段将实数型编码转为二进制编码,然后为保证种群的多样性,在教阶段引入最差个体重启机制,并针对进化班级过程中学习者与教学者两种身份采用不同值的TF值,提出二进制的教与学特征选择算法(Binary Teaching and Learning-based Optimization-Local Search Algorithm,BTLBOLS).随后,提出结合多操作的局部搜索方法和变邻域搜索逐渐增强扰动力度,提高整个种群的个体质量.为优化特征选择结果,BTLBOLS利用综合评价指标作为目标函数指导整体进化过程.实验选取45个高维癌症基因表达数据集进行测试并与十种特征选择算法相比,实验结果表明,相比其他算法,BTLBOLS在分类准确率和特征个数上都具有一定优势,算法分类性能有效提高.

融合邻域判别指数的混合式特征选择算法

特征选择是机器学习领域的重要课题,基于互信息的特征选择算法在多个领域得到了广泛应用.但是该类方法忽略了属性之间的相互作用对决策结果的影响,无法满足高维特征数据集的分类要求.针对这类问题,提出一种引入邻域判别指数的混合式特征选择算法NDI RF.首先在特征过滤阶段,利用邻域判别指数作为判决指标,通过图论聚类思想去除冗余特征,获得相关联的代表特征集;然后通过改进随机森林封装器的特征分配机制,结合序列后项搜索策略评估各个特征子集的分类效果;最终通过逐次迭代选择最高分类准确率所对应的特征子集作为最优特征子集.在UCI数据集上的实验结果表明,NDI RF算法相较于其他特征选择算法,能够有效地减少最优特征子集的大小,同时保证较高的分类准确率.

基于TSVM分类器和混合型特征选择方法的入侵检测研究

基于TSVM分类算法和混合型特征选择方法,提出了一种网络入侵检测的新方法,能够高效地检测网络入侵.通过大量基于著名的KDD Cup 1999数据集的实验,表明其相对于传统的入侵检测方法在保证较高检测率的前提下,有效地降低了误报率.

基于混合式特征选择模型的晶圆允收测试关键参数识别方法

晶圆允收测试是晶圆加工过程的关键环节,对其中的关键测试参数进行准确分析识别有助于准确预测晶圆良率、及时发现工艺缺陷。针对测试参数维度高、数据冗余性强、关键特征不显著的特点,以最小化晶圆允收测试参数量和晶圆良率预测误差为目标,提出了过滤式与封装式相结合的混合式特征选择方法。在过滤式预筛选中,通过互信息度量各参数与晶圆良率的相关性,以及各参数之间冗余性,并根据最大相关、最小冗余准则,缩小候选参数规模;在封装式精选中,以遗传算法实现候选参数的编码、寻优,根据神经网络的晶圆良率预测误差进行适应度函数评价,进一步精选关键特征。最后,采用标准数据集和实例数据对所提方法进行了有效性验证。

融合序列后向选择与支持向量机的混合式特征选择算法

维度灾难是机器学习任务中的常见问题,特征选择算法能够从原始数据集中选取出最优特征子集,降低特征维度.提出一种混合式特征选择算法,首先用卡方检验和过滤式方法选择重要特征子集并进行标准化缩放,再用序列后向选择算法(SBS)与支持向量机(SVM)包裹的SBS-SVM算法选择最优特征子集,实现分类性能最大化并有效降低特征数量.实验中,将包裹阶段的SBS-SVM与其他两种算法在3个经典数据集上进行测试,结果表明,SBS-SVM算法在分类性能和泛化能力方面均具有较好的表现.

基于差分进化的两阶段文本特征选择算法

为降低文本特征空间维度,提高数据挖掘处理数据的效率,提出两阶段文本特征选择算法。结合方差和平均中位数2种方法构建高相关性的特征子集进行初步降维,并将其作为差分进化算法的初始特征种群。利用特征词的累计词频和文档频率设计适应度函数,将多个特征差向量和局部最优特征引入变异操作中,增加特征子集的扰动性,加快差分进化算法的收敛速度,获得最优特征子集。在WebKB和Reuters-21578数据集上进行实验,结果表明,该算法在准确率、召回率和F1值上均优于TDM5、MADAC等算法,能够降低文本特征空间的维度,提高文本聚类效果。