基于多层级特征筛选和无人机影像的冬小麦植株氮含量预测

氮素是冬小麦生长发育必不可少的大量元素,无人机超高分辨率影像丰富的光谱信息和纹理信息为冬小麦植株氮含量精准预测提供了重要的技术途径,但是过多变量造成了信息冗余和模型复杂的问题。针对此问题,该研究提出了一种“相关分析+共线性分析+LASSO(least absolute shrinkage and selection operator)特征筛选”的多层级植株氮含量敏感特征的筛选方法,引入约束系数向量的L1正则化实现特征的稀疏性,将某些特征的系数缩小为0,基于冬小麦关键生育期(拔节期、孕穗期、开花期、灌浆期)无人机影像提取的65个光谱和纹理特征,采BP神经网络(back propagation,BP)、Adaboost、随机森林(random forest,RF)和线性回归(linear regression,LR)4种机器学习算法构建了冬小麦植株氮含量预测模型。结果表明:相关分析筛选出51个通过0.01显著性检验的变量;基于共线性分析,当LASSSO正则化参数λ取值为0.08时,17个敏感特征变量被筛选。基于筛选的敏感特征变量,BP、Adaboost、RF和LR 4种算法建立的植株氮含量预测模型均达到了0.01水平差异显著性,且BP、Adaboost和RF 3种预测模型的精度具有高度的一致性,模型R2均为0.81,RMSE分别为0.36%、0.38%和0.37%,说明该研究提出的多层级特征筛选方法不仅使得模型变得简洁,而且稳健性高,可为智慧农业氮肥精准监测、智慧管理提供技术支撑。

基于特征筛选算法的数字土壤制图研究

平缓地带数字土壤制图中,环境协变量的选择是提高制图精度的关键。已有研究证明遥感影像可作为推理制图的辅助因子,而如何确定环境因子推理制图时各自的权重已成为现阶段研究的重点。选取湖北省麻城市乘马岗镇为研究区,采用3种特征筛选方法进行有效环境变量筛选,探索参与平原-丘陵混合区域制图的因子并确定其重要性,依据选择的相对稳定的指标,进一步探索提高土壤类型制图准确性的途径。根据141个野外独立样点的检验结果表明:在推理制图中,遥感因子在平原区域的重要性程度高于丘陵区域,且遥感因子中归一化植被指数(NDVI)和均值(Mean)较为稳定;基于递归特征算法的按地形推理制图精度最高为75.89%,分别高于ReliefF算法和基于Tree的特征筛选算法13.48%和4.97%;此外3种特征筛选算法制图结果中,按地形因子分区制图的精度均高于整体区域制图。因此,遥感因子作为辅助手段参与推理过程可有效提高制图精度。本研究采用的特征挖掘与机器学习算法对提升土壤制图精度具有一定的理论意义。

拉曼光谱联合WOA特征筛选的矿井水源识别方法研究

在矿井突水灾害防治过程中,准确、快速判别突水水源类型对煤矿安全生产意义非常重大,而传统的水化学方法存在耗时长、检测复杂等不足,为此提出采用拉曼光谱进行矿井突水水源辨识这一新思路。首先从淮南矿区采集老空水、顶板砂岩裂隙水、奥灰水、太灰水和地表水以及它们混合的水样作为实验对象,并借助拉曼光谱系统收集水样的拉曼光谱数据。随后,采用常见的光谱预处理方法对原始拉曼光谱进行降噪。接着,采用鲸鱼优化算法(WOA)对水样的拉曼光谱进行特征信息筛选,得到最能够表征矿井水样的特征拉曼信息。最后,将筛选出的特征拉曼信息作为输入,分别构建BP神经网络(BPNN)、K-近邻算法(KNN)、支持向量机(SVM)、决策树(DT)以及朴素贝叶斯(NB)分类模型,以此来验证拉曼光谱结合WOA筛选特征拉曼信息用于矿井水源识别的可行性。实验证明:利用WOA可以从2048个拉曼数据点中筛选得到102个特征拉曼信息,将拉曼信息的点数缩减为原来的4.98%,而且WOA筛选的特征拉曼信息的建模精度高于全拉曼数据建模精度,此外,采用WOA筛选的特征拉曼信息构建BPNN、KNN、SVM、DT和NB水源辨识模型时,其分析速度都有着不同程度的提升。研究结果表明,采用WOA筛选矿井水源拉曼光谱的特征信息,可以有效地减少拉曼光谱数据的冗余,提升拉曼光谱分析的速度,这可以为矿井水源的快速检测提供借鉴。

基于多肿瘤标志物和特征筛选的逻辑回归方法诊断良恶性胸腔积液的研究

目的基于特征筛选算法探索利用胸腔积液和血清中CEA、CA125、CA153和CA199四种肿瘤标志物的组合与筛选对鉴别良、恶性胸腔积液的诊断价值。方法收集北京朝阳医院和武汉某医院收治的胸腔积液患者共452例,其中恶性胸腔积液患者143例、良性胸腔积液患者309例;取胸腔积液及配对血清标本,用化学发光法检测CEA、CA125、CA153和CA199浓度,辅以患者性别、年龄和医院所在城市三项人口学变量,首先应用独立性检验进行变量初筛,而后应用带惩罚项的逻辑回归和基于逻辑回归的模拟退火算法和遗传算法进行标志物筛选,根据受试者工作特征曲线下面积(area under the curve,AUC)和DeLong检验进行模型诊断效果的评估和比较。结果特征筛选结果以及回归系数和SHAP(shapley additive explanations)值一致表明胸腔积液CA199、CA153联合血清CEA为最优肿瘤标志物组合;在测试数据集上,该指标组合达到最高诊断精度(AUC=0.923),显著高于最优单标志物模型(AUC=0.877,P<0.001)和全标志物模型(AUC=0.906,P=0.044),灵敏度和特异度分别达到0.811和0.939。结论多项肿瘤标志物的联合应用相较单一标志物能够显著提升模型诊断精度,且合理的标志物筛选策略对提升诊断精度和简化模型有进一步帮助;本文推荐联合胸腔积液中CA199和CA153以及血清中CEA来建立诊断模型,并提供了该模型的列线图和实用化的网页计算器,为辅助临床诊断提供便利。

融合原型对比与特征筛选的图协同过滤模型

图卷积在协同过滤推荐系统上取得了巨大的成功,但在真实的推荐场景中基于协同过滤的推荐方法往往会受到稀疏数据的影响,同时现有的图协同过滤方法又普遍存在对用户-项目交互信息的分析和利用不彻底的问题,如未对交互特征中的噪声进行处理,这些问题使得现有方法的推荐效果不理想。针对上述问题,提出了一种融合原型对比与特征筛选的图协同过滤模型,在对交互信息进行噪声特征过滤的同时,利用提出的原型对比学习任务捕捉节点间的潜在联系,以此增强用户和项目的表示。在3个真实的数据集上的实验结果表明,该方法在缓解数据稀疏问题的同时,提高了推荐的效率和性能。

改进遗传算法的供应链终端高维数据特征筛选

由于供应链终端高维特征和稀疏数据使得特征筛选准确率较低、筛选能力较差,为此,提出了改进遗传算法的供应链终端高维数据特征筛选方法。预处理供应链终端高维数据特征,去除超出边缘范围的特征数据。针对数据的特征进行排序和编码,采用改进遗传算法进行评估和演进,并将数据分布组中被选择的单个数据继续演进。在离散型随机变量中设置筛选条件,根据改进遗传算法,减少数据分布组的组数,获取种族内和种族外已完成特征编码的数据,从而形成新的个体,实现供应链终端高维数据特征筛选。实验结果表明,改进遗传算法的供应链终端高维数据特征筛选方法的准确率可以达到99%,具有很好的高维数据特征筛选能力。

基于特征筛选的综合能源系统多元负荷日前-日内预测

负荷预测是指导综合能源系统调度与运行的前提。为更加经济高效地实施系统日前计划、日内优化,提出一种基于特征筛选的多元负荷日前-日内预测方法。首先,结合特征工程中3类特征筛选方法筛选预测模型输入特征,简化模型的同时能够保存下最重要的特征,针对日前-日内预测策略分别确立输入特征集;然后通过多任务学习硬共享机制,采用长短期记忆神经网络建立预测模型,实现不同子任务信息共享,并通过随机搜索方法优化网络参数以提高预测精度;最后以北京某产业园区供暖季电、热负荷为案例进行分析,日前、日内预测综合精度分别达到91.3%和95.2%。分析结果表明,该预测方法能够为系统日前调度和日内运行优化提供良好支撑,且预测结果优于未经特征筛选预测和单独负荷预测,证明了该预测方法具有更高的预测精度。

超高维纵向数据部分线性模型的特征筛选

超高维纵向数据的特征筛选是超高维特征筛选的难点之一,其难点是在保证边际筛选快速的前提下估计工作相关系数矩阵。文章在部分线性模型的假定下,考虑到纵向数据组间独立、组内相关的特点,采用样本协方差去估计未知的工作协方差矩阵,提出了剖面有协方差阵的确定独立筛选(PMSIS)方法,并在一定正则条件下,证明了该方法具有确定筛选性质。通过蒙特卡洛数值模拟与肠道菌群实例数据验证了该方法的有限样本性质,结果表明,新提出的PMSIS方法能有效筛选弱相关的协变量。

基于一种距离相关的超高维生存数据Model-Free特征筛选

随着大数据时代的来临,数据维度爆炸式增长,超高维数据的降维问题逐渐成为众多研究领域的热点话题。由于响应变量通常存在右删失,处理超高维完全数据的降维方法在右删失数据中将不再适用。本研究提出一种新的基于距离相关能有效处理超高维右删失数据的特征筛选方法。首先利用距离相关系数计算每个协变量对响应变量的边际效应,建立与该系数有关的筛选指标,然后再根据事先确立的筛选准则进行特征筛选。提出的特征筛选方法不依赖任何模型结构假定,因此可以有效避免模型指定错误带来的不良后果。此外,该方法采用的距离协方差估计量是总体距离协方差的一个无偏估计,统计准确性和计算精度高。模拟和实证研究表明,提出的方法能在保留所有重要变量的前提下快速剔除与响应变量相关程度较弱的协变量,从而达到降低参数维数的目的。

基于多特征筛选的双频指数预测算法

双频指数(Bispectral Index,BIS)是根据脑电信号得到的衍生指数,是目前镇静深度监测应用最广泛的指标。但是根据脑电信号计算得到BIS存在20 s~30 s的更新延迟,影响麻醉医师对患者镇静状态的判断,增大患者术中知晓的风险,影响患者术后恢复。论文结合脑电信号子参数、历史BIS和患者术中生命体征预测BIS值,为麻醉医师提供患者最新的镇静状态的变化趋势,进而方便其准确地调整麻醉用药。论文构造基于多特征筛选的BIS预测模型。首先通过经验模态分解算法对脑电信号噪声滤除,并对处理后的脑电信号进行子参数提取。然后采用随机森林算法筛选镇静特征参数,得到与BIS相关度最高的5个特征。最后将筛选的特征和对应的BIS值输入长短期记忆网络中进行预测。实验结果表明,该模型预测的BIS值与患者真实BIS值拟准确度达到0.93。与多层感知器和时间卷积网络进行比较,该算法预测的准确率分别提升了17.7%和12.9%。同时该算法预测30 s内BIS耗时0.32 s,比多层感知器多用了0.2 s,比时间卷积网络节省了2.12 s。

基于改进特征筛选的随机森林算法对锂渣混凝土强度的预测研究

本工作提出了特征变量筛选结合特征变量相关性的方法,对构建的锂渣混凝土28 d抗压强度数据库进行优化,分别建立了随机森林模型和深度神经网络模型用于测试数据库,并以相关系数(R)、均方根误差(RMSE)和平均相对误差(MAE)三个指标对模型的预测结果进行对比分析。结果表明,预测锂渣混凝土的28 d抗压强度时,采取改进的特征变量筛选方法能够有效提高模型的预测效果,此外,特征变量筛选的前后随机森林(RF)模型的预测效果明显优于深度神经网络(DNN)模型。

结合特征筛选与二次定位的快速压缩跟踪算法

针对压缩跟踪算法易受遮挡影响和模型更新比较盲目的问题,提出结合特征筛选与二次定位的快速压缩跟踪算法(Fast compressive tracking algorithm combining feature selection with secondary localization,FSSL-CT).首先,对全局区域划分子区域,从中提取压缩特征,根据正、负样本估计出各个压缩特征在正、负类中的分布;然后,使用自适应学习率结合正类更新阈值对分类器模型进行更新;最后,将跟踪分为两个阶段,每个阶段在对应的搜索区域内采集候选样本,并从全部特征中筛选出部分优质特征加权构建分类器,通过分类候选样本最终完成目标跟踪.在8个公共测试序列和4个自制序列中与最近提出的两个代表性算法进行比较,本文算法在大多数测试序列中都具有最高的跟踪成功率和最低的平均中心误差,平均处理速度可以达到3.04毫秒/帧.实验结果表明,本文算法具有更好的抵抗短时遮挡的能力,更高的准确性和鲁棒性,以及良好的实时性.

一种基于特征筛选的原核生物启动子判别分析方法

启动子识别是研究基因转录调控的重要环节,但目前方法的识别正确率偏低。在深入分析原核启动子特征的基础上,提出了一种基于特征筛选的原核启动子判别分析方法,首先在启动子序列的组成特征、信号特征和结构特征中选取备选特征,为每个特征建立适当的描述模型,并对主要的保守模式采用复合模式模型;再通过模型计算对备选特征进行逐步筛选,优化特征集,将序列表示为组合特征向量;最终利用二次判别分析实现识别。对大肠杆菌和枯草杆菌实际启动子数据进行的刀切法测试验证了方法的有效性和通用性。对于大肠杆菌非编码区(70启动子,识别的平均正确率达到了85.8%,优于其它几种典型识别方法;对于大肠杆菌编码区内部)70启动子和其它几种原核启动子,平均正确率也都超过了80%。方法框架还具有良好的可扩展性,能够方便地容纳新特征,使识别性能不断提高。

深度学习模型融合正则化方法在高维数据特征筛选中的应用研究

目的探索基于深度学习模型联合正则化方法在小样本高维数据特征筛选中的优势。方法通过模拟实验和实际数据分析比较深度学习模型单独及联合正则化方法在小样本高维特征筛选准确性方面的差异;采用测试集中C指数作为两种模型泛化能力评价指标。结果在小样本研究中单纯的深度学习模型在变量之间存在复杂相关性时会表现过拟合,而深度学习模型联合正则化的方法比单独的深度学习模型在测试集中体现出防止过拟合的作用,具有更好的泛化能力。通过比较不同正则化的方法,发现深度学习联合组lasso相比于lasso在测试集中表现出更好的泛化能力。结论深度学习模型联合正则化的方法在小样本高维数据特征筛选中可以防止过拟合,保证外部测试具有较好的预测效果。

基于加权特征筛选的入侵检测系统

网络攻击隐蔽性高,手段多样。传统检测系统特征提取不全,数据包易丢失,漏报、错报率高。为提高检测率,提出一种基于加权特征筛选的入侵检测算法。首先对网络数据包进行特征提取;然后采用支持向量机交叉验证对全部特征进行筛选,并计算各特征的权值;最后以加权保留特征构建入侵检测模型。仿真实例结果表明,该检测算法提高了入侵检测率,是一种有效的网络入侵检测方法。

基于扫描线和特征筛选的车牌定位快速算法

以对车牌识别准确率影响最大的车牌定位技术为重点,研究并提出一种基于扫描线和特征筛选的车牌定位算法,该算法先记录并分析二值图像中相邻水平扫描线上的跳变点信息,确定出候选车牌区域,再根据车牌特征筛选,最终确定车牌区域。对113幅不同车型的图像进行测试,结果表明,去噪处理对定位准确率有很大影响,当车牌倾斜角度小于5°、且经过去噪处理时,定位准确率超过90%,定位时间小于0.9s。

基于Copula函数特征筛选的电力物资供应商投标价格预测

分析电力物资供应商投标价格特征是招标企业估计投标价格并制定合理采购策略的基础。传统的Spearmen秩相关系数特征筛选方法只单纯考虑了特征的数值排列顺序,不能挖掘特征变量与目标的内在关联关系,会导致预测效果差。本文在电力企业招标价格预测建模中引入Copula函数,通过特征变量与目标变量的联合概率分布来分析变量间的相依关系。首先确定特征变量与目标变量的边缘分布,进行Copula参数估计,选取合适的Copula函数并计算相关系数来筛选供应商投标价格的特征,并以多种预测方法进行预测来验证引入Copula函数后预测精度是否提升。结果表明,引入Copula函数进行特征筛选后,预测精度更高、效果更好。

基于支持向量特征筛选方法的想象动作识别

引入了支持向量特征筛选方法,以克服基于想象动作诱发脑电特征的脑-机接口识别中,由于特征维度较高而训练数据有限、不易获得理想识别效果的问题.支持向量特征筛选方法采用扰动支持向量机代价函数的方法测量特征的分类贡献度,进而建立特征序贯指数,以递归方法进行特征排序和优化筛选.对14例受试者的左右上肢想象动作诱发脑电信号进行分析,提取6类246维特征,采用支持向量递归筛选方法进行特征优选,利用支持向量机对优选特征进行识别,结果显示,支持向量递归筛选得到的优选特征可显著提高识别正确率.研究表明,支持向量特征筛选可以降低无效特征干扰,提高分类器效率,适用于特征维度较高的脑-机接口任务识别.

基于特征筛选的模型选择

在多项式回归模型中,怎样选择多项式中重要的阶是我们面临的一个重要问题.例如:如果存在一个线性模型能够反映多项式回归模型的回归关系,则希望找到一个能探测出多项式回归模型中的二阶项或更高阶项可忽略不计的模型选择方法.本文提出一个新的模型选择方法,利用特征筛选选择多项式回归模型的阶.模拟研究证实了该方法的有限样本表现,并将该模型选择方法应用到实际例子中.

基于条件信息熵的超高维分类数据特征筛选

文章提出了一种基于条件信息熵的超高维自由模型下非参数特征筛选方法,在响应变量为两类别时,对多类别离散型协变量进行特征筛选。通过理论证明和蒙特卡罗数值模拟验证了该筛选方法具有确定筛选性质,对超高维分类变量的重要特征筛选具有显著的效果。