应用CARS和SPA算法对草莓SSC含量NIR光谱预测模型中变量及样本筛选

采用光谱技术对水果进行定量或定性分析,如何获得一个简单、有效的校正模型对后续模型的应用和维护都非常关键。以草莓内部品质近红外光谱预测为例,从关键变量和特征样本优选两方面进行研究。采用竞争性自适应重加权CARS算法对光谱变量进行初次选择,随后采用连续投影算法SPA对校正集样本进行优选,获得98个特征样本,针对优选后的变量/样本子集利用SPA算法作二次关键变量提取,获得25个关键变量。为了验证CARS算法的性能,蒙特卡罗无信息变量消除MC-UVE和连续投影算法SPA用于比较研究。CARS算法在消除无信息变量的同时可以对共线性信息进行去除。同样,为了评估SPA算法在特征样本选择中的性能,经典的Kennard-Stone算法也用于比较分析。SPA算法能够用于校正集特征样本的优选。针对最终优选后的变量/样本(25/98)子集建立PLS和MLR模型对草莓内部可溶性固形物含量SSC含量进行定量预测。结果表明,两个模型利用原始变量/样本的0.59%/65.33%的信息均能够获得比基于原始变量/样本所建模型更好的性能,且MLR模型比PLS模型性能略优,r2pre,RMSEP和RPD分别为0.909 7,0.348 4和3.327 8。

基于MCCV奇异样本筛选和CARS变量选择法对蜂蜜pH值和酸度的近红外光谱检测

采用Norris平滑加一阶微分数据预处理,蒙特卡洛交互验证(MCCV)的奇异样本筛选和CARS(competitiveadaptive reweighted sampling)变量选择法,用Kennard-Stone(KS)法划分训练集和预测集,偏最小二乘(PLS)回归近红外光谱建模,对蜂蜜pH值和酸度进行定量分析。pH值和酸度校正模型的交互验证决定系数(Rcv2)、交互验证均方差(RMSECV)、预测集决定系数(Rp2)、预测均方差(RMSEP)分别为0.8516和0.8723、0.1214和2.1734、0.8205和0.8250、0.1196和2.4674。结果表明,该方法适于蜂蜜pH值的测定,而不宜用于测定蜂蜜酸度。

一种结合训练样本筛选的SVM图像分割方法

基于支持向量的图像分割方法一般使用交互方式获取的训练样本,不可避免的在训练样本中引入歧义样本。这些歧义样本严重影响了基于支持向量机图像分割方法的性能。提出一种先对训练样本进行筛选,再进行分类(分割)的支持向量图像分割方法;并给出了一种基于支持向量机的样本筛选方法,可有效地降低歧义样本的影响。实验表明,经样本筛选的SVM分割方法有更好的分割性能。

基于安全样本筛选的不平衡数据抽样方法

针对欠抽样可能导致有用信息的丢失,以及合成小类的过抽样技术(SMOTE)可能使大类和小类间类重叠更严重的问题,文中提出基于安全样本筛选的欠抽样和 SMOTE 结合的抽样方法(Screening_SMOTE).利用安全筛选规则,识别并丢弃大类中部分对确定决策边界无价值的实例和噪音实例,采用 SMOTE 对筛选后数据集进行过抽样.基于安全样本筛选的欠抽样既避免原始数据中有价值信息的丢失,又丢弃大类中的噪音实例,缓减过抽样数据集类重叠的问题.实验表明在处理不平衡数据集,特别是维数较高的不平衡数据集时 Screening_SMOTE 的有效性.

基于相关能量波动评估的学习样本筛选与深度置信神经网络的滚动轴承故障诊断研究

在数据驱动的滚动轴承状态智能辨识中,针对辨识模型构建过程中由于学习样本“质量差”造成其故障识别率低的问题,提出一种如何筛选学习样本的准则来提升基于深度置信神经网络滚动轴承智能辨识模型识别率的方法。首先,基于变分模态分解将具有时变调制特性的滚动轴承振动信号分解为有限个表征原信号不同成分的本征模函数分量;其次,根据其故障能量波动及其相关来量化并评估上述每个分量包含故障成分的比重,并据此对振动信号进行筛选重构来获取学习样本;最后,将上述学习样本集作为深度置信网络的输入来构建滚动轴承的故障辨识模型。实验结果表明,所提方法不仅筛选出滚动轴承振动信号中包含故障主成分的本征模函数分量并实现学习样本集构建,而且提高了基于振动数据的滚动轴承状态辨识模型的故障识别率。

逆C均值学习样本筛选方法

在有监督分类中,歧义学习样本将导致学习时间增长,分类性能下降等问题。本文提出一种逆C均值样本筛选方法,可有效剔出歧义的训练样本。该方法采用类似C均值聚类分析逆过程的方法,将有歧义的学习样本从训练集中剔除。本文以有监督图像分割中的样本选择为例进行实验。实验表明,该方法可有效消除由人机交互引入的歧义样本。

一种基于样本筛选的极化SAR图像目标对比增强新方法

针对极化SAR图像目标检测问题,研究了极化SAR图像目标对比增强方法。特别针对待增强目标或待抑制杂波为极化特性复杂的非均匀区域的情况,提出了一种基于样本筛选的对比增强新方法。对于利用人工划分而粗略获得的目标及杂波样本候选区,该新方法首先基于极化分解理论筛选出具有不同散射机理类型的两类像素点,分别作为目标及杂波样本的初步筛选结果;然后在此基础上,基于Wishart统计检验理论进一步选取初步筛选结果中极化统计特性相近的像素点,以获得样本最终的筛选结果。通过上述筛选技术的综合利用,可有效改善直接采用人工划分样本进行目标对比增强的增强效果。基于E-SAR全极化实测数据的实验结果表明,该新方法是有效的。

双目标定中棋盘格图像角点样本筛选及标定

针对摄像机在标定时采集到的图片样本存在样本不理想而导致标定结果不准确的问题.文中基于棋盘标定板的特性提出了一种棋盘格图像样本筛选方法.利用棋盘格中角点的排序的条件,针对图片样本的合法性进行检查,排除角点检测不准确的样本,从而达到提高标定准确度的目的.研究表明:对于同一组样本数据与同样的标定方法,利用筛选后的样本进行标定结果的相对误差减小到0.55%,成功率达到90%以上,提高了样本的可用性与标定的准确度.

面向运动想象脑-机接口的样本筛选在线分类器更新策略研究

目的优化基于脑电信号的运动想象脑-机接口的系统分类性能,通过短时在线训练,在系统分类器中构建有效的大脑想象意图识别模型,增强系统实用性。方法提出基于样本筛选的在线分类器更新策略,对10名健康受试者进行了基于便携平台的MI-BCI训练建模实验,分别采用两种带有样本选择的更新策略(样本筛选模型更新及顺序模型更新)以及一种无样本筛选的模型更新策略完成模型建立和更新,并进行分类效果对比。结果带有样本选择的模型更新策略均可达到92%以上的分类正确率,较无样本筛选的模型提升30%以上,并在特征层面也体现出了优越性。结论在线筛选建模样本数据不仅有利于提高模型识别正确率,同时能够缩短建模训练时间,使分类模型随数据的积累不断优化,提高MI-BCI系统的实用性。

滑坡危险性区划中基于一类分类模型的样本筛选

历史滑坡样本的准确性对基于统计机器学习的滑坡危险性区划建模工作有着决定性的影响。针对滑坡样本中普遍存在的可靠性问题,该文探索利用一类分类模型的异常探测能力,将其应用于历史滑坡样本筛选和甄别,以期筛除滑坡样本中可靠性较低的点,提升滑坡危险性区划的建模效果。以深圳市为实例研究区,对该方法的可行性和应用效果进行了验证。实例研究中采用支持向量数据描述方法（SVDD）进行样本筛选,利用GAM进行滑坡危险性区划建模,并对样本筛选前后的建模效果和模型应用效果进行了对比分析。使用SVDD模型进行样本筛选时,筛除比例设置为0-30%,以5%为步长递增,共得到7个筛选样本集,之后基于7个样本集分别进行了GAM建模。建模效果对比分析表明,当筛除比例为20%时,模型建模效果最佳,显著优于原始样本集所对应模型。实例研究说明,一类分类模型的异常探测能力适用于历史滑坡数据的筛选甄别工作,并能够显著提升建模效果,模型输出的滑坡危险性区划与历史滑坡分布也更为一致,可为滑坡灾害管理工作提供更为可靠的参考。

基于稀疏恢复谱相似度的自适应样本筛选算法

非均匀环境下的空时自适应处理算法需对参考单元样本进行筛选。针对小系统自由度下,已有的基于傅里叶谱相似度(Fourier spectral similarity,FSPS)的筛选算法在污染样本剔除以及相似样本选择环节都存在分辨率不足的问题,提出一种基于稀疏恢复技术的自适应样本筛选算法。该方法利用参考单元样本及待检测单元(cell under test,CUT)样本的高精度稀疏恢复谱筛选出与CUT杂波特征相近的样本,保留了FSPS算法在非均匀杂波环境下的鲁棒性,同时提升对非均匀样本的分辨精度。仿真结果表明,所提算法在小系统自由度情况下具有优于FSPS算法的样本筛选效果及系统输出性能。

样本筛选与操作优化的可视化方法实现

可视化方法通过将多维空间数据映射到二维平面上 ,依据“物以聚类”属性对二维平面中各样本点进行分类、识别 ,找出离群样本并将其剔除掉 .与此同时 ,产生目标函数等值线 沿着等值线值增大或减小的趋势方向寻优 ,就很容易地确定出最优点或最优化操作区域 .以某卷烟厂生产烟丝为例进行分析和计算 结果表明 ,文中筛选样本数据方法中 ,离群点的剔除提高优化结果的准确度 ,最佳操作条件的确定可为工业生产或科学实验提供决策支持 .

基于双层动态筛选训练样本的光谱重建算法

目的研究光谱重建过程中训练样本筛选方法对光谱重建精度的影响。方法利用违逆的方法对测试样本Munsell样本和Color Checker SG样本进行光谱重构,训练样本分别选择未经筛选的Munsell样本集、经过动态聚类筛选的和经过文中提出的双重动态筛选的Munsell样本集,然后比较3种样本筛选方法得到的光谱重构精度。结果实验结果表明,经过双层动态筛选的训练样本重构精度无论是均方根误差(RMSE)、拟合优度(GFC)还是不同光源下(A,D50和F2)的色差,明显高于动态聚类分析的样本和未经筛选的样本。结论提出了一种新的样本筛选方法,该筛选方法效果良好,具有一定的先进性。

基于支持向量的分层并行筛选训练样本方法

基于支持向量能够代表训练集分类特征的特点,该文提出了一种基于支持向量的分层并行筛选训练样本的机器学习方法。该方法按照分而治之的思想将原分类问题分解成若干子问题,将训练样本的筛选过程分解成级联的2个层次。每层采用并行方法提取各训练集中的支持向量,这些被提取的支持向量将作为下一层的训练样本,各层训练集中的非支持向量通过学习被逐步筛选掉。为了保证问题的一致性,引入了交叉合并规则,仿真实验结果表明该方法在保证分类器推广能力的情况下,缩短了支持向量机的训练时间,减少了支持向量的数目。

现金流视角下的石化塑胶类企业财务危机预警——基于筛选危机样本新标准的实证研究

以石化塑胶类企业作为研究对象,以现金流为视角,以经营活动现金净流量首次呈负数为筛选基础,结合财务报表附注、招股说明书等相关信息,剔除正处于快速扩张的企业,作为筛选危机样本的标准,然后对筛选出的32家上市公司运用因子分析法构建了以现金流指标为主的财务危机预警模型。实证结果表明:石化塑胶类企业的现金流指标包含了财务危机的预测信息;新筛选标准下的模型判定准确率达到了75%,说明该标准有一定的可行性。

单次样本对的CSP滤波器设计及其在脑电训练样本优化中的应用

在运动想象脑-机接口(Motor imagery brain-computer interface,MI-BCI)系统研究中,共空间模式(Common spatial pattern,CSP)作为一种有监督空域滤波设计方法,已被广泛应用于运动想象脑电信号(Electroencephalography,EEG)的特征提取。但是EEG训练样本的采集过程不仅会受到各种噪声伪迹干扰,也会受到受试者分心和疲劳等因素的影响,因此,训练集中难免出现"低质量"的异常单次试验数据。如果不加选择地将所有的单次样本用于CSP滤波器设计和分类器训练,会给所建BCI系统的性能带来较严重的负面影响。针对这一问题,本文提出一种新颖而实用的EEG训练样本筛选方法。方法的基本步骤是,先依次选择单次EEG样本对进行CSP滤波器设计,并结合零训练分类器构造相应的CSP-BCI测试系统。然后以所建CSP-BCI系统的交叉验证识别率为指标,剔除低识别率对应的单次训练数据,以实现对训练样本集的优化。基于所提方法,论文对6位受试者在不同时间采集的75组两类运动想象EEG数据进行了优化筛选和测试。实验结果表明,相比传统方法设计的CSP-BCI系统,基于训练样本优化方法的CSP-BCI系统性能得到明显改善,针对六位受试者测试集的平均识别率分别提高了5.04%、6.42%、13.15%、15.51%、1.94%和8.26%。

利用样本向量空间位置关系的目标识别方法

利用样本向量的空间位置关系,对目标识别方法进行研究。根据样本向量最小夹角给出了可分类识别率的定义,且应用样本向量间的夹角对样本向量进行筛选,获得了更有利于分类的样本。在此基础上提出了样本向量最小夹角识别算法,以及对样本向量最小夹角和最短距离进行综合的目标识别算法。为了进一步提高识别效果,将特征线之间的最小夹角引入到识别算法当中。所研究的目标识别算法应用到飞机目标识别,若采用奇异值特征作为样本可以得到90.0%以上的识别率,而采用颜色特征作为样本则可以得到92.5%以上的识别率。

一种新的基于邻域筛选的分类算法研究

基于邻域的概念,提出一种新的样本筛选方法用于分类问题.该方法在特征空间中根据邻域内的样本类别筛选出具有代表性的训练样本,计算其与测试样本的距离作为样本所属类别的判定依据.在UCI数据集和电力系统负荷预测的应用当中,与SVM和NC两种分类方法进行对比分析,证明该方法能够较好地提高样本识别率并降低时间复杂度.

基于特征提取及聚类算法的增量图片筛选系统

在工业生产过程中,由于需要频繁对产品进行拍照,所以会产生大量测试图片,而因为产品的外形等比较相近,因此样本图片比较相似,由此造成重复测试和测试时间过长等问题。提出一种对图片进行分类并精简数量的方法,来实现减少检测图片数量,缩短测试时间的目的。系统首先对样本图片进行特征提取,然后对特征进行降维,并对结果进行聚类来得到多个图片库,最后对图片库内的图片进行筛选,得到最终的样本库。实验对不同特征提取方法进行对比,最终从结果精度及处理时间上考虑,采取了FAST特征提取算法,有力保证了算法的质量。

少样本条件下基于K⁃最近邻及多分类器协同的样本扩增分类

针对少样本条件下的分类问题,提出一种基于K⁃最近邻及多分类器协同的训练样本扩增分类框架。首先利用少量标记样本对多个分类器进行初步训练,并在整个样本空间中搜索出每个标记样本的K个最近邻;然后利用初步训练好的分类器,对每个标记样本的K个最近邻进行分类,若某个最近邻被多数或全体分类器判为具有与其标记样本相同的类,则将该最近邻判别为与其标记样本同类,并将其添加至该标记样本所属类的扩展训练样本集,利用扩展训练样本集再次对各分类器进行训练;最后利用再次训练过的多个分类器对剩余未标记样本进行基于投票的分类判决。在多个基准测试数据库上的对比实验结果表明,在少标记样本条件下,所提算法能显著提升分类器的分类精度。