基于m×2正则化交叉验证的神经网络超参数调优方法

超参数调优是神经网络建模的关键问题。针对传统的超参数调优方法存在的问题,该文提出了一种基于m×2正则化交叉验证的超参数调优方法。目的是给出一种适用于复杂模型、大数据集背景下的计算开销较小且稳健的超参数调优方法。该方法的思想是从完整的数据集上选取少部分数据进行调优,避免模型在数据集较大时非常耗时的超参数调优难题;在m×2交叉验证的基础上设置正则化条件均衡训练集与验证集之间的分布差异,从而减少分布不一致带来的性能波动;使用信噪比作为调优的优化目标,从而可以综合考虑模型性能评价指标的均值和方差;并采用正交设计选择相关性较低的超参数组合以提高调优效率。以命名实体任务为例进行实验,在CoNLL 2003数据集上的实验结果显示,提出的调优方法能够选到和网格搜索性能上没有显著差异的超参数组合,且调优时间可显著降低约66%。

一种分层SMOTE交叉验证法--应对数据泄露与样本不平衡

在处理不平衡数据时,即使训练集和测试集之间互不重叠,过采样技术仍然可能导致数据泄露。为了解决这一问题,提出了一种分层SMOTE交叉验证法(stratified SMOTE cross-validation),将训练集中各类别样本均匀地划分为K折,在每一折中,独立地使用SMOTE算法进行数据平衡,使得每一折内的少数类样本特征仅在该折内使用。这样做不仅确保了训练与验证数据之间的完全独立,规避了数据泄露的风险,而且分类器能够充分学习少数类样本的特征。此外,结合了集成学习和参数优化技术,以增强模型的分类和泛化能力。在UCI数据集上的实验结果显示,分层SMOTE交叉验证法在分类性能上并不逊色于现有方法,并且不同的K值导致的数据分布差异会对模型性能产生影响。该方法有效地提升了模型对不平衡数据的处理能力,为不平衡学习问题提供了一定的参考价值。

CFOSAT与MetOp卫星散射计12.5 km产品反演风速交叉验证分析

按照30 min和50 km的时空窗口,对2021—2022年同期在轨的中法海洋卫星(China-France Oceanography SATellite,CFOSAT)微波散射计(SCATterometer,简记为“CSCAT”)与MetOp(Meteorological Operational)卫星A、B、C星先进散射计(Advanced SCATterometer-A/B/C,ASCAT-A/B/C)反演海面风速进行交叉配对,进而对匹配数据进行降雨和陆地质控、匹配数据相关分析、相对误差和风速分布偏差分析,结果如下:(1)质量控制后CSCAT与ASCAT-A反演风速相关系数为0.94~0.97,均方根误差为0.82~1.89 m·s^(-1)。(2)2 m·s^(-1)以下风速段CSCAT比ASCAT-A/B/C大30%~70%,2~21 m·s^(-1)风速段CSCAT比ASCAT-A小0~5%,2~3 m·s^(-1)风速段CSCAT较ASCAT-B/C大3%~30%,4~17 m·s^(-1)风速段CSCAT比ASCAT-B/C小2%~10%。(3)2021年中国近海整体风速CSCAT大于ASCAT-A,其中1月,东海、南海、菲律宾及以东海域CSCAT比ASCAT-A大0.5~1.5 m·s^(-1);7月,黄海、南海CSCAT比ASCAT-A大1.0~1.5 m·s^(-1),与中国近海2021年各月平均风速变化相吻合,表明卫星间风速交叉验证可以很好地揭示卫星间风速的差异。

基于交叉验证的分位数处理效应估计方法

分位数处理效应(QTE)可以用于研究干预处理对整个结果分布的影响,评估干预处理对不同分位点的异质性影响。双机器学习方法(DML)在因果推断分析中可以克服传统方法的不足,有效解决高维协变量带来的问题,消除正则化偏差和过拟合偏差,但是DML主要用于平均处理效应的估计,在估计分位数处理效应时存在计算过程复杂、难以实现的问题。文章提出一种基于交叉验证的分位数处理效应估计方法,该方法以交叉验证思想构造估计框架,采用机器学习算法估计潜在结果的预测值,并直接利用潜在结果的序列信息得到分位数值;利用线性时间选择算法,无需对所有的样本进行排序,即可在线性时间内得到分位数;交叉验证估计处理效应减小了机器学习方法估计带来的偏差。理论分析和实证研究表明,基于交叉验证的分位数处理效应估计方法的估计结果均较好,得到的估计值接近真实值,估计的标准误也较小。

基于K折交叉验证准则模型平均方法及其应用

模型平均方法是当代统计学研究的国际前沿问题,在经济、金融、生物、医学等领域有着广泛的应用前景。它能够在参数不确定性和模型错设定下处理模型预测问题,通过将多个模型的预测结果赋予适当权重进行组合,从而利用整个候选模型集合进行估计、推断和预测。着重介绍基于K折交叉验证准则的模型平均方法,并将此应用于前列腺肿瘤基因数据集,分别在PROBIT与LOGIT模型中运用该模型平均方法比较不同模型下权重选取对估计的影响。为了验证该方法的优越性,将K折交叉验证模型平均方法分别与SAIC、SBIC以及马洛斯模型平均方法进行比较。最终取得了比较好的预测效果,说明模型平均方法为准确的预测分析提供了有力工具。

基于关键变量和SVM交叉验证改进的LSTM大坝变形预测

为了提升大坝变形预测精度,更好地对未来大坝运行状态进行评估,提出了基于显著变量和自相关分析优化长短期记忆神经网络(LSTM)的大坝变形多步预测方法.该方法首先基于随机森林(RF)确定对变形影响程度高的关键变量,同时基于SVM交叉验证自相关分析提取显著的历史特征,在提升LSTM信息挖掘能力的同时提高预测精度,最后将确定的影响因子与历史数据输入LSTM模型中,通过全连接网络输出变形预测结果.经分析,所提方法大坝变形预测精度高,与LSTM、RF-LSTM、SVM-LSTM方法相比,该方法预测精度最大提升幅度分别为62.15%(MAE)和60.12%(RMSE).

基于二重LOF与逆交叉验证的稳健AdaBoost回归模型

【目的】传统AdaBoost回归模型的稳健性不足,改进的AdaBoost.RT+、AdaBoost.RS算法仍然存在对异常数据抑制效果不显著和识别正确率较低等问题,增强AdaBoost方法的稳健性具有重要的实际应用价值。【方法】给出的AdaBoost.R_LOF模型,首先提出二重LOF和逆交叉验证算法,并将两种方法结合,以概率刻画数据的异常程度。然后在AdaBoost.R2算法的基础上,根据数据的异常程度,对数据设置恰当的权重系数,在不影响正常数据迭代的同时抑制异常数据的影响。【结果】使得新模型具有更好的稳健性,并且得到更小的预测均方误差。【局限】该方法需要调节的超参数有所增加,需要根据数据集分布特征进行调整。【结论】模拟和真实案例结果显示,相比于AdaBoost.R2、AdaBoost.RT+和AdaBoost.RS算法,在不同比例异常值的数据集下,该方法都具有更好的稳健性和估计效果。

基于交叉验证的加速寿命预测模型评估方法

现有针对航空航天设备、电子器件等高可靠度产品的寿命预测方法主要研究如何建立寿命预测模型,进而预测产品的寿命,缺少对于模型的验证及准确度评估。然而,模型是否准确会直接影响寿命预测的精度。另外,同一组数据,采用不同的寿命预测方法,得到的预测寿命往往相差较大。如何选择合适的寿命预测模型是值得研究的问题。针对以上问题,本文提出基于交叉验证的加速寿命预测模型评估方法,为模型的准确度评估以及模型的选择提供了一种新的思路。在基于随机过程的加速寿命预测、基于退化轨迹的加速寿命预测、基于退化量分布的加速寿命预测实验中,利用本文方法对各寿命预测模型进行评估,评估结果作为模型选择的依据,验证了本文方法的有效性。

基于网格搜索和交叉验证的支持向量机在梯级水电系统隐随机调度中的应用

将支持向量机(SVM)理论与网格搜索及交叉验证相结合,应用于梯级水电系统隐随机优化调度中,实现径流不确定条件下的梯级实际优化运行。以系统结构风险最小为SVM训练目标,结合参数分布规律,采用指数划分的网格搜索对模型参数进行优选;将K-fold交叉验证技术引入到SVM训练性能评价中,降低了训练样本随机性对训练模型性能的干扰,提高了模型的泛化能力。建立VC_与MATLAB混合编程平台,对梯级水电系统隐随机优化调度运行进行仿真,结果表明基于采用最优参数SVM的隐随机优化调度在梯级系统发电量和发电过程方面取得了良好成果。

极限学习机的快速留一交叉验证算法

针对回归和分类问题,提出一种极限学习机(Extreme Learning Machine,ELM)的快速留一交叉验证算法,并从理论和数值仿真两方面说明其有效性.结果表明,该算法避免了以训练样本数量N次的ELM模型的显式训练,其计算复杂度与N仅呈线性趋势增长,即O(N).即使在处理大型数据集建模问题时,该算法仍然可以快速地进行ELM模型的选择和评价.通过人工和实际数据集上的仿真实验,验证了该快速留一交叉验证算法的有效性.

基于快速留一交叉验证的核极限学习机在线建模

提出了一种基于快速留一交叉验证(FLOO-CV)的在线核极限学习机(OKELM),以逐次增加新样本与删除旧样本的方式进行在线训练;设计了一种无需人为设定、能够根据系统过程特性自适应改变的FLOO-CV预测误差阈值,根据误差阈值仅引入预报误差较大的样本对模型进行更新,以提高模型的稀疏性和泛化能力;利用Hermitian矩阵求逆引理实现了对网络输出权值的递推求解,减小了在线存储空间和计算时间.经混沌时间序列预测和连续搅拌釜式反应器的过程辨识结果表明,相比于离线核极限学习机、无稀疏策略的在线核极限学习机和在线序贯极限学习机,OKELM具有更快的计算速度和更高的学习精度.

基于网格搜索与交叉验证的SVM磨机负荷预测

针对实际生产中只能依据专家经验判断磨机负荷(ML)状态,难以检测ML及其直接相关参数的问题,该文通过分析反应磨机内部负荷的振动信号,提取频谱特征,利用支持向量机(SVM)建立磨机负荷参数的预测模型。为解决SVM核函数参数g和惩罚因子C主观选取问题,提出采用网格搜索与交叉验证相结合的方法,对SVM参数进行优化。最后基于Matlab与VC混合编程,建立仿真平台,实现球磨机负荷参数的预测仿真。分别利用SVM默认参数和最佳优化参数代入ML回归预测模型,通过参数ML预测对比,得到SVM最佳优化参数下训练的平均平方误差(MSE)和平方相关系数(r2)均优于SVM默认参数下的预测结果。

基于交叉验证的多模式超级集合预报方法研究

利用AREM、MM5和WRF 3个中尺度有限区域模式,通过选取对短期天气预报影响颇大的积云参数化方案和边界层方案构成15个集合预报成员,以2003年7月汛期天气为研究对象,分别采用相关加权、多元线性回归以及支持向量机回归与"交叉验证"相结合的方法,开展有限区域模式的多模式短期超级集合预报研究。文中主要对上述3种方法的24 h降水和700 hPa流场的超级集合预报结果与多模式集合平均预报结果以及T213模式结果进行了对比分析,结果表明:(1)对于24 h降水,支持向量机回归方法的超级集合预报得到的均方根误差比多模式集合平均小,各降水临界值的TS异常评分比多模式集合平均高;并且它也较相关加权法和多元线性回归的超级集合预报效果好。(2)对于700 hPa流场,对比分析各预报结果经过向量EOF分析得到的风场第1模态和第2模态表明,多模式集合平均主要使风场强度变小,多元线性回归和支持向量机回归的超级集合预报可以较好地刻画风场的强度分布,其中支持向量机回归的超级集合预报对风场强度及其区域分布的预报效果最好。(3)对于700 hPa流场,超级集合预报明显优于同期T213模式预报,从相同的预报均方根误差意义看,支持向量机回归的超级集合预报至少较T213模式预报能提前12 h。

泛化误差的各种交叉验证估计方法综述

在机器学习中,泛化误差(预测误差)是用于算法性能度量最常用的指标,然而由于数据的分布未知,泛化误差不能被直接计算,实际中常常通过各种形式的交叉验证方法来估计泛化误差。详细地分析了泛化误差的各交叉验证估计方法的优缺点,对照了各种方法之间的差异,提出和分析了各方法中有待进一步研究的问题和方向。

基于改进的逐点交叉验证的RBF形态参数优化方法及其空间插值实验

径向基函数(Radial Basis Function,RBF)是一种确定性的多维空间插值模型,可以有效逼近任意维度的空间数据。RBF插值模型中,基函数形态参数直接影响插值精度。为了快速求解最佳形态参数,获取准确的插值结果,该文采用改进的逐点交叉验证(Improved Leave One Out Cross Validation,ILOOCV)方法求取最优形态参数,首先从形态参数取值区间内选定初始形态参数α,然后从n个已知点中顺序选出一个点,使用剩下的n-1个已知点构建RBF插值模型,计算被取出点处真实值与插值结果的误差,循环n次,累计交叉验证误差,再依次从形态参数取值区间选取下一个值,重复操作,建立形态参数α与累计交叉验证误差之间的函数映射关系,最后通过最小化交叉验证误差来获取最佳形态参数。以我国东北地区气象观测数据进行实验,对ILOOCV方法进行验证,结果表明ILOOCV方法选取最佳形态参数使其插值结果比较精确,是一种可行的RBF形态参数优化方法。

利用交叉验证的小麦LAI反演模型研究

叶面积指数(leave area index,LAI)是表征植被冠层结构和生长状况的关键参数,采用遥感技术进行LAI反演是遥感反演领域的热点和难点之一。利用小麦关键生育期的高光谱数据,计算其一阶和二阶导数,并构建植被指数(RVI,NDVI,EVI,DVI和MSAVI)及三边变量参数等高光谱变量;将上述参数与小麦LAI数据进行相关性分析,并利用交叉验证法进行多种回归分析,确定反演小麦LAI的敏感参数,选择反演模型;最后使用敏感参数构建所有样本的小麦LAI反演模型,并比较其拟合效果。研究结果表明:经过交叉验证的反演建模,其拟合结果的均方根误差(RMSE)整体上较未经交叉验证反演建模结果的RMSE小;在用敏感参数构建的回归模型中,RVI立方回归模型是用遥感数据反演小麦LAI的最优模型。

交叉验证方法在电能质量信号白噪声抑制中的应用

电力系统中,电能质量信号往往含有大量噪声,这将在很大程度上影响检测的效果。基于交叉验证方法提出了电能质量信号白噪声抑制新方法,该方法无需事先估计信号中白噪声的任何参数,能根据所定义的积分均方误差(ISE)代价函数自适应地选择最佳消噪阈值,解决了小波去噪过程中小波基函数选择的固有难题,而且去噪效果优于传统方法。仿真结果表明,该方法能够准确提取出扰动信号的突变信息,提高电能质量信号的信噪比,且信号的均方误差较小。

基于交叉验证的XGBoost算法在岩爆烈度分级预测中的适用性探讨

为解决机器学习算法在样本较少时,所得岩爆烈度等级的预测结果存在可靠性不足的问题,采用一种基于交叉验证的XG-Boost算法,并讨论其适用性。先选取岩石单轴抗压强度σc、单轴抗拉强度σt、洞室围岩最大切应力σθ、岩石弹性变形指数Wet以及岩体完整性系数KV等5个评价指标;再以国内外岩爆实例数据为样本,通过多次交叉验证计算XGBoost算法岩爆预测准确率,与支持向量机算法、随机森林算法所得准确率比较;最后对评价指标重要性进行分析。结果表明:1)在样本较少时,样本划分和排序的随机性对预测结果影响较大,通过多次交叉验证求取预测结果平均值,可提高结果可靠性;2)评价指标中KV与σθ重要性最大,σc重要性最小;3)XGBoost算法具有较高的预测准确率,在岩爆烈度分级预测中具有一定适用性。

克隆规划-交叉验证参数优化的LSSVM及惯性器件预测

为改善最小二乘支持向量机的泛化性能,将克隆规划、交叉验证相结合的优化算法用于最小二乘支持向量机的参数优化.克隆规划算法是具有局部、全局搜索能力的优化算法,能有效避免陷入局部极值;交叉验证算法的无偏估计性抑制了训练过程中“过拟合”和“欠拟合”.在该优化算法中,用交叉验证误差构造抗体抗原亲合度,用克隆规划算法寻找最小二乘支持向量机的最优参数.用优化的最小二乘支持向量机回归模型建立了惯性器件时间序列预测模型.实验结果验证了算法的有效性及预测模型的泛化性能.预测模型为动态补偿、故障预测提供了依据.

MODIS的HJ-1B红外通道星上定标系数交叉验证

HJ-1B卫星自发射以红外通道共进行了7次星上黑体定标,针对星上定标系数的验证工作开展较少,以MODIS第31、32通道为参考源,分别基于光谱响应差异和线性统计关系两种方法对HJ-1B红外通道星上定标系数进行验证。首先,计算两个传感器表观辐亮度的匹配关系,进而计算出HJ-1B红外通道的等效离表亮温,通过与HJ-1B红外通道基于星上定标系数反演得到的离表亮温进行比较,实现对星上定标系数的验证。通过半高宽法、矩方法和查找表法这三种不同的方法计算得到了2009年9月14日星上定标系数。结果表明:三种方法中,查找表法精度较高,且HJ-1B查找表法星上定标系数反演亮温与基于光谱响应差异和线性统计关系计算的等效亮温偏差较小,分别为0.02 K和0.81 K。这两种交叉验证方法的精度均在1 K以内,证明了该方法的可行性,且基于光谱响应差异的验证方法精度更高。该研究为光学载荷在轨辐射定标的验证提供了理论基础。