基于m×2正则化交叉验证的神经网络超参数调优方法

超参数调优是神经网络建模的关键问题。针对传统的超参数调优方法存在的问题,该文提出了一种基于m×2正则化交叉验证的超参数调优方法。目的是给出一种适用于复杂模型、大数据集背景下的计算开销较小且稳健的超参数调优方法。该方法的思想是从完整的数据集上选取少部分数据进行调优,避免模型在数据集较大时非常耗时的超参数调优难题;在m×2交叉验证的基础上设置正则化条件均衡训练集与验证集之间的分布差异,从而减少分布不一致带来的性能波动;使用信噪比作为调优的优化目标,从而可以综合考虑模型性能评价指标的均值和方差;并采用正交设计选择相关性较低的超参数组合以提高调优效率。以命名实体任务为例进行实验,在CoNLL 2003数据集上的实验结果显示,提出的调优方法能够选到和网格搜索性能上没有显著差异的超参数组合,且调优时间可显著降低约66%。

基于交叉验证的分位数处理效应估计方法

分位数处理效应(QTE)可以用于研究干预处理对整个结果分布的影响,评估干预处理对不同分位点的异质性影响。双机器学习方法(DML)在因果推断分析中可以克服传统方法的不足,有效解决高维协变量带来的问题,消除正则化偏差和过拟合偏差,但是DML主要用于平均处理效应的估计,在估计分位数处理效应时存在计算过程复杂、难以实现的问题。文章提出一种基于交叉验证的分位数处理效应估计方法,该方法以交叉验证思想构造估计框架,采用机器学习算法估计潜在结果的预测值,并直接利用潜在结果的序列信息得到分位数值;利用线性时间选择算法,无需对所有的样本进行排序,即可在线性时间内得到分位数;交叉验证估计处理效应减小了机器学习方法估计带来的偏差。理论分析和实证研究表明,基于交叉验证的分位数处理效应估计方法的估计结果均较好,得到的估计值接近真实值,估计的标准误也较小。

一种分层SMOTE交叉验证法--应对数据泄露与样本不平衡

在处理不平衡数据时,即使训练集和测试集之间互不重叠,过采样技术仍然可能导致数据泄露。为了解决这一问题,提出了一种分层SMOTE交叉验证法(stratified SMOTE cross-validation),将训练集中各类别样本均匀地划分为K折,在每一折中,独立地使用SMOTE算法进行数据平衡,使得每一折内的少数类样本特征仅在该折内使用。这样做不仅确保了训练与验证数据之间的完全独立,规避了数据泄露的风险,而且分类器能够充分学习少数类样本的特征。此外,结合了集成学习和参数优化技术,以增强模型的分类和泛化能力。在UCI数据集上的实验结果显示,分层SMOTE交叉验证法在分类性能上并不逊色于现有方法,并且不同的K值导致的数据分布差异会对模型性能产生影响。该方法有效地提升了模型对不平衡数据的处理能力,为不平衡学习问题提供了一定的参考价值。

基于二重LOF与逆交叉验证的稳健AdaBoost回归模型

【目的】传统AdaBoost回归模型的稳健性不足,改进的AdaBoost.RT+、AdaBoost.RS算法仍然存在对异常数据抑制效果不显著和识别正确率较低等问题,增强AdaBoost方法的稳健性具有重要的实际应用价值。【方法】给出的AdaBoost.R_LOF模型,首先提出二重LOF和逆交叉验证算法,并将两种方法结合,以概率刻画数据的异常程度。然后在AdaBoost.R2算法的基础上,根据数据的异常程度,对数据设置恰当的权重系数,在不影响正常数据迭代的同时抑制异常数据的影响。【结果】使得新模型具有更好的稳健性,并且得到更小的预测均方误差。【局限】该方法需要调节的超参数有所增加,需要根据数据集分布特征进行调整。【结论】模拟和真实案例结果显示,相比于AdaBoost.R2、AdaBoost.RT+和AdaBoost.RS算法,在不同比例异常值的数据集下,该方法都具有更好的稳健性和估计效果。

基于关键变量和SVM交叉验证改进的LSTM大坝变形预测

为了提升大坝变形预测精度,更好地对未来大坝运行状态进行评估,提出了基于显著变量和自相关分析优化长短期记忆神经网络(LSTM)的大坝变形多步预测方法.该方法首先基于随机森林(RF)确定对变形影响程度高的关键变量,同时基于SVM交叉验证自相关分析提取显著的历史特征,在提升LSTM信息挖掘能力的同时提高预测精度,最后将确定的影响因子与历史数据输入LSTM模型中,通过全连接网络输出变形预测结果.经分析,所提方法大坝变形预测精度高,与LSTM、RF-LSTM、SVM-LSTM方法相比,该方法预测精度最大提升幅度分别为62.15%(MAE)和60.12%(RMSE).

基于K折交叉验证准则模型平均方法及其应用

模型平均方法是当代统计学研究的国际前沿问题,在经济、金融、生物、医学等领域有着广泛的应用前景。它能够在参数不确定性和模型错设定下处理模型预测问题,通过将多个模型的预测结果赋予适当权重进行组合,从而利用整个候选模型集合进行估计、推断和预测。着重介绍基于K折交叉验证准则的模型平均方法,并将此应用于前列腺肿瘤基因数据集,分别在PROBIT与LOGIT模型中运用该模型平均方法比较不同模型下权重选取对估计的影响。为了验证该方法的优越性,将K折交叉验证模型平均方法分别与SAIC、SBIC以及马洛斯模型平均方法进行比较。最终取得了比较好的预测效果,说明模型平均方法为准确的预测分析提供了有力工具。

基于交叉验证的加速寿命预测模型评估方法

现有针对航空航天设备、电子器件等高可靠度产品的寿命预测方法主要研究如何建立寿命预测模型,进而预测产品的寿命,缺少对于模型的验证及准确度评估。然而,模型是否准确会直接影响寿命预测的精度。另外,同一组数据,采用不同的寿命预测方法,得到的预测寿命往往相差较大。如何选择合适的寿命预测模型是值得研究的问题。针对以上问题,本文提出基于交叉验证的加速寿命预测模型评估方法,为模型的准确度评估以及模型的选择提供了一种新的思路。在基于随机过程的加速寿命预测、基于退化轨迹的加速寿命预测、基于退化量分布的加速寿命预测实验中,利用本文方法对各寿命预测模型进行评估,评估结果作为模型选择的依据,验证了本文方法的有效性。

基于交叉验证的集成学习误差分析

目前关于集成学习的泛化性能的研究已取得很大成功,但是关于集成学习的误差分析还需要进一步研究.考虑交叉验证在统计机器学习中对于模型性能评估有重要应用,为此,应用组块3×2交叉验证和k折交叉验证方法为每个样本点进行赋予权重的预测值的集成,并进行误差分析.在模拟数据和真实数据上进行实验,结果表明基于组块3×2交叉验证的集成学习预测误差小于单个学习器的预测误差,并且集成学习的方差比单个学习器方差小.与基于k折交叉验证的集成学习方法相比,基于组块3×2交叉验证的泛化误差小于基于k折交叉验证的泛化误差,说明基于组块3×2交叉验证的集成学习模型稳定性好.

基于多标准交叉验证的城市加氢站定量风险分析

针对不同领域国家标准中安全距离计算的差异性问题对某典型加氢站配置模型进行定量风险分析(QRA),计算出加氢站设施与站外防护目标安全距离和个人风险,实现多领域(氢能领域与危险化学品领域)标准交叉验证并通过揭示加氢站氢能标准和危化品标准的适配性差异,为加氢站的设计、建设和风险控制提供多维度参考。

基于留一交叉验证法的APSIM-Maize产量模拟

作物生长模型APSIM广泛应用于作物估产和农业生产管理中,在观测数据有限的情况下,开展留一交叉验证是提高模型模拟能力的关键途径。本研究以内蒙古十大孔兑地区春玉米为研究对象,量化分析了APSIM-Maize模型模拟2012—2019年间玉米产量对关键参数的敏感性,并根据参数敏感性强弱对APSIM-Maize模型进行交叉验证与参数率定,提高了模型模拟能力。主要结果为:(1)影响春玉米产量的敏感性参数由强到弱依次是:蒸腾效率系数、辐射利用效率、开花到成熟的积温、出苗到拔节的积温、开花到灌浆的积温、潜在灌浆速率、光周期和最大穗粒数;(2)交叉验证时,APSIM-Maize模型各参数变异系数在1.06%~23.32%之间波动,总体上模型参数变异性小,可靠性高;(3)APSIM-Maize模型经过参数率定后的模拟产量与实测产量具有较好的一致性(R^(2)=0.72,RMSE=401.5kg hm^(-2)),模型在十大孔兑地区春玉米产量的评估中表现出较好的适应性。本研究为在农田试验数据有限情况下提高模型率定参数的可靠性提供了新的研究思路和科学依据。

一种均衡的RHS交叉验证

在统计机器学习中,交叉验证方法利用对一个数据集的多次切分,来构造多次重复实验,并以此估计机器学习模型的预测误差.然而交叉验证估计的稳定性与数据集的切分方式有着密切的关系.也就是说,不同的切分方式会导致训练集中所含共同样本的个数不同,当共同样本较多时,交叉验证估计具有较大的方差.为此构造了一种均衡的RHS(Repeated Half-sampling)交叉验证,使得训练集所含共同样本的个数的总和最小,并且任意两个切分之间的共同样本个数保持均衡,进而降低泛化误差估计的方差,进而有效地提高泛化误差估计的稳定性.从理论上证明了6次均衡的RHS交叉验证估计的方差小于组块3×2交叉验证,并且进一步通过模拟实验验证这一结论.同时,从实验结果可以说明6次均衡的RHS交叉验证估计的方差小于随机RHS交叉验证估计的方差.进一步,在真实数据集上大量的实验验证了这些结论.

基于广义交叉验证和吉洪诺夫正则化参数的智能电表计量异常识别方法

针对目前我国电网对智能电表基本采用到期更换和批次抽检的轮换方式造成人力、物力资源浪费的问题,提出了基于计量自动化系统的用电量数据研究智能电表计量异常的识别方法。首先,构建台区下分析智能电表运行误差的拓扑结构和数学模型;其次,针对用电量数据的病态性,提出基于吉洪诺夫正则化和广义交叉验证优化其正则参数的求解方法;接着,提出识别计量异常的智能电表的排序推荐机制;最后,以某地区实际区域数据验证,并与最小二乘法和吉洪诺夫正则化方法对比,结果表明所提方法实用、有效。

交叉验证法在模型比较中的应用

在模型比较中,有很多评价标准,如p-值等,都受制于数据的分布假定。而利用交叉验证法进行数据处理,然后比较归一化均方误差Normalized Mean Squared Error (NMSE)是目前最流行的模型评价的标准,不受任何数据分布的限制。本文详细介绍了交叉验证法,并给出了其具体的应用。通过对实际的问题建立了6种不同的模型,并利用10折交叉验证法对不同模型的归一化均方误差(NMSE)进行比较,选择出了最优的预测精度最高的模型。

基于交叉验证法与马尔科夫链的年径流丰枯分类可靠性研究

【目的】提出一种用于检验年径流丰枯分类可靠性的方法,为划分流域年径流丰枯类别提供科学依据。【方法】从稳定性和可预测性2个方面分析年径流丰枯分类的可靠性,提出基于交叉验证法和马尔科夫链的检验方法;以常用的均值标准差法、灰色关联分析法和集对分析法为代表,采用交叉验证法和马尔科夫链分别研究各方法所得分类结果的稳定性和可预测性;建立分类差异指数和转移概率差值,用于评价不同分类方法划分年径流丰枯类别的稳定性和可预测性;最后以黄河上游唐乃亥站1956—2021年的年径流序列为例进行验证。【结果】(1)基于交叉验证法和马尔科夫链,不同分类方法得到的年径流丰枯状态均存在差异,表明不同分类方法划分和预测年径流丰枯状态的稳定性和可预测性不同。(2)对唐乃亥站而言,分类差异指数表明GRA法的稳定性最好,SPA法其次,MSD法最差;转移概率差值表明GRA法的可预测性最好,SPA法其次,MSD法最差。(3)综合考虑各分类方法的稳定性和可预测性,对唐乃亥站而言,GRA法划分年径流丰枯状态最为可靠,SPA法其次,MSD法最差。【结论】不同年径流丰枯分类方法在同一流域存在可靠性差异,基于交叉验证法和马尔科夫链的方法能够有效检验各分类方法所得结果的可靠性。

基于网格搜索和交叉验证的支持向量机在梯级水电系统隐随机调度中的应用

将支持向量机(SVM)理论与网格搜索及交叉验证相结合,应用于梯级水电系统隐随机优化调度中,实现径流不确定条件下的梯级实际优化运行。以系统结构风险最小为SVM训练目标,结合参数分布规律,采用指数划分的网格搜索对模型参数进行优选;将K-fold交叉验证技术引入到SVM训练性能评价中,降低了训练样本随机性对训练模型性能的干扰,提高了模型的泛化能力。建立VC_与MATLAB混合编程平台,对梯级水电系统隐随机优化调度运行进行仿真,结果表明基于采用最优参数SVM的隐随机优化调度在梯级系统发电量和发电过程方面取得了良好成果。

极限学习机的快速留一交叉验证算法

针对回归和分类问题,提出一种极限学习机(Extreme Learning Machine,ELM)的快速留一交叉验证算法,并从理论和数值仿真两方面说明其有效性.结果表明,该算法避免了以训练样本数量N次的ELM模型的显式训练,其计算复杂度与N仅呈线性趋势增长,即O(N).即使在处理大型数据集建模问题时,该算法仍然可以快速地进行ELM模型的选择和评价.通过人工和实际数据集上的仿真实验,验证了该快速留一交叉验证算法的有效性.

基于快速留一交叉验证的核极限学习机在线建模

提出了一种基于快速留一交叉验证(FLOO-CV)的在线核极限学习机(OKELM),以逐次增加新样本与删除旧样本的方式进行在线训练;设计了一种无需人为设定、能够根据系统过程特性自适应改变的FLOO-CV预测误差阈值,根据误差阈值仅引入预报误差较大的样本对模型进行更新,以提高模型的稀疏性和泛化能力;利用Hermitian矩阵求逆引理实现了对网络输出权值的递推求解,减小了在线存储空间和计算时间.经混沌时间序列预测和连续搅拌釜式反应器的过程辨识结果表明,相比于离线核极限学习机、无稀疏策略的在线核极限学习机和在线序贯极限学习机,OKELM具有更快的计算速度和更高的学习精度.

交叉验证方法在电能质量信号白噪声抑制中的应用

电力系统中,电能质量信号往往含有大量噪声,这将在很大程度上影响检测的效果。基于交叉验证方法提出了电能质量信号白噪声抑制新方法,该方法无需事先估计信号中白噪声的任何参数,能根据所定义的积分均方误差(ISE)代价函数自适应地选择最佳消噪阈值,解决了小波去噪过程中小波基函数选择的固有难题,而且去噪效果优于传统方法。仿真结果表明,该方法能够准确提取出扰动信号的突变信息,提高电能质量信号的信噪比,且信号的均方误差较小。

基于交叉验证的多模式超级集合预报方法研究

利用AREM、MM5和WRF 3个中尺度有限区域模式,通过选取对短期天气预报影响颇大的积云参数化方案和边界层方案构成15个集合预报成员,以2003年7月汛期天气为研究对象,分别采用相关加权、多元线性回归以及支持向量机回归与"交叉验证"相结合的方法,开展有限区域模式的多模式短期超级集合预报研究。文中主要对上述3种方法的24 h降水和700 hPa流场的超级集合预报结果与多模式集合平均预报结果以及T213模式结果进行了对比分析,结果表明:(1)对于24 h降水,支持向量机回归方法的超级集合预报得到的均方根误差比多模式集合平均小,各降水临界值的TS异常评分比多模式集合平均高;并且它也较相关加权法和多元线性回归的超级集合预报效果好。(2)对于700 hPa流场,对比分析各预报结果经过向量EOF分析得到的风场第1模态和第2模态表明,多模式集合平均主要使风场强度变小,多元线性回归和支持向量机回归的超级集合预报可以较好地刻画风场的强度分布,其中支持向量机回归的超级集合预报对风场强度及其区域分布的预报效果最好。(3)对于700 hPa流场,超级集合预报明显优于同期T213模式预报,从相同的预报均方根误差意义看,支持向量机回归的超级集合预报至少较T213模式预报能提前12 h。

基于网格搜索与交叉验证的SVM磨机负荷预测

针对实际生产中只能依据专家经验判断磨机负荷(ML)状态,难以检测ML及其直接相关参数的问题,该文通过分析反应磨机内部负荷的振动信号,提取频谱特征,利用支持向量机(SVM)建立磨机负荷参数的预测模型。为解决SVM核函数参数g和惩罚因子C主观选取问题,提出采用网格搜索与交叉验证相结合的方法,对SVM参数进行优化。最后基于Matlab与VC混合编程,建立仿真平台,实现球磨机负荷参数的预测仿真。分别利用SVM默认参数和最佳优化参数代入ML回归预测模型,通过参数ML预测对比,得到SVM最佳优化参数下训练的平均平方误差(MSE)和平方相关系数(r2)均优于SVM默认参数下的预测结果。