基于m×2正则化交叉验证的神经网络超参数调优方法

超参数调优是神经网络建模的关键问题。针对传统的超参数调优方法存在的问题,该文提出了一种基于m×2正则化交叉验证的超参数调优方法。目的是给出一种适用于复杂模型、大数据集背景下的计算开销较小且稳健的超参数调优方法。该方法的思想是从完整的数据集上选取少部分数据进行调优,避免模型在数据集较大时非常耗时的超参数调优难题;在m×2交叉验证的基础上设置正则化条件均衡训练集与验证集之间的分布差异,从而减少分布不一致带来的性能波动;使用信噪比作为调优的优化目标,从而可以综合考虑模型性能评价指标的均值和方差;并采用正交设计选择相关性较低的超参数组合以提高调优效率。以命名实体任务为例进行实验,在CoNLL 2003数据集上的实验结果显示,提出的调优方法能够选到和网格搜索性能上没有显著差异的超参数组合,且调优时间可显著降低约66%。

基于遗传算法优化C-LSTM模型的心律失常分类方法

结合遗传算法全局寻优的特点提出一种GC-LSTM模型,该模型通过特定遗传策略的遗传算法自动迭代搜寻C-LSTM模型最佳超参数配置。利用遗传迭代结果配置模型,并按照医疗仪器促进协会制定分类标准在MIT-BIH心律失常数据库上进行验证。经过测试,本文提出的GC-LSTM模型在分类准确率(99.37%)、灵敏度(95.62%)、精确度(95.17%)、F1值(95.39%)上相较于手动搭建模型均有所提升,且与现有主流方法相比亦具备一定优势。实验结果表明该方法在避免大量实验调参的同时取得较好的分类性能。

基于超参数优化的电力负荷预测模型研究

电力负荷数据的多样性与复杂性,会导致负荷预测过程中出现超参数难以确定、拟合效果较差和预测精度不高等问题。针对以上问题,提出一种基于樽海鞘群算法的融入注意力机制的双向长短期记忆神经网络模型——SSA-AM-BiLSTM模型。该模型使用BiLSTM学习特征的内部变化规律,引入注意力机制为特征进行权重分配,并且利用樽海鞘群算法优化网络超参数。基于具体数据集进行的负荷预测仿真实验表明,相较于GRU、LSTM、AM-BiLSTM和PSO-AM-BiLSTM模型,所提出的SSA-AM-BiLSTM模型的MAPE分别减少了2.15%、1.93%、1.42%和0.45%,并且优化了拟合效果,显著提高了预测精度。

基于随机森林的地震灾害直接经济损失评估研究——以中国西部地区为例

为快速评估地震直接经济损失,针对我国西部地区,尝试采用随机森林机器学习回归算法,以1993—2017年震害数据为基础,结合各年份经济数据与抗震设计数据,经特征选择与参数优化后,进行模型的训练与测试。实验结果表明,在减少模型输入特征的情况下,优化后的随机森林模型可得到更优的评估结果。通过删除含有缺失特征样本的数据预处理方法,评估模型的决定系数R2达到0.86,优于中值补齐缺失特征数据预处理下的评估模型,更适用于地震直接经济损失的评估。实例验证表明该模型评估结果与实际经济损失有较好的一致性,可为抗震救灾提供决策支持。

基于图优化参数辨识的船体变形测量方法

针对船体变形惯性匹配测量中模型参数准确性影响测量精度的问题,本文提出了一种基于图优化的船体变形模型参数辨识方法并应用于惯性匹配测量。通过分析船体变形模型预设参数对惯性匹配测量的Kalman滤波影响,得到参数对惯性匹配精度的影响机制;利用船体变形历史数据,结合待辨识的船体变形模型参数组成图优化超图,建立船体变形参数辨识的图优化模型,实现船体变形惯性匹配预设模型参数的辨识,最后将参数辨识结果代入惯性匹配方程以完成准确测量。仿真实验验证了该方法可以有效地完成船体变形参数辨识,保障船体变形惯性匹配测量的准确度。

基于贝叶斯优化的GRU网络轴承剩余使用寿命预测方法

传统的滚动轴承剩余使用寿命预测模型存在参数优化的困难。针对这一问题,笔者提出了一种基于贝叶斯优化的GRU网络滚动轴承剩余使用寿命预测方法,并进行了实验验证,即以PHM2012数据集为例,结合贝叶斯优化算法对基于Encoder-Decoder结构的门控循环单元(GRU)预测模型的多个超参数进行了优化。首先,对包含噪声的原始数据进行了小波包处理,从滚动轴承的振动机理和故障特征出发提取了时域特征,针对该时域特征进行了优化、筛选,并将其输入到模型中的编码器部分,进一步提取了更深层次的时序特征;其次,结合注意力机制与Encoder-Decoder结构,构造了双向GRU神经网络模型,在模型的高维超参数空间中采用贝叶斯优化方法搜索超参数,得到了最优的超参数组合,并在解码器中融入了线性变换,得到了滚动轴承的寿命预测值;最后,封装了全部模型构建、训练与使用过程,建立了基于贝叶斯优化的GRU网络滚动轴承寿命预测流程,并对方法的有效性进行了对比实验验证。研究结果表明:采用基于贝叶斯优化的GRU网络可以有效预测滚动轴承的剩余使用寿命,相比于其他3种方法的最优结果,基于贝叶斯优化的GRU网络的平均预测得分提高了8.01%;基于贝叶斯优化的GRU网络对于真实寿命较短的轴承预测结果较为准确,而对于真实寿命较长的轴承则没有出现预测值大于真实值的情况,可以作为轴承临近失效阶段剩余使用寿命估计的参考。

基于VMD-BO-BiLSTM的猪肉价格预测模型

基于猪肉价格的非线性与波动性特性,提出一种基于变分模态分解(variational modal decomposition,VMD)和贝叶斯优化(Bayesian optimization,BO)的双向长短时记忆(bidirectional long short-term memory,BiLSTM)网络的猪肉价格预测方法。首先采用变分模态分解对数据进行预处理,将数据分解为具有相对简单波动的子序列;然后通过贝叶斯算法对双向长短时记忆网络模型的第1、2隐含层神经元数目、学习率和批次大小进行寻优,根据寻优的结果建立预测模型。实验结果表明:VMD-BO-BiLSTM方法的平均绝对误差、均方根误差、平均绝对百分比误差和确定系数分别为1.101214、1.466100、0.040631、0.987760,相比传统单一的LSTM,BiLSTM模型精确度更高,有更高的适用性,适合对猪肉价格预测。

冲击噪声下基于演化长短时记忆神经网络的调制信号识别

为了解决冲击噪声下长短时记忆(long short term memory,LSTM)神经网络调制信号识别方法抗冲击噪声能力弱和超参数难以确定的问题,本文提出了一种演化长短时记忆神经网络的调制识别方法。利用基于短时傅里叶变换的卷积神经网络(convolution neural network,CNN)去噪模型对数据集去噪;结合量子计算机制和旗鱼优化器(sailfish optimizer,SFO)设计了量子旗鱼算法(quantum sailfish algorithm,QSFA)去演化LSTM神经网络以获得最优的超参数;使用演化长短时记忆神经网络作为分类器进行自动调制信号识别。仿真结果表明,采用所设计的CNN去噪和演化长短时记忆神经网络模型,识别准确率有了大幅度的提高。量子旗鱼算法演化LSTM神经网络模型降低了传统LSTM神经网络容易陷于局部极小值或者过拟合的概率,当混合信噪比为0 dB,所提方法对11种调制信号的平均识别准确率达到90%以上。

在役混凝土结构碳化深度的贝叶斯随机模型

由于混凝土碳化过程的随机性,现有的碳化深度预测模型难以表征在役混凝土结构的实际碳化状况。为此,将已有碳化随机模型与现役混凝土结构碳化深度的实测信息相结合,提出一种碳化总体样本均值与方差均未知情况下的先验分布超参数的计算方法;并利用贝叶斯理论对碳化速度系数进行更新,研究了针对在役混凝土结构碳化深度的贝叶斯随机模型。以燕山水库溢洪道闸墩等结构的实测混凝土碳化深度为例进行分析,结果表明碳化深度的贝叶斯随机模型能更好地表征在役混凝土结构的实际碳化状况。

基于随机搜索算法和AdaBoost模型预测LF精炼过程脱硫率

脱硫是LF精炼过程的主要任务之一.为达到稳定脱硫率的目的,利用AdaBoost模型对某钢铁厂LF精炼过程的实际生产数据进行建模,通过对比网格搜索算法、随机搜索算法及贝叶斯优化算法对AdaBoost模型超参数的优化效果和优化时间的影响,讨论了实际应用中AdaBoost模型的超参数优化方案.此外,根据实验对比结果及实际应用情况,确定了基于随机搜索算法和AdaBoost模型的LF精炼过程脱硫率预测模型.结果表明:该模型可以实现脱硫率误差在±0.07,±0.06和±0.05时,准确度分别为95.3%,93.0%和86.0%.

超参数自适应的MOEA/D-DE算法在翼型气动隐身优化中的应用

MOEA/D-DE算法易于实现,被广泛应用于处理多目标优化问题,但其超参数对算法性能影响较大。基于MOEA/D-DE算法框架,利用Sobol全局灵敏度分析方法对差分进化算子中的交叉控制参数进行改进,使用莱维飞行机制控制比例因子,使算法中的超参数拥有自适应能力,得到超参数自适应的MOEA/D-DE算法——MOEA/D-DEAH算法;对MOEA/D-DEAH算法、不同超参数设置的MOEA/D-DE算法和NSGAⅡ算法进行函数测试和翼型气动隐身优化算例对比。结果表明:MOEA/D-DEAH算法性能良好,具有较强的鲁棒性,气动隐身优化效果也比其他算法更好。

基于PSO-SES-BPNN算法的液压系统故障诊断模型

为提高液压系统的故障诊断准确率,分析了液压系统的数据特征,明确了液压系统的数据处理方式及故障类型;以反向传播神经网络(BPNN)算法为基础,采用一次指数平滑法(SES)改进了BPNN算法的梯度优化过程;基于粒子群算法(PSO)对BPNN算法的主要超参数和SES的平滑系数进行了优化,获取了最优超参数模型;以UCI的公共数据对基于PSO-SES-BPNN算法的液压系统故障诊断模型进行了实验验证。实验结果表明,该模型对有144种故障状态的液压冷却过滤系统的故障诊断准确率为98.06%,诊断性能远高于同类文献研究结果,有助于提高液压系统运行过程的故障诊断效率。

基于强化学习和XGBoost的信贷风险

为增加信贷风险预测算法的准确率,降低信贷风险,提出一种基于特征工程下的XGBoost超参数优化模型。使用后剪枝的随机森林进行特征选择,利用基于强化学习的改进Q-learning算法优化XGBoost超参数。实验结果表明,相比较于现有的超参数优化方法,改进的Q-learning在提升算法收敛速度的前提下保证了准确率。该模型在信贷风险预测中的准确率均优于LightGBM、GRU等模型,验证了其有效性。

基于改进GRA-NARX模型的不同预见期泵站水位预测

基于超参数自动率定的GRA-NARX(grey relation analysis-nonlinear autoregressive model with exogenous inputs)模型是GRA-NARX模型的一种有效改进。以南水北调东线一期工程洪泽泵站为例,使用基于超参数自动率定的GRA-NARX模型,针对1 h和2 h时间间隔的输入数据,分别预测3个短预见期(2 h、4 h、6 h)和1个长预见期(12 h)的泵站站前水位,并与GRA-BP(grey relation analysis-back propagation)模型的预测结果进行比较。结果表明:不同预见期(2 h、4 h、6 h、12 h)下,基于超参数自动率定的GRA-NARX模型的相关系数、均方根误差和平均绝对误差等指标均相差不大,预测精度高,且皆优于GRA-BP模型;采用1 h时间间隔的输入数据预测结果优于2 h时间间隔的输入数据结果。研究成果可为不同预见期泵站站前水位预测提供理论参考。

中心像素加权的无锚框孪生网络跟踪器

为解决SiamRPN++超参数多,对相似背景干扰的判别性不强等问题,提出一种中心像素加权的无锚框孪生网络跟踪器(CPW-Siam)。引入无锚框回归方式,直接在像素点上预测目标框,避免超参数过多的影响;对像素点进行更精确的样本划分,使正样本像素点包含的背景更少,提升特征判别能力;通过中心加权采样,体现正样本像素点不同的关注度,使跟踪器能够做出更精确预测。在VOT2018数据集上的实验结果表明,CPW-Siam的EAO相较SiamRPN++提高了4.5个百分点。

人工智能和机器学习下的5G网络安全研究

提出了一种基于机器学习的网络入侵检测系统来防止恶意的在线攻击。该系统是一种多阶段优化框架,研究了过采样技术对模型训练样本数量的影响,比较了基于信息增益和基于相关性的两种特征选择技术,探讨其对检测性能和时间复杂度的影响;探索了不同的超参数优化技术来进一步提高网络入侵检测系统的性能。在CICIDS 2017和UNSW-NB 2015入侵检测数据集上的实验结果表明,该模型能显著降低所需的样本数量和特征集量,并在两个数据集上的检测准确率均超过99%。在保持检测性能的同时降低了计算复杂度。

改进粒子群算法在能耗预测中的应用

针对能源管理系统中的能耗预测模块,为提升能源消耗的预测效果,引入长短期记忆网络(Long Short-Term Memory,LSTM),并利用改进的粒子群算法对超参数选取进行优化,构建了IPSO-LSTM能耗预测模型。通过工厂半年的数据分析对比,仿真结果表明IPSO-LSTM模型下的预测效果更好,准确性高于BP模型、LSTM模型和PSO-LSTM模型,验证了该模型用于能源管理系统能耗预测的可能性和准确性。

机器学习方法的云数据中心能耗模型研究

随着全球数据中心的大量部署和云计算服务需求激增,其高能耗问题日益严重,如何精确预测数据中心的能耗已成为一项重要研究课题.针对数据中心服务器的能耗具有不确定性和非线性等特点,本文提出了一种机器学习方法的服务器实时能耗预测方法.该方法采用随机森林算法筛选模型的输入参数,使用网格搜索方法优化模型的超参数,利用机器学习方法构建服务器的能耗模型.实验结果表明:与基准算法相比,经过优化后的模型其平均绝对误差降低了6.5%,并且在加入误差置信区间后能耗模型的平均绝对误差低于1.4%.

超高压空气的热物性计算

为研究高超声速风洞部件的气动特性,运用空气的亥姆霍兹能状态方程和输运物性方程组,计算超高压工况下空气的热物性参数。将计算结果与美国国家标准与技术研究院(National Institute of Standards and Technology,NIST)数据库的实验数据进行比较,得到相对误差值。结果表明,空气亥姆霍兹能状态方程和输运物性方程组计算得到的空气热物性参数与NIST标准实验数据相比误差较小,可以应用于超高压状态下的空气热物性计算。

基于LeNet-5模型的太阳能电池板缺陷识别分类

太阳能电池板是光伏发电组件的核心部件,其质量的优劣直接关系安全发电和发电效率。因此,对太阳能电池板进行缺陷检测具有重要的实际价值。考虑到人工检测的低效性和高成本,本文提出利用在深度学习领域图像分类性能良好的卷积神经网络对太阳能电池板图像进行自动识别分类。利用Tensorflow平台Tensorboard的可视化性能,对经典卷积神经网络Le Net-5模型进行结构改善和超参数的调整,并将改进LeNet-5模型与经典LeNet-5模型和支持向量机的分类结果互相对比,结果表明改进LeNet-5模型的分类效果最优。