基于改进实数编码遗传算法的神经网络超参数优化

针对神经网络超参数优化效果差、容易陷入次优解和优化效率低的问题,提出一种基于改进实数编码遗传算法(IRCGA)的深度神经网络超参数优化算法——IRCGA-DNN(IRCGA for Deep Neural Network)。首先,采用实数编码方式表示超参数的取值,使超参数的搜索空间更灵活;然后,引入分层比例选择算子增加解集多样性;最后,分别设计了改进的单点交叉和变异算子,以更全面地探索超参数空间,提高优化算法的效率和质量。基于两个仿真数据集,验证IRCGA-DNN的毁伤效果预测性能和收敛效率。实验结果表明,在两个数据集上,与GA-DNN(Genetic Algorithm for Deep Neural Network)相比,所提算法的收敛迭代次数分别减少了8.7%和13.6%,均方误差(MSE)相差不大;与IGA-DNN(Improved GA-DNN)相比,IRCGA-DNN的收敛迭代次数分别减少了22.2%和13.6%。实验结果表明,所提算法收敛速度和预测性能均更优,能有效处理神经网络超参数优化问题。

基于贝叶斯超参数优化的鲜香菇机器视觉图像分级识别

针对鲜香菇分级机械化程度低,精度不高等问题,本文提出1种基于贝叶斯超参数优化技术的鲜香菇机器视觉图像识别方法。利用摄像头拍摄鲜香菇图像,按人工分级标准对采样图像进行正反面标记分级,获取并标记了5级的鲜香菇图像,利用仿射变换和对比度变换的方法对获取的数据集进行扩充,建立各等级鲜香菇图像数据集;基于深度卷积神经网络,对3种预训练网络模型(AlexNet、GoogLeNet、ResNet-18)分别进行迁移学习,3种模型分别记为XGu_Ale、XGu_Goo和XGu_Res-18;使用贝叶斯优化算法对3种模型的香菇正反面数据集进行超参数优化,并分析了各个网络模型的测试结果。分析可知鲜香菇正面图像等级模型以Z-XGu_Res-18模型的识别准确率最高,鲜香菇反面图像等级模型以F-XGu_Res-18模型的识别准确率最高,准确率分别为98.73%和99.15%,选择以上2个模型可满足鲜香菇的分级要求,对正反面识别结果进行加权组合得到鲜香菇分级识别的最终等级。

自适应光学系统迭代控制算法超参数优化

无波前探测自适应光学系统中,选择合适的超参数是迭代控制算法达到最佳性能的关键。现有的迭代控制算法的超参数设置一般采用遍历法,这种方法虽然容易理解和实现,但计算量大、耗时较长,同时也可能因为找到一个局部最优值而错过全局最优值。本文采用贝叶斯优化方法,选择适合自适应光学系统迭代控制算法的超参数。分别以常用的随机并行梯度下降算法(stochastic parallel gradient descent algorithm,SPGD)、Momentum-SPGD和CoolMomentum-SPGD控制算法为例,对比分析采用遍历法和贝叶斯优化方法选择超参数的控制算法的校正效果。结果表明,采用贝叶斯优化方法进行超参数选择优势明显。对于SPGD控制算法,取得相同收敛效果时,贝叶斯优化方法所需样本实例数量是遍历法的10%;对于Momentum-SPGD和CoolMomentum-SPGD控制算法,贝叶斯优化方法所需样本实例数量分别是遍历法的7%和9%。研究结果可为自适应光学系统迭代控制算法的实际应用提供超参数设置理论基础。

自适应遗传算法优化堆叠LSTM超参数的入侵检测研究

针对传统入侵检测模型检测准确率、精确率偏低和模型泛化能力不足的问题,采用自适应遗传算法优化堆叠(Long short-term memory, LSTM)进行入侵检测研究。构建堆叠LSTM入侵检测模型提取网络数据特征,为充分利用堆叠LSTM各层提取到的数据特征信息,改进堆叠LSTM的网络结构,将各层LSTM提取到的特征信息进行保留合并。为确定模型的最佳超参数取值,使用自适应遗传算法(Adaptive genetic algorithm,AGA)优化模型的超参数,AGA迭代完成后的输出即为最佳超参数取值,使用最佳超参数取值构建入侵检测模型。该模型在NSL-KDD数据集上的检测准确率为99.03%、精确率为94.86%、召回率为95.39%,在UNSW-NB15数据集上的检测准确率为90.21%、精确率为86.97%、召回率为89.11%。在所有对比模型中表现最优,且模型的泛化能力较强,能准确检测出未知攻击。

基于改进SLIC算法的超像素图像分割及参数优化

为了提高超像素图像分割效率,根据颜色参数设计得到SLIC图像分割算法。研究结果表明:应确保K值达到尽量小的状态下,设置更高精度的边界分割效果,从而确保精度提升的基础上尽量减少计算量。逐渐提高超像素数后,UE呈现持续降低的趋势,最终达到饱和状态;在初期处于较小超像素数量的情况下,ASA发生了快速增长,此时分割精度也获得了快速提升;BR表现为较平稳的增长趋势,形成了稳定的BR参数。优化SLIC算法以自动方式设置的K值为323,实现了算法计算过程的明显简化。所设计的优化SLIC方法可针对各类图像分别设置超像素数量,不必进行多次尝试来选择超像素,使运行时间大幅缩短。

基于改进SAX算法与贝叶斯超参数优化的配电网负荷-馈线智能匹配方法

新型电力系统下配电网运行方式调整愈来愈频繁,配电网负荷-馈线匹配面临采样数据高维异构且价值密度低、现有匹配算法对负荷物理特征依赖度高、参数设置灵活性弱等难点,为此提出一种基于改进SAX(符号聚合近似)算法与贝叶斯超参数优化的配电网负荷-馈线智能匹配方法。首先,建立面向离散符号化时间数据序列的数据价值提升模型,将高维异构的数据近似表示为低维统一的符号,修正和填充异常数据、空白数据。其次,构建改进CNN-LSTM(卷积神经网络-长短期记忆)混合神经网络,对负荷数据进行所属馈线匹配分类训练,利用多头注意力机制深入挖掘负荷数据的潜在数学关系,降低对负荷物理特征的依赖度。然后,引入贝叶斯超参数优化算法对神经网络训练参数进行逐次更新,提高馈线拓扑变化时神经网络模型的灵活性与适应性。最后,对某地区100条馈线进行负荷匹配实验验证,结果证明所提方法较传统方法具有更高的匹配精度。

传统机器学习模型的超参数优化技术评估

合理的超参数能够保证机器学习模型适应不同背景和不同任务。为了避免在模型超参数数量过多、搜索空间过大的情况下出现手动调节导致的效率低下问题,多种超参数优化技术已经被研发并运用到机器学习模型训练中。文中首先回顾了8种常见的超参数优化技术,即网格搜索、随机搜索、贝叶斯优化、Hyperband、BOHB、遗传算法、粒子群优化算法和协方差矩阵自适应进化策略,并从时间性能、最终结果、并行能力、可拓展性、稳健性和灵活性5个方面分析各类方法的优缺点。其次,将8种方法应用到LightGBM、XGBoost、随机森林和KNN这4种传统机器学习模型上,在4个基准数据集上完成了回归、二分类和多分类的实验,对各类方法进行了比较。最后总结了各类方法的优缺点,给出了不同方法的适用情景。

基于超参数优化LSTM的声波测井曲线生成技术

为解决声波测井曲线缺失或失真问题,使用传统方法重构测井曲线时,往往导致测井曲线精度不够。深度学习具有很强的数据表征能力,但建立模型面临超参数设定的不确定性和时间成本问题。为此,将异步连续减半算法(ASHA)与长短期记忆神经网络(LSTM)模型相结合,设计实现了一种基于超参数优化LSTM的声波测井曲线生成技术,对缺失或失真曲线进行补全。以大庆油田6口井为例,首先通过相关性分析,优选自然伽马、密度、补偿中子曲线作为输入特征量搭建LSTM学习模型,然后采用ASHA对LSTM模型进行超参数调优,并与常见的贝叶斯优化、粒子群优化算法进行时效及精度对比,最后将调优得到的超参数组合应用于LSTM模型,并与多元回归、GRU、BILSTM 3种模型进行对比。该技术的应用结果表明:ASHA算法能更加高效准确地确定模型超参数,节省时间与人力成本,提高建模效率。基于ASHA优化的LSTM模型生成的声波测井曲线精度更高,该技术具有较好的适用性和精确性。

基于DYCORS算法的OVA-SVM参数优化与应用研究

目的现有的参数优化方法普遍存在时间成本较大、内存占用较大、难以解决高维数据情况、难以找到全局最优解等问题,DYCORS算法可以在节约时间成本和内存的前提下,对高维数据问题也能找到全局最优解,故针对现有参数优化方法存在的问题,提出了针对OVA-SVM模型参数分块优化的YDYCORS算法。方法OVA-SVM的参数中对模型影响较大的有惩罚参数C、核函数类型k、RBF核函数参数γ、ploy核函数参数d以及迭代终止参数t,由于同时调节5个参数计算量较大,难以找到最优解,而DYCORS算法可以减少迭代次数,对于高维数据问题也同样适用,在DYCORS算法的基础上进行参数分块调节:先调节影响最大的参数C、k、γ,再固定最优参数C、k、γ,调节剩余参数中影响较大的参数d和t,最后同时调节已获得的5个最优参数,如此对参数进行分块调节,提升参数优化的效果。结果通过MNIST和IRIS两个数据集上的实验结果对比可以发现:运用YDYCORS算法对OVA-SVM参数进行分块调节后,能得到与手动调参和直接用DYCORS同时调节5个参数更高的模型准确率,从而也能进一步提升模型性能。结论最终实验结果表明:DYCORS算法能有效解决OVA-SVM参数优化中时间成本较大、内存占用较大、难以解决高维数据、难以找到全局最优解等问题,尤其是改进后的YDYCORS算法能进一步提升OVA-SVM的模型准确率,获得较佳的模型效果。

超参数自适应的MOEA/D-DE算法在翼型气动隐身优化中的应用

MOEA/D-DE算法易于实现,被广泛应用于处理多目标优化问题,但其超参数对算法性能影响较大。基于MOEA/D-DE算法框架,利用Sobol全局灵敏度分析方法对差分进化算子中的交叉控制参数进行改进,使用莱维飞行机制控制比例因子,使算法中的超参数拥有自适应能力,得到超参数自适应的MOEA/D-DE算法——MOEA/D-DEAH算法;对MOEA/D-DEAH算法、不同超参数设置的MOEA/D-DE算法和NSGAⅡ算法进行函数测试和翼型气动隐身优化算例对比。结果表明:MOEA/D-DEAH算法性能良好,具有较强的鲁棒性,气动隐身优化效果也比其他算法更好。

基于超参数优化的TransCNN眼底图像分类算法

针对深度学习模型参数多、随机、训练时间长,眼底图像病变处交织重叠、数据集样本不均等问题,提出基于超参数优化的TransCNN(Deho-TransCNN)眼底图像分类算法。该算法以TransCNN网络模型为基础,利用差分进化算法分别对模型网络权重进行初始化寻优和对模型进行超参数组合实现参数自适应优化;最后利用MEB-KSVM对眼底病变图像进行多分类。实验结果表明,改进算法的准确率、敏感性、特异性以及AUC值最优,分别为0.947、0.926、0.937、0.945,与文中9种传统算法比较,分别平均提升5.6%、6.4%、5.1%、7.9%;改进算法检测时间最低,与最佳算法改进CNN相比,平均检测时间降低158.3%。改进算法在一定程度上提升图像多分类效果,降低图像检测时间,对图像多分类处理有一定泛化能力。

基于混合优化算法的超参数优化方法及其应用

卷积神经网络(CNN)自身结构的超参数对于分类问题中的准确率与效率有较大的影响,针对现有超参数优化方法多依赖传统组合,优化结果不彻底,导致模型分类效果不佳的状况,提出一种基于混合优化算法的CNN超参数优化方法。该方法根据CNN架构的结构特点选取超参数,然后采用粒子群优化算法(PSO)-梯度下降(GD)混合算法进行优化。在测试数据集上的实验结果表明:该方法在分类问题上具有较好的性能,提升了超参数的优化效率,避免了传统PSO算法易陷入局部最优的缺点。

基于局部搜索贝叶斯算法的Xgboost参数选择

提出了一种基于密度的局部搜索贝叶斯算法的Xgboost参数选择方法(BOA-DLS-Xgboost).基于密度的局部搜索贝叶斯算法(BOA-DLS)在选择初始种群时采用拉丁超立方抽样(LHS),使初始种群更均匀地分布于参数空间;每次探索过程是在LHS抽样点的基础上,对稀疏点和当前最优解周围进行局部搜索得到待采样集,以提高解的收敛速度和精度.仿真实验结果表明:BOA-DLS比BOA具有更好的优化性能.利用BOA-DLS对Xgboost算法的参数进行优化,通过与四种经典集成学习算法以及BOA-Xgboost算法比较,所提出的BOA-DLS-Xgboost算法在参数优化方面的应用是合理有效的.

基于数据分解与斑马算法优化的混合核极限学习机月径流预测

为提高月径流预测精度,改进混合核极限学习机(HKELM)预测性能,提出小波包分解(WPT)-斑马优化算法(ZOA)-HKELM组合模型。利用WPT处理月径流时序数据,构建局部高斯径向基核函数和全局多项式核函数相混合的HKELM;通过ZOA优化HKELM超参数(正则化参数、核参数、权重系数),建立WPT-ZOA-HKELM组合模型,并构建WPT-遗传算法(GA)-HKELM、WPT-灰狼优化(GWO)算法-HKELM、WPT-鲸鱼优化算法(WOA)-HKELM、WPT-ZOA-极限学习机(ELM)、WPT-ZOA-最小二乘支持向量机(LSSVM)、ZOA-HKELM作对比模型,通过黑河流域莺落峡、讨赖河水文站月径流时间序列预测实例对各模型进行检验。结果表明:(1)莺落峡、讨赖河水文站月径流时间序列WPT-ZOA-HKELM模型预测的平均绝对百分比误差分别为1.054%、0.761%,决定系数均达0.999 9,优于其他对比模型,具有更高的预测精度,预测效果更好。(2)利用ZOA优化HKELM超参数,可提高HKELM预测性能,优化效果优于GWO、WOA、GA。(3)预测模型能充分发挥WPT、ZOA和HKELM优势,提高月径流预测精度;在相同分解和优化情形下,HKELM的预测性能优于ELM、LSSVM。

基于GNSGA-Ⅱ算法的线圈优化设计

在电动汽车无线充电技术中,充电线圈的性能直接影响系统的整体传输性能。在分析常用线圈形状的基础上,引入拉梅曲线方程,设计了一种新型超圆角方形线圈;对耦合电路进行理论分析,得到优化目标传输效率和功率密度与待优化参数之间的关系;利用改进的多目标优化算法(GNSGA-Ⅱ)进行线圈的参数优化,得到一组最优的参数解用于工程设计。该方法相比于传统有限元仿真计算法,具有节省时间的优点,优化设计结果表明该方法具有有效性。

一种基于贝叶斯网络的微波雷达和图像融合与分类算法

近年来,深度学习技术的进步在合成孔径雷达(SAR)自动目标识别(ATR)技术中取得了出色的表现。然而,由于斑点噪声的干扰,SAR图像的分类任务仍然具有挑战性。为了解决这个问题,本研究提出了一种多尺度局部–全局特征融合网络(MFN),该网络集成了卷积神经网络(CNN)和Transformer网络。所提出的网络包括三个分支:CovNeXt-SimAM分支,Swin Transformer分支和多尺度特征融合分支。CovNeXt-SimAM分支在不同的尺度上提取SAR图像的局部纹理细节特征。通过将SimAM注意机制结合到CNN块中,从空间和通道注意角度增强了模型的特征提取能力。此外,Swin Transformer分支用于提取不同尺度下的SAR图像全局语义信息。最后,多尺度特征融合分支用于融合局部特征和全局语义信息。此外,为了解决由于经验确定的模型超参数问题而导致模型精度和效率较低的问题,采用贝叶斯超参数优化算法确定了最佳的模型超参数。该研究提出的模型在MSTAR数据集上,标准工作条件(SOCs)和扩展工作条件(EOCs)下,对SAR车辆目标分别取得了99.26%和94.27%的平均识别准确率。与基准模型相比,识别准确率分别提高了12.74%和25.26%。结果表明,贝叶斯-MFN降低了SAR图像之间的类间距离,导致更紧凑的分类特征和更少的斑点噪声干扰。与其他主流模型相比,贝叶斯-MFN模型展现出最佳的分类性能。

基于改进贝叶斯优化算法的CNN超参数优化方法

CNN框架中,如何对其模型的超参数进行自动化获取一直是一个重要问题。提出一种基于改进的贝叶斯优化算法的CNN超参数优化方法。该方法使用改进的汤普森采样方法作为采集函数,利用改进的马尔可夫链蒙特卡罗算法加速训练高斯代理模型。该方法可以在超参数空间不同的CNN框架下进行超参数优化。利用CIFAR-10、MRBI和SVHN测试集对算法进行性能测试,实验结果表明,改进后的CNN超参数优化算法比同类超参数优化算法具有更好的性能。

基于贝叶斯优化机器学习超参数的滑坡易发性评价

利用机器学习模型进行滑坡易发性评价时,不同的超参数设置往往会导致评价结果的不同。采用贝叶斯算法对4种常见机器学习模型(逻辑回归LR、支持向量机SVM、人工神经网络ANN和随机森林RF)的超参数进行了优化,探索了该算法对滑坡易发性机器学习模型的优化效果。以湘中地区4县(安化县、新华县、桃江县和桃源县)滑坡易发性评价为例说明该算法的可行性与适用性。基于滑坡历史编录,确定研究区内1017个滑坡点,并选定15个滑坡影响因子,以此构建滑坡易发性模型的训练集和测试集。利用贝叶斯优化算法对4种机器学习模型的主要超参数进行了优化,依据优化后的超参数建立了4种优化模型,并使用AUC值等指标来比较其预测能力。结果表明:经超参数优化后的4种机器学习模型预测性能均有所提高,且基于贝叶斯优化的随机森林模型表现最好。

基于贝叶斯优化的GRU网络轴承剩余使用寿命预测方法

传统的滚动轴承剩余使用寿命预测模型存在参数优化的困难。针对这一问题,笔者提出了一种基于贝叶斯优化的GRU网络滚动轴承剩余使用寿命预测方法,并进行了实验验证,即以PHM2012数据集为例,结合贝叶斯优化算法对基于Encoder-Decoder结构的门控循环单元(GRU)预测模型的多个超参数进行了优化。首先,对包含噪声的原始数据进行了小波包处理,从滚动轴承的振动机理和故障特征出发提取了时域特征,针对该时域特征进行了优化、筛选,并将其输入到模型中的编码器部分,进一步提取了更深层次的时序特征;其次,结合注意力机制与Encoder-Decoder结构,构造了双向GRU神经网络模型,在模型的高维超参数空间中采用贝叶斯优化方法搜索超参数,得到了最优的超参数组合,并在解码器中融入了线性变换,得到了滚动轴承的寿命预测值;最后,封装了全部模型构建、训练与使用过程,建立了基于贝叶斯优化的GRU网络滚动轴承寿命预测流程,并对方法的有效性进行了对比实验验证。研究结果表明:采用基于贝叶斯优化的GRU网络可以有效预测滚动轴承的剩余使用寿命,相比于其他3种方法的最优结果,基于贝叶斯优化的GRU网络的平均预测得分提高了8.01%;基于贝叶斯优化的GRU网络对于真实寿命较短的轴承预测结果较为准确,而对于真实寿命较长的轴承则没有出现预测值大于真实值的情况,可以作为轴承临近失效阶段剩余使用寿命估计的参考。

多极小波包变换与改进浣熊算法优化的混合核极限学习机径流预测

为提高日径流多步预测精度,减少模型计算规模,同时提升浣熊优化(COA)算法和混合核极限学习机(HKELM)性能,提出多极小波包变换(MWPT)-改进COA算法(ICOA)-HKELM日径流时间序列预测模型。首先,利用MWPT将日径流时序数据分解为1个低频分量和2个高频分量,并构建局部高斯径向基核函数和全局多项式核函数相混合的HKELM;其次,简要介绍COA算法原理,基于Circle映射等策略对COA进行改进,提出ICOA算法,通过8个典型函数对ICOA算法进行仿真验证,并与基本COA算法、鲸鱼优化算法(WOA)、灰狼优化算法(GWO)作对比,旨在验证ICOA算法的优化性能;最后,利用ICOA优化HKELM超参数(正则化参数、核参数、权重系数),建立MWPT-ICOA-HKELM模型,并构建MWPT-COA-HKELM、MWPT-WOA-HKELM、MWPT-GWO-HKELM、小波包变换(WPT)-ICOA-HKELM、小波变换(WT)-ICOA-HKELM、MWPT-ICOA-BP模型作对比分析,通过云南省景东、把边水文站2016-2020年日径流时间序列多步预测实例对各模型进行验证。结果表明:(1)ICOA具有较好的改进效果,仿真精度优于COA、WOA、GWO算法。(2)MWPT-ICOA-HKELM模型预测效果优于其他对比模型,其对实例单步预测效果“最好”,超前3步和超前5步“较好”,超前7步“较差”,预测精度随预测步长的增加而降低。(3)利用ICOA优化HKELM超参数,可显著提高HKELM预测性能,超参数优化效果优于COA、WOA、GWO算法。