基于m×2正则化交叉验证的神经网络超参数调优方法

超参数调优是神经网络建模的关键问题。针对传统的超参数调优方法存在的问题,该文提出了一种基于m×2正则化交叉验证的超参数调优方法。目的是给出一种适用于复杂模型、大数据集背景下的计算开销较小且稳健的超参数调优方法。该方法的思想是从完整的数据集上选取少部分数据进行调优,避免模型在数据集较大时非常耗时的超参数调优难题;在m×2交叉验证的基础上设置正则化条件均衡训练集与验证集之间的分布差异,从而减少分布不一致带来的性能波动;使用信噪比作为调优的优化目标,从而可以综合考虑模型性能评价指标的均值和方差;并采用正交设计选择相关性较低的超参数组合以提高调优效率。以命名实体任务为例进行实验,在CoNLL 2003数据集上的实验结果显示,提出的调优方法能够选到和网格搜索性能上没有显著差异的超参数组合,且调优时间可显著降低约66%。

基于DPSO-LSTM超参数调优的股市价格预测

长短期记忆网络(Long Short-Term Memory,LSTM)适合处理和预测时间序列中间隔和延迟较长的重要事件。由于其复杂的网络结构、不确定的超参数和耗时的网络训练,使得人工寻找高效的网络配置成为一项具有挑战性的工作。文中采用分布式粒子群算法(Distributed Particle Swarm Optimization,DPSO)来有效解决LSTM的超参数调优问题,研究LSTM中最优的隐藏元个数、激活函数以及学习率等超参数的选择,寻找高性能的LSTM。基于沪深300历史交易数据进行价格预测,实验结果表明该方法是有效的,这为超参数调优与股市价格预测提供了新的思路和方法。

基于稳健设计的SGNS算法的超参数调优方法

通常给定超参数的若干取值选取性能最大的为最优组合(称为直接选优法),但是此方法的稳健性差。为此,提出了一种基于稳健设计的超参数调优方法(称为稳健调优法)。具体地,以SGNS算法中的超参数调优为例,在词语推断任务上实验并得出:经方差分析得到SGNS算法中的七个超参数中的五个对算法预测性能有显著影响,确定为主控因子,其余两个确定为噪声因子,且主控因子中有三个对性能估计的方差有显著影响,因此,调优中仅从期望最大来直接选优是不合理的;稳健调优法与直接选优法两者在预测性能上没有显著差异,但稳健调优法对噪声因子具有较好的稳健性。稳健调优法对一般的深度神经网络的调参有实际的借鉴意义。

基于量子遗传的超参数自动调优算法的设计与实现

机器学习伴随着海量数据的支持以及强大的计算能力为其提供了强有力的保证下不断地向前发展,训练过程变得更加高效便捷。在此基础上,机器学习算法的超参数对其性能的影响是非常巨大的,因此对众多的超参数进行优化选择就自然有了强烈的需求。由此本文提出了一种基于量子遗传的超参数自动调优算法,实验表明,在针对多种机器学习模型的超参数调优问题上,既解决了一般随机算法的不稳定性的问题,也解决了一般进化算法迭代缓慢、收敛速度较低的问题,并且通过实验结果表明取得了不错的效果。

基于改进的RReliefF算法的超参数重要性分析

自动化超参数配置方法在超参数调优过程中表现优异,但在超参数重要性分析方面还存在许多约束和限制。现有的超参数重要性评估方法多数局限于迭代构建模型,导致时间复杂度增加。为了解决该问题,提出一种基于改进的RReliefF算法直接评估超参数及超参数之间重要性权重。该算法根据每一个超参数对性能的影响程度估计单个超参数对性能贡献的能力,通过改进的归一化公式计算超参数之间的重要性权重。该算法分析得到了随机森林算法及SVM算法的超参数重要性权重,与相关方法比较具有一定的优势。

基于改进随机森林优化算法在医疗数据中的应用研究

本文针对临床疾病预测过程中医疗临床数据特征因子相关性较强,模型调参工作较为复杂的问题,提出一种多模型复合优化方法。考虑到过多的强相关性特征因子很容易降低模型的运行效率,利用SelectKbest变量筛选算法对临床数据进行筛选,采用遗传算法对随机森林分类器模型的参数选择进行优化。最后,以乳腺癌的临床数据为例,实验证明通过以上方法优化后算法模型的精准值、召回率、F1分值、AUC值等方面均有提高,该提出的超参数调优方法为具有强共线性的临床数据处理和疾病预测提供了一种新思路。

支持向量机自寻优模型在锅炉一次风量预测中的应用

利用一次风量的离线检测数据和影响一次风量的煤质数据、煤粉细度、和运行参数的历史数据,选用支持向量机建立一次风量预测模型并自动寻找最佳超参数,建立最佳预测模型。

面向带钢热镀锌感应加热的改进贝叶斯温度预测算法

出锌锅后的带钢需通过合金化炉进行感应加热以保证镀层合金化过程顺利进行和获得优良的镀层质量,出感应加热炉的带钢目标温度预报研究对热镀锌带钢镀层质量在线控制具有重要意义。针对生产中带钢感应加热(Induction Heating,IH)目标温度确定靠经验公式和人工在线调整,计算精度低、人工干预量大等问题,提出了一种结合贝叶斯参数调优和梯度提升决策树(Gradient Boosting Decision Tree,GBDT)算法的带钢热镀锌感应加热目标温度预测建模方法。对多维度和多钢种热镀锌带钢感应加热工艺大数据集,借助冶金机理和皮尔逊相关系数,筛选了与预测模型相关的特征;采用贝叶斯优化中的树状帕森估计(Tree-structured Parzen Estimator,TPE)对六种机器学习算法调参后,发现只有GBDT模型和K近邻(KNearest Neighbor,KNN)模型达到工厂生产要求;对GBDT预测模型超参数采用TPE算法、差分进化算法、随机搜索优化以及网格搜索优化四种调参方法进行调优,调优结果比较表明TPE的调参模型精度与网格搜索的模型精度相当,高于随机搜索的调参模型;TPE的调参时间与随机搜索调参时间接近,比网格搜索调参时间大大缩短;TPE算法相对于差分进化算法调优效率更高。利用优化的超参数建立GBDT模型和KNN模型,两种模型比较表明,GBDT模型训练时间短,精度高,生产预报绝对误差在±20℃以内的命中率达到了97.56%,符合生产要求,TPE和GBDT结合是建立热镀锌感应加热目标温度预测模型的最佳策略。

基于模型组合的电力负荷精准预测

电力负荷的预测涉及环境和社会因素,因此,设计一种高效准确的预测模型是电力行业的重要任务。设计了一种基于传统机器学习模型组合的电力负荷预测模型。该模型从特征层面入手并采用Wrapper与梯度的特征排序选择方法对主要特征进行筛选和优化。在实验中,对预测结果进行了基于时序扩展窗口拆分的K折时序交叉验证和比较。结果表明,该模型能够有效预测电力负荷的短期时序变化,且预测效果比传统的单一机器学习模型好。通过贝叶斯超参数调优方法得到的超参数组合能够显著提高模型的准确性和泛化能力。这说明贝叶斯超参数调优方法能够在一定程度上解决模型过拟合和欠拟合问题,提高模型的稳定性和可靠性。

基于无人机的人工植被分布识别与重建效果评价

人工植被重建是矿区土地复垦与生态修复的基础性工作,分析人工植被重建效果是评价生态修复质量的重要环节。以内蒙古蒙泰不连沟煤矿土地复垦示范区为主要研究区,采用无人机搭载多光谱相机进行数据采集,并应用3种常见的机器学习算法,综合地物光谱、纹理的差异提取人工植被。在此基础上,选取植被生物量指标,分析研究区坡顶人工植被生长状况,并评价其植被重建效果。研究结果表明,对机器学习分类方法进行超参数调优能够有效提升模型分类精度,超参数调优后随机森林分类模型分类精度最高,总体精度为82.11%,Kappa系数为0.77;使用随机森林模型获得的反演结果精度最高,其R^(2)为0.93,均方根误差为13.97。示范区坡顶的草本植被重建效果欠佳,有接近66.6%面积区域生物量等级处于0~50 g/m^(2)的范围;灌木重建效果较好,有接近61.4%面积区域生物量等级处于100~150 g/m^(2)的范围。

基于FT_SSIM和ICAGA_CNN在小样本场景下雷达动作识别方法研究

针对基于小样本场景下人体动作识别出现训练效果差、过拟合现象以及传统对抗生成网络收敛速度慢、对计算机性能要求高等问题,从数据增强及超参数优化方面提出了解决方案。首先,搭建AWR1243雷达数据采集平台,对采集的回波信号进行预处理。其次,利用STFT进行时频分析以及新提出的FT_SSIM算法进行数据增强。再者,利用提出的ICAGA_CNN进行分类识别,并与传统的数据增强算法、超参数优化进行实验对比。为了验证该算法具有一定的泛化能力,先后选择了在公开KTH人体动作数据集以及利用雷达的实测数据进行验证。实验结果表明,一方面,提出算法有效避免了小样本场景下过拟合的发生,降低了传统数据增强对计算机性能的要求,加快了收敛的速度;另一方面,其具有更好的识别精度,平均识别率达到98.5%。这也说明了提出的算法在小样本场景下雷达动作识别具有很好的表现。

冠心病危险因素分析及机器学习算法构建预测模型研究

目的比较不同机器学习算法构建疾病预测模型,探讨冠状动脉粥样硬化性心脏病(coronary artery disease,冠心病,CAD)的危险因素的重要性。方法选取2014年5月至7月于北京大学首钢医院就诊体检的人群作为受试者,包括冠心病患者345例,非冠心病对照组2368例,收集受试者的一般情况和体检数据,进行卡方检验分析,之后采用logistics回归(LR)、随机森林(RF)两种机器学习算法构建疾病预测模型,并进一步通过网格交叉验证法优化超参数,提升模型整体性能。结果冠心病组的年龄、体质指数(BMI)、收缩压(SBP)和舒张压(DBP)、脉搏波传导速度(PWV)、血清肌酐(Scr)、随机血糖(FPG)等指标水平,P均<0.01显著高于对照组;且冠心病组的糖尿病,高血压和高血脂的患病时长(P<0.01)、颈动脉超声、疲乏频率等情况较对照组更严重,低密度脂蛋白胆固醇(LDL-C,P<0.01)、高密度脂蛋白胆固醇(HDL-C,P<0.01)以及每日睡眠时长(P<0.01)显著低于对照组,上述各项指标的差异均具有统计学意义。应用LR和RF两种机器学习算法构建CAD风险预测模型,在未进行超参数调优前,AUC值和特异度较高,但灵敏度极低;调优后AUC值和特异度变化较小,灵敏度提升较大,极大地提升了模型临床应用价值。在两种机器学习算法构建的冠心病预测模型中,重要度排名均为前十的危险因素为:年龄、疲乏频率、Scr和PWV、动脉超声和高血脂患病时长。结论年龄、疲乏频率、Scr和PWV、动脉超声阳性和高血脂患病时长等五项危险因素对冠心病预测模型的构建影响较大。类别不平衡的疾病数据集可通过超参数调优的机器学习算法构建临床预测模型。

基于XGBoost的船舶能耗实时预测

为更加准确地预测船舶能耗,提出一种基于新兴XGBoost算法的船舶能耗实时预测模型。通过传感器采集大量船舶能耗数据;结合领域知识,提出一种数据预处理方法;利用贝叶斯超参数优化及交叉验证方法优化模型性能。实验结果表明,数据预处理和超参数调优均能在一定程度上提高模型性能。与多元线性回归、人工神经网络、岭回归和随机森林模型相比,本文提出的模型具有更好的预测性能,且模型运行时间能达到秒级响应,满足船舶实时预测要求。高准确度、实时性强的能耗预测模型能为船舶未来采取合理的节能减排措施提供理论依据,对船舶运营公司提高竞争力和保护环境具有重要意义。

一种基于深度神经网络的电波传播损耗模型构建方法

将传统经验模型用于电波传播损耗计算,存在泛化性差等问题,在复杂传播环境下难以取得良好的计算效果。针对该问题,本文从数据驱动的角度出发,设计了一种基于深度神经网络的电波传播损耗模型构建方法并进行了仿真验证。首先,基于辐射源与接收机的距离特征及环境特征,构建一定地域内电磁环境感知数据与地形数据的联合数据集,作为本模型的数据源;其次,构建深度神经网络,迭代训练网络参数,并通过网格搜索法优化超参数;最后,运用联合数据集与深度神经网络模型开展计算机仿真实验。结果表明,提出的方法在复杂地域电波传播损耗计算方面能够取得良好的预测精度。

基于优化后集成学习模型的特征选择与疾病高效预警研究——以老年抑郁焦虑为例

【目的】通过合理选择关键的疾病风险变量,使疾病预测模型兼顾计算效率和预测精度,为公共卫生相关部门实现疾病高效预警提供参考。【方法】使用基于集成学习的随机森林和XGBoost模型学习高维的疾病风险变量数据进行疾病预测,使两种模型自主选择对其预测作出贡献的疾病风险变量子集。为使随机森林和XGBoost模型选择出具有高预测精度的关键变量子集,从最大程度提升模型泛化能力的角度出发,深入分析两种模型的集成方式,通过针对性的超参数调整,利用交叉验证,不断迭代随机森林模型的袋外数据误判率均值,收敛XGBoost模型在不同子训练集上的损失曲线,为两种模型分别提出独特的模型优化方案,释放其疾病预测性能。【结果】在老年抑郁焦虑患病数据集上的实验表明,优化后随机森林和优化后XGBoost模型具有非常优异且接近的疾病预测性能,分别实现了88.6%和89.7%的预测准确率,以及0.936和0.940的AUC。但通过优化后模型的特征选择,XGBoost模型的结构更为简单高效,从54个老年抑郁焦虑风险变量中选择较少的17个关键变量,且实现了较好的疾病预测效果,准确率为85.8%,AUC为0.917。【局限】未使用最新老年队列数据进行实验;需进一步检验模型在复杂异构数据环境中的适应性。【结论】优化后XGBoost模型的特征选择效果更好,可提高疾病预警效率,为公共卫生管理提供决策支持。

基于机器学习的钢筋混凝土单偏压柱纵向配筋率预测方法研究

钢筋混凝土(RC)柱纵向配筋计算方法对于保证钢筋混凝土结构安全具有重要意义,各国规范均提出了简便高效的RC柱纵向配筋计算方法。由于采用了一系列简化假定,现有规范计算方法具有一定离散性,计算准确性和精度也有待提升。本文广泛搜集了国内外RC柱试验数据,采用材料强度实测值对中国规范、美国规范和欧洲规范RC柱纵向配筋计算方法进行了校核,结果表明3种计算方法所得小偏压受力状态下RC柱纵向配筋率离散性较大。本文提出了基于机器学习的RC柱纵向配筋率计算方法,基于530个试验样本,训练了决策树、支持向量机、随机森林和极致梯度提升4个机器学习模型,以模型拟合优度、泛化性能与复杂程度为标准进行特征迭代,采用随机搜索和十折交叉验证方法进行超参数调优,通过在测试集上的综合性能评价,确定了极端梯度提升(eXtreme Gradient Boosting,下简称XGBoost)最优模型。采用沙普利加性解释(SHapley Additive exPlanations,下简称SHAP)方法与部分依赖图对XGBoost模型进行解释,对模型输出的特征参数影响进行了可视化,证明了特征参数影响的规律与力学规律相符,验证了本文机器学习模型的可靠性。相比于规范计算方法,机器学习模型显示了更高的精度和更低的离散性,可作为“物理驱动”RC柱纵向配筋率计算方法的有效补充,为更加准确高效地完成RC柱设计提供了新途径。