深度神经网络结合迁移学习和基因遗传算法加速金属团簇结构全局优化

在团簇科学中,搜索金属团簇的全局最小能量结构具有重要的意义.最近,深度神经网络结合迁移学习的全局优化方法被开发出来,以提高金属团簇结构的优化效率,该方法可以大幅减少训练深度神经网络所需的样本数量.为了进一步提高势能面的采样效率和深度神经网络结合迁移学习的全局优化方法的全局搜索能力,本文提出了一种将基因遗传算法嵌入到深度神经网络结合迁移学习中的全局优化方法.在Pt_(n)(n=9-15)团簇的全局优化中,该方法只需要深度神经网络结合迁移学习的全局优化方法一半的样本数量就能优化得到全局最优结构,同时节省了约70%~80%的计算成本,这表明全局搜索能力的显著提升。在Pt_(14)团簇势能面上的采样结果显示,该方法搜索到低能量的样本(占比25%)比深度神经网络结合迁移学习方法的样本(占比<1%)更多.在Pt_(16)和Pt_(17)团簇的全局最优结构搜索中,本文报道了文献中尚未报道的新结构,证明本论文建立的方法的可行性和先进性.

基于神经网络深度学习的电缆故障异常分析与特征分类算法

文章是以解决电缆故障异常分析为目的,以卷积神经网络模型和特征分类算法为基础进行的研究。分析了电缆故障的类型和原因,并收集了来自多个电力系统的电缆运行数据说明处理步骤。分析深度学习模型和特征分类算法的构建和训练,解释技术细节和参数调优,以达到最好的分类性能。同时,设计并利用特征分类算法从时域到频域,采用支持向量机(SVM)和随机森林对数据进行分类。实验结果表明所提出的方法在电缆故障异常分析中表现良好,有高度的自动化优越性能和强泛化能力,为电缆故障异常分析提供了一种高效和精确的方法。

基于深度学习神经网络技术的脊柱椎弓根螺钉自动规划研究

目的:针对骨科手术机器人螺钉手工规划效率低下的问题,实现基于CT的脊柱椎弓根螺钉自动、高效、高质量规划。方法:采用深度学习神经网络对标注分割和螺钉的CT图像进行有监督的机器学习,实现脊柱椎弓根螺钉的自动规划;本实验使用44例腰椎CT共440枚螺钉作为训练集,使用11例CT生成110枚螺钉作为测试集,以手工规划作为对照组,通过盲法专家评价评估螺钉规划效果,并通过记录规划时间评估规划效率。结果:该自动规划方法生成的螺钉规划临床可用率为95.4%,自动规划时间与平均手工规划时间分别为68.8 s和177.6 s。结论:该自动规划方法可初步实现高效、高质量的脊柱椎弓根螺钉自动规划,但仍需临床医生监督复核。

基于卷积神经网络的深度学习方法对压力性损伤分期的研究

目的构建和验证用于压力性损伤(pressure injury,PI)自动化分期的深度学习模型。方法从常熟市第一人民医院PI电子化管理系统中选取2021年1月-2023年6月期间的201张图片,将PI分为4期,其中Ⅰ期21张、Ⅱ期41张、高分期101张、深部组织损伤38张。使用基于卷积神经网络(Convolutional Neural Network,CNN)框架的DenseNet121、EfficientNet、ResNet101和ResNet50神经网络建立针对PI分期任务的深度学习模型;模型评价指标包括准确率、召回率、精确率、F1值和读片时间。将深度学习模型的读片表现与2位不同年资护士进行比较。最后,对性能最佳的CNN模型进行可解释性分析并对压力性损伤视频进行实时预测。结果4种深度学习模型测试集中DenseNet121展现出较好的准确性(0.895),其次为resnet50(0.816),均高于高年资护士(0.805)和低年资护士(0.756)。同时,所有深度学习模型在测试集中读片用时均<10 s,速度快于护士(均>250 s)。最后,我们使用了梯度加权分类激活映射(Gradient Weighted Class Activation Mapping,Grad-CAM)、SHAP技术,对最优模型DenseNet121进行深入分析,突显出图像中对模型判断影响较大的关键区域,并实现了对PI视频的实时预测。结论在PI风险评估方面,成功地建立了一个表现优于护士人工评估的深度学习模型。此基于计算机视觉的深度学习模型可辅助护士进行更精准的PI分期,揭示了深度学习在临床医学应用中的广阔前景。

人工神经网络课程与深度学习融合的混合式教学改革研究

文章依托人工神经网络研究生课程的讲授经验,分析其特点和现状,着重探讨其教学内容上的时效性与实践性问题,提出神经网络与深度学习融合的线上线下混合式教学改革,提升课程理论和方法的时效性;提出前沿性的实践类研究型专题,提升研究生的实践动手能力;搭建与课程内容配套的线上系统,方便研究生自主学习、互动学习。通过践行“与时俱进、互动评价、专题创新”的教学理念,提高研究生的创新思维与综合素质。

基于深度神经网络的目标跟踪算法综述

目标跟踪是根据视频序列中目标的前续信息,对目标的当前状态进行预测。深度学习在目标跟踪领域逐渐广泛应用,本文阐述了目标跟踪算法和深度学习的发展背景,对传统目标跟踪进行了回顾,根据不同的网络任务功能,将基于深度学习的目标跟踪算法分为:基于分类的深度学习目标跟踪算法、基于回归的深度学习目标跟踪算法、基于回归与分类结合的目标跟踪算法,并选取了具有代表性的目标跟踪算法进行实验,对比不同算法之间的特点;最后对目前基于深度学习的目标跟踪方法存在的问题进行分析,对未来发展方向进行展望。实验结果证明,深度孪生跟踪网络在精度与速度上均占优,成为当前主流的跟踪算法框架。

煤矿采空区智能充填深度神经网络算法

【目的】采空区智能充填是煤炭资源绿色安全智能高效开采的重要方向,其关键在于对井下采空区矸石充填过程进行智能决策与控制。【方法】为实现该目标,以采空区充填后围岩应力及变形作为监测指标,建立了一种采空区智能充填深度神经网络算法,该算法可以通过输入煤层埋深、厚度、工作面长度、直接顶厚度等关键基本参数,进行相应条件下不同充填方案的采场应力及围岩变形计算分析。将FLAC3D模拟400种不同条件下的充填开采结果作为数据集,对建立的智能充填深度神经网络算法进行训练测试,并和其余3种不同算法进行对比分析。【结果】结果表明:建立的智能充填深度神经网络算法总体优于随机森林、决策树和多元线性回归算法,每组数据运算平均速度仅为0.013 s;智能充填深度神经网络算法计算的顶板最大变形、工作面煤壁压力峰值、巷道超前支护距离等关键参数误差均值介于2%~8%之间;应用该算法针对现场实际条件进行测试,结果与现场实际结果基本吻合,表明该算法科学可行。【结论】本研究对煤矿绿色智能开采具有重要意义与价值。

基于深度残差神经网络的红外图像超分辨率重构算法

提出了一种基于深度残差神经网络的红外灰度图像超分辨率重构算法。首先使用残差卷积模块增加网络深度提高了网络的学习能力,使得卷积层在学习过程中能够利用到更多的邻域信息对于复杂场景有更好的学习能力。然后使用跳跃连接方式增加高频信息传输以实现对于图像细节的增强。实验结果表明,该网络能够有效地丰富重构图像的细节,重构图像中的目标轮廓有明显改善。

基于混合优化算法和深度神经网络模型结合的致密砂岩气藏裂缝参数优化

水平井分段压裂是致密砂岩气藏的主要开发方式,其中水力压裂裂缝参数的合理设计对于气藏的经济效益开发至关重要。基于群智能优化算法和机器学习代理模型的自动优化方法存在所需数值模拟次数多、收敛速度慢和代理模型更新复杂等问题,且依靠现场工程师经验和正交实验等传统方法难以获得最佳的裂缝参数设计。为此,建立了一种新的基于混合优化算法和自适应深度神经网络(DNN)结合的致密气藏裂缝参数优化方法。首先,混合优化算法采用遗传算法(GA)和贝叶斯自适应直接搜索(BADS)之间循环迭代的混合策略。在自适应学习过程中,提出了以“最大平均距离点”作为最不确定解,同时辅以最有希望解和少量拉丁超立方采样解共同更新优化过程中的DNN代理模型。随后,将建立的优化方法用于非均质致密砂岩气藏裂缝参数优化。研究结果表明:(1)在标准测试函数和低维裂缝参数优化问题上,GA+BADS混合优化算法表现出了显著优于GA的寻优速度;(2)针对高维裂缝参数优化问题,GA+BADS混合优化算法在约1/2的GA总数值模拟次数下提高了131万元的经济净现值(NPV),收敛速度和寻优精度都明显增加;(3)相比于GA+BADS混合优化算法,在获得相同NPV时,自适应DNN代理加速优化可再减少24.54%的数值模拟运算次数。结论认为,该优化方法显著提升了优化效率,为解决非常规油气藏中水力压裂裂缝参数设计问题提供了一套可行且高效的智能优化方法,将有力促进非常规油气的规模效益开发。

基于图神经网络和深度强化学习的二维矩形排样优化方法研究

本文结合生产实际中的零件母板带约束二维矩形下料优化问题,设计并提出了二维矩形排样问题的异构图和深度强化学习的算法架构。通过图神经网络和强化学习算法对排样问题中零件和母板的特征进行高度的集成和学习,并对零件的排布顺序和排布位置进行决策,在更短的时间内得到相比于传统优化算法更优秀的计算结果。实验证明,本文的深度强化学习算法训练的模型可以在较短时间得到良好的排样结果,且基于小规模问题训练的模型解决较大规模的问题实例也可以获得较好的效果,证明了算法具有较好的泛化能力。

基于神经网络深度学习模型的踝关节X线片标志点自动定位研究

目的探索基于神经网络深度学习模型的踝关节X线片标志点自动定位方法及其应用价值。方法选取陕西省人民医院2019年1月至2022年11月间行X线检查的360例成年人正常左踝关节正、侧位片影像资料为研究对象,将其随机分配至训练集(210例)、验证集(90例)和测试集(60例)。以人工标注作为参考,对图像预处理后分别建立基于神经网络Unet架构的踝关节X线片标志点预测模型,生成对应的热力图,并用测试集数据进行验证。结果在踝关节X线正位片6个标志点的预测中,2 mm阈值的平均正确估计比例(Percentage of Correct Keypoints,PCK)可达99.7%,总体平均径向误差(Mean Radial Errors,MRE)为0.411,总体标准差(Standard Deviation,SD)为0.290。距骨顶端内点的预测准确度最高,1 mm阈值时的PCK可达100%,同时其MRE及SD在正位片6个点中最小,分别为0.290和0.178。在踝关节X线侧位片9个标志点的预测中,2 mm阈值的平均PCK达到95.0%,总体MRE为0.669,总体SD为0.710。胫骨下段最前点的预测准确度最高,1 mm阈值时的PCK可达100%,同时其MRE及SD在侧位片9个点中最小,分别为0.334和0.173。正位片和侧位片所有标志点的预测位置坐标与对应参考标准标志点位置坐标差异均无统计学意义(P>0.05)。结论基于神经网络深度学习模型能够实现对踝关节X线片标志点的有效自动定位,对辅助踝关节X线片形态学自动测量和疾病诊疗具有应用价值。

无人机高光谱遥感和集成深度置信神经网络算法用于密云水库水质参数反演

随工业化及社会经济迅速发展,水源地面临的水体污染、恶化不断加剧,开展有效的水质监测是水源保护的重要前提。密云水库是北京重要的地表水源地,在保护首都水源安全方面发挥着重要作用。为更精准的监测密云水库水质参数及污染程度,采用4期无人机高光谱遥感数据,基于随机子空间的集成深度置信神经网络算法(EDBN),构建密云水库水质参数反演模型,对密云水库总氮(TN)、总磷(TP)两项水质参数进行反演。首先,采用基于递归特征消除法对高光谱影像降维处理,将光谱数据与地面水质监测数据进行叠加,通过最小化训练过程中误差来确定隐藏层数、神经节点数等网络结构参数;然后采用由知识源域向网络迁移方式逐步拓展网络,对密云水库总氮和总磷两个水质参数进行训练并对结果进行验证;最后,反演密云水库潮河大坝和白河大坝区域水质参数,揭示其主要水质参数时空演变规律。研究结果显示:(1)构建总氮、总磷反演模型R^(2)分别为0.8355、0.7703,MSE分别为0.0153、0.0008,这表明基于随机子空间的集成深度置信神经网络算法模型对密云水库水质参数反演效果较好;(2)密云水库总氮浓度变化随季节发生一定波动,在夏季浓度较低,秋季相对较高。总磷浓度变化相对平稳,表明密云水库周边区域对磷污染控制效果良好;(3)白河大坝区域水质优于潮河大坝区域,总氮浓度相对偏高,整体处于Ⅲ类水平。而总磷浓度较低,整体处于Ⅱ类水平,较好时可以达到Ⅰ类水平。整体水质可以满足饮用水源的标准,但仍需加强对氮、磷污染物有效监管。研究结果将为密云水库水质高效监测与水源保护提供重要科学依据。

基于物理信息神经网络的混凝土破坏准则深度学习研究

混凝土破坏准则是工程结构设计和安全性评估的重要依据。结合一种新的深度学习框架--基于物理信息的深度学习神经网络,将混凝土破坏准则函数方程作为物理约束条件用来构造损失函数对应表征项,增加输入输出之间的物理信息驱动,更全面地反映各种因素之间的内在联系。利用大量试验数据,对深度学习模型进行训练,建立更为准确、适用性更广、更具泛化能力的混凝土破坏准则模型。结果表明:采用的物理信息深度学习神经网络模型,对混凝土破坏准则表达形式和参数有较好的优化识别能力和泛化能力,为规范修订、工程设计以及有限元数值模拟分析评估等提供参考。

基于主动学习与贝叶斯深度神经网络的高维多输出不确定性传播方法

针对实际工程中存在的具有多个输出响应的高维问题,提出一种基于主动学习与贝叶斯深度神经网络的高维多输出不确定性传播方法。利用多个输出响应对应同一组输入变量的特点,对输入变量进行一次性采样,从而构造初始训练样本集。采用贝叶斯深度神经网络初步构建高维多输出问题的代理模型。贝叶斯深度神经网络能够同时求解多个预测输出响应的不确定性估计,基于该特点发展了一种针对高维多输出问题的主动加点策略,通过主动学习的方式进一步构建具有较高精度的高维多输出代理模型。然后,利用蒙特卡罗采样方法以及高斯混合模型求解多个输出响应的联合概率密度函数。研究结果表明,所提方法不仅能够避免分别对多个输出响应进行独立求解的复杂过程,而且能够利用多个输出响应之间的关联,主动筛选关键样本点进行建模,在一定程度上提高了高维多输出问题的求解效率。最后,通过几个数值算例验证了所提方法的有效性。

基于布谷鸟算法优化独立循环神经网络深度学习的超短期风电功率预测

风电功率数据具有强烈的时序特性,其序列数据的特征提取,是进行风电功率准确预测的重要前提。为此,引入了更长、更深层次的多隐层独立循环神经网络来最大程度上提取可反映输入风电功率序列数据的本质特征量,进而建立起特征量与风电功率之间的非线性关系。然而,在建立深层独立循环神经网络时,存在模型超参数设置与优化困难的问题。为此,进一步提出结合布谷鸟算法对独立循环神经网络关键超参数进行优化设计的方法。最终,结合某风电场实际数据,将模型预测结果与实测数据进行对比,验证所提方法能够有效提高预测精度。

基于混合双层自组织径向基函数神经网络的优化学习算法

针对传统方法采用先训练后测试两阶段学习机制极易导致的过拟合或欠拟合问题,提出一种基于混合双层自组织径向基函数神经网络的优化学习(hybrid bilevel self-organizing radial basis function neural network optimization learning,Hb-SRBFNN-OL)算法。首先,将训练过程和测试过程集成到一个统一的框架中,规避过拟合或欠拟合问题。其次,基于进化学习机制,提出上下2层的交互式优化学习算法,上层基于网络复杂度和测试误差自组织调整网络结构,下层采用列文伯格-马夸尔特(Levenberg Marquardt,LM)算法作为优化器对自组织径向基函数神经网络(self-organizing radial basis function neural network,SO-RBFNN)的连接权值进行优化。最后,利用来自多个子网络的综合信息生成模型的最终输出,加速网络全局收敛。为验证所提方法的可行性,分别在多个分类和预测任务中进行了测试实验。结果表明,在与传统神经网络结构相似甚至更好的测试和分类精度下,该方法不仅能实现更快的训练收敛,而且能进化成更精简紧凑的径向基函数神经网络(radial basis function neural network,RBFNN)模型。尤其在污水处理过程中总磷的质量浓度预测实验中,测试集中均方根误差(root mean squared error,RMSE)最高可降低48.90%,实际场景实验结果验证了所提算法的精确性更佳且泛化能力更强。

基于改进实数编码遗传算法的神经网络超参数优化

针对神经网络超参数优化效果差、容易陷入次优解和优化效率低的问题,提出一种基于改进实数编码遗传算法(IRCGA)的深度神经网络超参数优化算法——IRCGA-DNN(IRCGA for Deep Neural Network)。首先,采用实数编码方式表示超参数的取值,使超参数的搜索空间更灵活;然后,引入分层比例选择算子增加解集多样性;最后,分别设计了改进的单点交叉和变异算子,以更全面地探索超参数空间,提高优化算法的效率和质量。基于两个仿真数据集,验证IRCGA-DNN的毁伤效果预测性能和收敛效率。实验结果表明,在两个数据集上,与GA-DNN(Genetic Algorithm for Deep Neural Network)相比,所提算法的收敛迭代次数分别减少了8.7%和13.6%,均方误差(MSE)相差不大;与IGA-DNN(Improved GA-DNN)相比,IRCGA-DNN的收敛迭代次数分别减少了22.2%和13.6%。实验结果表明,所提算法收敛速度和预测性能均更优,能有效处理神经网络超参数优化问题。

基于改进BP算法在深度神经网络学习中的研究

深度学习能够使包含多个处理层的计算模型去学习含有多层次抽象表示的数据。这种学习方式在最先进的语音识别、视觉物体识别、物体检测以及许多其它领域,比如生物基因学和医学等都带来了明显的改善。深度学习能够发现大数据中的复杂结构,而卷积神经网络作为深度学习的重要模型之一在处理语音、图像、视频和文本等方面带来了新的突破。它是利用BP算法来引导机器如何从前一层获取误差来调整本层的参数,从而使这些参数更有利于模型的计算。针对传统BP算法存在的收敛速度慢、常陷入局部极小点的不足,提出了一种快速的BP改进算法。利用改进后的卷积神经网络分别在数据集MNIST、英文字符识别以及医学图像中做实验验证,仿真结果表明了该算法的有效性。

利用卷积神经网络改进迭代深度学习算法的图像识别方法研究

针对图像识别算法中图像集上几何曲面的特定分类会导致判别信息丢失的问题,提出一种融合卷积神经网络的改进型迭代深度学习算法(IIDLA)。该算法采用混合卷积网进行底层的平移不变特征学习,以层次化的方式迭代应用卷积神经网络对输入图像集的不同非线性特征进行学习。算法的图库和查询实例中包括了不同视角、背景、面部表情、解析度和照明度的人脸或物体图像集。采用数据集将提出的算法与其他算法进行评估对比,实验结果表明提出的算法在被测数据集上的性能最优。

基于深度学习神经网络和量子遗传算法的柔性作业车间动态调度

针对柔性作业车间动态调度问题构建以平均延期惩罚、能耗、偏差度为目标的动态调度优化模型,提出一种基于深度Q学习神经网络的量子遗传算法。首先搭建基于动态事件扰动和周期性重调度的学习环境,利用深度Q学习神经网络算法,建立环境-行为评价神经网络模型作为优化模型的适应度函数。然后利用改进的量子遗传算法求解动态调度优化模型。该算法设计了基于工序编码和设备编码的多层编码解码方案;制定了基于适应度的动态调整旋转角策略,提高了种群的收敛速度;结合基于Tent映射的混沌搜索算法,以跳出局部最优解。最后通过测试算例验证了环境-行为评价神经网络模型的鲁棒性和对环境的适应性,以及优化算法的有效性。