深度神经网络模型任务切分及并行优化方法

为解决传统手工切分神经网络模型计算任务并行化方法面临的并行化难度大、训练耗时长、设备利用率低等问题,提出了一种基于深度神经网络(DNN)模型特性感知的任务切分及并行优化方法。结合硬件计算环境,对模型计算特性进行动态分析,获取模型内部相关性和各类参数属性,构建原始计算任务有向无环图(DAG);利用增强反链,构建DAG节点间可分区聚类的拓扑关系,将原始DAG转换为易于切分的反链DAG;通过拓扑排序生成反链DAG状态序列,并使用动态规划将状态序列切分为不同执行阶段,分析最佳分割点进行模型切分,实现模型分区与各GPU间动态匹配;对批量进行微处理,通过引入流水线并行实现多迭代密集训练,提高GPU利用率,减少训练耗时。实验结果表明:与已有模型切分方法相比,在CIFAR-10数据集上,所提模型切分及并行优化方法可实现各GPU间训练任务负载均衡,在保证模型训练精度的同时,4 GPU加速比达到3.4,8 GPU加速比为3.76。

基于数据分析与深度神经网络相结合的研究与应用

正则化弹性网络是一种强大的深度学习模型,结合线性回归和逻辑回归的特点,可以同时进行特征选择和参数控制,避免了传统正则化的部分局限性。离散傅里叶变换特征提取是一种常用的信号处理方法,可以提取信号中的特定频率的特征,在众多领域都有广泛的应用。通过弹性网络正则化和加窗离散傅里叶变换的信号分析技术结合,进行了相应的研究和应用。以凯斯西储大学故障轴承振动数据为例,进行信号分析处理,再经过神经网络模型的学习和预测,从而得到了一个准确率较高的弹性网络模型。其方法对于众多复杂的问题都有着重要的研究价值。

基于改进Preisach迟滞构架的工业机器人柔性关节深度神经网络迟滞建模研究

针对工业机器人柔性关节所具有非对称、速率相关及强非线性的复杂迟滞特性问题,改进Preisach模型,提出一种描述复杂迟滞特性的深度神经网络迟滞模型。从模型内部迟滞算子和外部网络结构两个角度改进Preisach模型,描述柔性关节的复杂迟滞特性:1)设计一个非对称非线性迟滞函数,替换Preisach模型内部迟滞算子,描述柔性关节的非对称迟滞特性;2)在Preisach模型输出端引入惯性滤波环节,在Preisach模型输入端引入输入输出历史信息,描述柔性关节的速率相关迟滞特性。将改进的Preisach模型与实现非线性映射的全连接神经网络串联构成深度神经网络迟滞模型。通过对比实验验证了所提出的深度神经网络迟滞模型描述工业机器人柔性关节复杂迟滞特性的有效性,其具有良好的预测能力和较高的精度。

基于多精度深度神经网络的汽车气动外形优化设计方法

在汽车气动外形优化设计中,往往需要大量的高精度CFD数据作为支撑。然而,高精度CFD数据获取难度大、成本高。为了缓解汽车气动优化设计中气动特性评估精度和效率之间的矛盾,根据迁移学习与数据融合的思想,提出了一种基于多精度深度神经网络(multi-fidelity deep neural network, MFDNN)的汽车外形优化设计方法,以减少优化设计中所需的高精度数据个数,从而有效提升优化速度、降低优化成本。将所发展的优化方法应用于快背式MIRA标准模型减阻优化设计中,优化结果表明,该方法能够充分融合不同精度数据所蕴含的知识,加速气动外形优化进程,提升优化效率。以收敛用时作为评价指标,在取得相近或更优优化结果的前提下,基于多精度神经网络的优化框架的收敛速度是基于单精度神经网络的离线优化框架的5.85倍,是基于单精度神经网络的在线优化框架的2.81倍。

基于深度神经网络的院内感染风险预测探讨

目的建立院内感染风险预测模型,并分析其可行性,助力医院院内感染管理。方法选取76564例住院患者作为研究对象,按照7∶3的比例划分为训练集和测试集。根据住院期间是否发生感染分为感染组和非感染组,分析训练集两组临床相关资料,采用二元logistic回归模型和深度神经网络(DNN)模型分析院内感染发生风险的相关影响因素并构建预测模型。结果训练集中626例发生感染,感染率为1.17%,测试集中289例发生感染,感染率为1.26%。受试者特征曲线(ROC)显示,DNN模型预测发生院内感染风险的曲线下面积(AUC)显著高于二元logistic回归模型(0.978 vs 0.686)。结论基于DNN的院内感染风险预测模型具有较高的准确性,有助于早期识别院内感染高危患者。

冷连轧轧制力深度神经网络模型泛化能力并行优化

为了更好调控冷连轧板厚参数,设计了一种冷连轧轧制力深度神经网络模型,增强了冷连轧模型的控制效果。选择2030冷连轧结构进行研究,对多输入多输出(MIMO)深度神经网络(DNN)进行预处理,针对多线程CPU与GPU实施了优化,对比了神经网络模型和冷连轧系统Siemens模型误差。研究结果表明:L-M算法表现出了更优的收敛稳定性、测试和验证性能、梯度下降趋势,并且收敛速度也更快。以随机方式选择200个数据并测定泛化性能测试得到,L-M算法获得了比SCG算法更大的相关系数。都是随着隐含层数的增加,获得了性能更优的神经网络模型,并且都会增加训练时间。从各项模型指标分析,L-M算法都比SCG算法的性能更优。构建神经网络轧制力模型总共包含二个隐含层、节点数介于17~30、通过L-M算法进行训练。采用神经网络轧制力模型得到的结果与实测值之间的误差比Siemens机理模型和测试值的误差更低。

深度神经网络模型数字水印技术研究进展综述

近年来,深度神经网络模型在各种应用领域都取得了巨大的成功,训练先进的深度神经网络模型仍需要大规模的数据集、高昂的算力成本和优异的算法思想,生成的深度神经网络模型成为一种宝贵的资源,也是完成人工智能应用领域某项特定任务的核心算法。因此,深度神经网络模型的安全则变得极其重要,利用数字水印版权保护技术保障模型的安全已经成为人工智能安全领域一个重要的研究方向。为了综述深度神经网络模型数字水印版权保护技术的最新研究进展,首先介绍了深度神经网络模型数字水印技术分类;其次介绍了深度神经网络模型数字水印版权保护技术基础概况;再次归纳总结了深度神经网络模型数字水印版权保护技术的研究方法;最后总结并展望了深度神经网络模型数字水印版权保护领域的研究重点和发展方向。

基于深度神经网络模型预测中青年人群颈动脉粥样硬化的效能分析

目的分析应用深度神经网络(DNN)模型预测中青年人群颈动脉粥样硬化的诊断效能。方法将2017年6月至2020年8月在联勤保障部队第904医院常州医疗区健康管理科,收集1100例年龄在20~60岁的中青年人群颈部血管超声检查的结果进行分析,所有人均无颈动脉粥样硬化形成。随访1年后根据是否发生颈动脉粥样硬化分为硬化组和对照组,随机数字表法按照7:3的比例将研究样本分为训练集和测试集。比较两组的一般资料、实验室检查,颈动脉超声情况等项目。分别通过多因素Logistic回归分析模型及DNN分析相关因素对中青年人群发生颈动脉粥样硬化的预测效能,并比较两者预测效能的差异。结果纳入研究的1100例中青人中有68例病例脱落,有174例发生颈动脉粥样硬化列为硬化组,其余为对照组858例。硬化组年龄、收缩压、伴高脂血症所占比例、血糖、低密度脂蛋白胆固醇、脂蛋白a、同型半胱氨酸、颈动脉内-中膜厚度和血管阻力指数均大于对照组,差异有统计学意义(P<0.05)。多因素Logistic回归分析显示,低密度脂蛋白胆固醇、脂蛋白a、同型半胱氨酸、颈动脉内-中膜厚度和血管阻力指数是中青年人群发生颈动脉粥样硬化的影响因素(OR=4.156、1.015、1.408、207.152、8.947,P<0.05)。DNN模型中的训练集平均损失率是(3.36±0.55)%,测试集平均损失率是(5.53±2.16)%,训练集平均准确率为(94.01±2.45)%,测试集平均准确率为(92.26±1.57)%。ROC曲线显示多因素Logistic回归模型预测中青年人群发生颈动脉粥样硬化风险的AUC是0.842(95%CI=0.779~0.893),DNN模型预测中青年人群发生动脉粥样硬化风险的AUC是0.957(95%CI=0.915~0.982),检验显示DNN模型的预测效能高于多因素Logistic回归分析模型(Z=1.979,P<0.05)。结论DNN模型下颈部血管超声对中青年发生颈动脉粥样硬化有较好的预测性,有助于早期识别高危人群,为早期预防提供证据。

析取置信规则库系统参数优化的深度神经网络模型

基于深度学习的置信规则库系统在参数优化方面存在可移植性差、应用效率低等问题,为此,将深度神经网络与析取置信规则库结合,有效减少模型的规则和参数的数量;引入梯度下降算法优化模型参数,提高模型构建和优化的效率.通过非线性函数拟合、北京市空气质量污染预测和多个UCI公共分类数据集的实验,对提出的方法进行验证,并将实验结果与现有的置信规则库系统和传统的机器学习方法进行对比.结果表明,所提出的方法比传统的方法具有更高的推理精度和更快的训练速度.

基于注意力机制神经网络的数学教学质量预测

数学教学质量评价是一个多因素、多层次的复杂过程,为提升数学教学质量评估的准确性和效率,文中提出一种基于注意力机制优化的神经网络评估预测方法。在数学教学评价一级指标与二级指标之间构建注意力增强层,提取重要的指标特征,并利用提取的特征构建神经网络评估预测模型。仿真结果表明,所提方法具有模型结构高效、预测准确度高的效果,在教学管理中具有一定的应用价值。

基于三维深度卷积神经网络的车间生产行为识别

传统的依赖视频监控的人员行为管理方式费时且易产生疏漏,难以适用复杂的生产制造环境,为了实现更加有效的人员行为管理,针对生产车间工作人员行为识别与智能监控问题,提出一种基于人体骨架信息的生产行为识别方法。基于三维深度视觉传感器采集人体骨架关节位置数据,用标准化重构方法对骨架关节数据进行归一化处理,合成人体行为的时空特征RGB图像。在此基础上构建深度卷积神经网络模型,进行时空域的生产行为识别。最后通过CUDA GPU加速环境下面向MSR-Action3D数据集和自建验证数据集NJUST3D进行实验验证,说明所提方法具有较高的准确率和实用价值。

融合粗细粒度信息的长答案选择神经网络模型

答案选择是问答系统中的关键技术之一,而长答案选择在社区问答系统、开放域问答系统等非实体问答系统中有着重要地位。该文提出了一个结合粗粒度(句子级别)和细粒度(单词或n元单词级)信息的模型,缓解了传统句子建模方式应用于长答案选择时不能把握住句子的全部重要信息的不足和使用比较-聚合框架处理该类问题时不能利用好序列全局信息的缺点。该融合粗细粒度信息的长答案选择模型在不引入多余训练参数的情况下使用了细粒度信息,有效提升了长答案选择的准确率。在InsuranceQA答案选择数据集上的实验显示,该模型比基于句子建模的当前最高水平模型准确率提高3.30%。同时该文的研究方法可为其他长文本匹配相关研究提供参考。

基于深度学习及改进模糊KMeans的寻常型银屑病智能诊断方法

为了解决寻常型银屑病在样本分布不平衡的数据中可能会导致的深度学习模型诊断效果下降等问题,通过结合改进模糊KMeans聚类算法对高聚类复杂度数据的处理能力以及Visual Geometry Group 13(VGG13)深度卷积神经网络模型的预测能力,提出一种基于改进模糊KMeans聚类算法的VGG13深度卷积神经网络(VGG13-KMeans)模型,并将其应用于寻常型银屑病的诊断任务中。实验结果表明,相较于VGG13以及ResNet18两种方法,本文方法更适用于对银屑病特征的识别。

深度神经网络轧制力建模及其并行优化研究

冷连轧过程控制的轧制力模型是整个轧制过程计算机控制的基础。为提高5机架2030冷连轧系统轧制力模型的精度和适用性,提出了多输入多输出深度神经网络轧制力模型的数据预处理、建模和并行优化方法。对含有不同隐含层数和节点数的神经网络,采用不同训练算法(SCG算法和L-M算法)与不同优化方法(多线程CPU、单GPU和多线程CPU+GPU),研究了神经网络结构、训练算法和优化方法对神经网络轧制力模型的性能、训练时长、线性相关系数的影响。研究结果表明:含有2个隐含层、采用L-M算法和多线程CPU优化方法可获得综合性能最优的神经网络轧制力模型;神经网络轧制力模型的计算误差远小于在线使用的Siemens轧制力模型的计算误差。

深度神经网络在配电网公变短期负荷预测中的应用研究

精准的负荷预测关系着电力系统安全、经济和可靠运行,短期负荷预测一直是电力系统的重要研究方向之一。结合深度学习理论,基于MXNet深度学习框架,采用深度神经网络算法预测配电网公变短期负荷,考虑负荷自身历史运行状态、气象因素、变压器属性、电力用户特征等多重因素影响,对传统电力负荷预测进行了创新和探索,并通过在某省的实际应用效果表明,基于MXNet框架的深度神经网络模型训练效率良好。基于深度神经网络的短期负荷预测模型有很强的泛化能力与通用性,为不同地区、不同类型的公变建立个性化的预测模型提供了可行方法。模型部署于阿里云大数据平台,基于阿里云大数据实现了配电网公变日负荷的实时预测。

深度神经网络视频新媒体短视频个性化推荐系统研究

随着互联网技术的不断发展,新媒体短视频不断丰富着人们的生活。面对海量的新媒体短视频,传统基于协同过滤算法的视频推荐系统已经不能满足人们的新媒体短视频推荐需求。对此,本文利用深度学习和数据挖掘相关技术,提出了一种基于深度神经网络模型的新媒体短视频个性化推荐系统,该推荐系统主要包括:数据采集处理模块、用户视频建模模块、神经网络训练模块、推荐视频生成模块4个部分。通过对该推荐系统的实验分析发现,通过深度神经网络模型的学习与训练,该推荐系统具备较高的推荐性能,能够充分把握用户对新媒体短视频的兴趣偏好,实用价值较高。

基于深度神经网络的单词预测系统设计与实现

文本生成与预测是自然语言处理中一个重要的研究领域,具有广阔的应用前景,例如通过输入法或者检索框打字时预测下一个单词或者文字。然后人们的喜好和习惯不尽相同,传统的预测方法难以有很好的预测效果。而随着深度神经网络的发展与应用,利用深度神经网络模型的文本预测系统识别准确率和速度也极大地提高。本文训练并评估了最为流行的深度神经网络预测模型,并设计了一个单词预测系统,使用前后端分离技术,前端是一个可视化网页界面,后端采用多个深度学习模型,方便评估模型效果。

深度神经网络模型在心电图中的应用进展

心电图是一种无创、廉价、便捷的诊断心血管疾病和评估心血管事件风险的检查方法。尽管心电图检查已具备明确的标准化操作及流程,但由于诊断经验的不同,即便是训练有素的医生对心电图的解释也可能存在主观偏差。近年来,人工智能通过建立深度神经网络模型,已经成为一种自动分析医疗数据的强大工具,在CT、MRI、超声以及心电图等医学图像诊断领域得到了广泛应用。该文主要介绍深度神经网络模型在心电图诊断和预测心血管疾病方面的应用进展,并讨论其局限性和应用前景。

基于特征增强与时序感知的洪水预报模型

面对洪水发生频率低且机制复杂的问题,提出了一类深度神经网络模型(ET-LSTM)。该模型通过构建特征增强模块提升了小样本情况下的洪水预报能力,通过结合时序感知模块的深度神经网络模型,构建洪水因子与径流量间的非线性关系,挖掘洪水因子间的隐含时序关联关系。首先利用一维卷积神经网络构建洪水深度特征表达;然后,结合瓶颈(BottleNeck)结构设计,通过特征通道间的信息交换,增强洪水深度特征的表达能力;最后,构建时序无关和时序相关模块,分别提取深度特征中的时序相关与时序无关部分,进一步提升深度特征的时变表达能力,并在流域数据集上进行对比分析。结果表明:该方法在模拟精度、相关性系数等指标上优于对比方法,能够更好地拟合真实径流量数据,提升洪水预报的准确性与预见期。

基于语谱图提取深度空间注意特征的语音情感识别算法

从语音情感特征的提取和分类建模出发,以混合卷积神经网络模型为基础,改进特征提取中的Itti模型,包括:增加通过局部二值模式提取的纹理特征;结合听觉敏感度权重提取情感强相关特征。然后提出通过特征约束条件提取标定权重特征的约束挤压和激励网络结构;最后形成以VGGnet和长短时记忆网络混合网络为基础的微调模型,进一步提升了情感表征能力。通过在自然情感数据库和柏林德语数据库上进行验证,该模型在情感识别率上有明显的上升,相较于基准模型提升了8.43%,同时对比了本模型在自然数据库(FAU-AEC)和柏林数据库(EMO-DB)上的识别效果,实验结果证明模型具有良好的泛化性。