深度神经网络模型任务切分及并行优化方法

为解决传统手工切分神经网络模型计算任务并行化方法面临的并行化难度大、训练耗时长、设备利用率低等问题,提出了一种基于深度神经网络(DNN)模型特性感知的任务切分及并行优化方法。结合硬件计算环境,对模型计算特性进行动态分析,获取模型内部相关性和各类参数属性,构建原始计算任务有向无环图(DAG);利用增强反链,构建DAG节点间可分区聚类的拓扑关系,将原始DAG转换为易于切分的反链DAG;通过拓扑排序生成反链DAG状态序列,并使用动态规划将状态序列切分为不同执行阶段,分析最佳分割点进行模型切分,实现模型分区与各GPU间动态匹配;对批量进行微处理,通过引入流水线并行实现多迭代密集训练,提高GPU利用率,减少训练耗时。实验结果表明:与已有模型切分方法相比,在CIFAR-10数据集上,所提模型切分及并行优化方法可实现各GPU间训练任务负载均衡,在保证模型训练精度的同时,4 GPU加速比达到3.4,8 GPU加速比为3.76。

基于PSO-BP神经网络的Savonius型叶轮阵列消波性能优化

为了提高Savonius型(S型)叶轮的消波性能,提出一种S型叶轮阵列装置。通过试验记录不同的叶轮间距和叶轮相对入水深度等5个参数下波浪经过叶轮阵列后的透射系数K_(t),建立基于粒子群优化(PSO)算法和反向传播(BP)神经网络的S型叶轮阵列消波性能预测模型。将采用该模型与采用BP网络模型和GA-BP网络模型得到的平均绝对误差、均方根误差和决定系数R^(2)指标进行对比,结果表明,采用PSO-BP神经网络模型优化能得到误差更小、更精准的预测结果。当相邻叶轮间距分别为0.62 m和0.41 m、各叶轮入水深度分别为0.15 m、0.18 m和0.19 m时,S型叶轮阵列具有相对最佳的消波性能。

冷连轧轧制力深度神经网络模型泛化能力并行优化

为了更好调控冷连轧板厚参数,设计了一种冷连轧轧制力深度神经网络模型,增强了冷连轧模型的控制效果。选择2030冷连轧结构进行研究,对多输入多输出(MIMO)深度神经网络(DNN)进行预处理,针对多线程CPU与GPU实施了优化,对比了神经网络模型和冷连轧系统Siemens模型误差。研究结果表明:L-M算法表现出了更优的收敛稳定性、测试和验证性能、梯度下降趋势,并且收敛速度也更快。以随机方式选择200个数据并测定泛化性能测试得到,L-M算法获得了比SCG算法更大的相关系数。都是随着隐含层数的增加,获得了性能更优的神经网络模型,并且都会增加训练时间。从各项模型指标分析,L-M算法都比SCG算法的性能更优。构建神经网络轧制力模型总共包含二个隐含层、节点数介于17~30、通过L-M算法进行训练。采用神经网络轧制力模型得到的结果与实测值之间的误差比Siemens机理模型和测试值的误差更低。

轻量级卷积神经网络的硬件加速方法

为提升轻量级卷积神经网络在硬件平台的资源利用效率和推理速度,基于软硬件协同优化的思想,提出一种面向FPGA平台的轻量级卷积神经网络加速器,并针对网络结构的特性设计专门的硬件架构。与多级并行策略结合,设计一种统一的卷积层计算单元。为降低模型存储成本、提高加速器的吞吐量,提出一种基于可微阈值的选择性移位量化方案,使计算单元能够以硬件友好的形式执行计算。实验结果表明,在Arria 10 FPGA平台上部署的MobileNetV2加速器能够达到311 fps的推理速度,相比CPU版本实现了约9.3倍的加速比、GPU版本约3倍的加速比。在吞吐量方面,加速器能够实现98.62 GOPS。

基于PSO-Elman神经网络BDS导航卫星钟差预报

卫星钟差是导航定位系统定位精度的重要影响因子之一.针对北斗卫星导航系统(BDS)精密钟差预报性能寻优问题,提出一种基于粒子群优化(PSO)算法优化Elman神经网络的钟差预报模型方法(PSO-Elman模型),以解决Elman神经网络局部最优问题对钟差预报结果的影响.首先对钟差产品进行预处理;然后通过PSO算法迭代寻优确定Elman神经网络权值、阈值的初始值,并将进行预处理之后的序列数据进行训练建模;再采用武汉大学国际GNSS服务(IGS)数据分析中心(WHU)提供的BDS精密钟差产品数据进行钟差预测;最后将预测结果还原为预报钟差.结果表明:对比于二次多项式(QP)模型、附加周期项多项式(SA)模型、灰色(GM)模型,PSO-Elman模型精度分别提高90.7%、84.2%、81.6%,稳定度提高85.3%、76.3%、36.1%.实验表明:PSO-Elman模型在1~12 h短期预报模拟结果的预报精度和稳定性有显著提高,验证了提出方法的可行性.

基于PSO优化BP神经网络的GNSS PWV和气象数据的尾矿库降雨预测研究

随着GNSS技术在气象领域的不断发展与进步,如今许多尾矿库和矿山都配备了GNSS设备,通过监测大气中的水汽含量、大气延迟量,可以更准确地预测降雨天气的发生。但当多种气象因素综合作用时,该技术的预测仍然存在一定的错报率。BP神经网络能够处理复杂的非线性问题,能够根据多种自然因素进行自适应的学习,提高模型的泛化能力,本文对BP神经网络进行了PSO优化,引入多种优化参数,使用NCEI数据平台对福建省区域的气象数据进行降雨预测模型的构建,为提高预测模型在尾矿库环境下的预测效果,本文结合尾矿库现场GNSS设备测量的PWV大气可降水量值,分析其变化量、变化率与降雨的关系,将两者引入降雨预测模型,构建更适应尾矿库环境的降雨预测模型。实验结果表明,针对尾矿库的特有情况,其正确率较国际方法能够提高7%~8%的效果。

基于粒子群优化与卷积神经网络的电能质量扰动分类方法

针对传统电能质量扰动分类方法中人工选取特征困难、步骤繁琐和分类准确率低等问题,提出了一种基于粒子群优化(particle swarm optimization,PSO)算法与卷积神经网络(convolutional neural network,CNN)的扰动分类方法。首先,利用reshape函数将各电能质量扰动信号的一维时间序列分别转成行列相等的二维矩阵,并对这些二维矩阵进行适当划分,形成训练数据集和测试数据集;其次,基于CNN构建电能质量扰动的分类模型;再次,采用PSO算法对该分类模型的参数进行优化,使用训练数据集对优化后的电能质量扰动分类模型进行训练;最后,使用测试数据集对经过训练的电能质量扰动分类模型进行测试,根据输出标签得到各类电能质量扰动的分类结果。仿真结果表明:该分类模型可以自行提取电能质量扰动数据的特征,相较于其他电能质量扰动分类模型,其对电能质量扰动信号的分类准确率更高。

基于PSO-BP神经网络的山西省碳排放预测

山西作为能源使用和碳排放大省,推动“双碳”战略对全国具有重要示范意义。基于IPCC(政府间气候变化专门委员会)排放系数法测算山西省2000—2020年的碳排放量,运用Tapio脱钩模型分析碳排放与经济发展之间的脱钩关系,利用LMDI法对影响碳排放变化的因素进行分解,采用PSO-BP神经网络模型对山西省的碳排放量进行模拟和预测。结果表明:2000—2020年山西省碳排放量呈增长趋势,碳排放强度呈下降趋势,脱钩系数为0.585,整体处于弱脱钩状态。经济增长是碳排放量增长的决定因素,而产业结构与能源强度的优化调整是抑制碳排放的主导因素。引入PSO(粒子群优化算法)有效提高了BP神经网络的预测精度。预测结果显示,在基准情景、低碳情景和强化低碳情景下,山西省碳排放分别于2032年、2029年和2027年达峰。针对预测结果,提出了相关政策建议。

基于循环神经网络的汉语语言模型并行优化算法

计算复杂度高导致循环神经网络语言模型训练效率很低,是影响实际应用的一个瓶颈.针对这个问题,提出一种基于批处理(mini-batch)的并行优化训练算法.该算法利用GPU的强大计算能力来提高网络训练时的矩阵及向量运算速度,优化后的网络能同时并行处理多个数据流即训练多个句子样本,加速训练过程.实验表明,优化算法有效提升了RNN语言模型训练速率,且模型性能下降极少,并在实际汉语语音识别系统中得到了验证.

改进PSO优化神经网络的短时交通流预测

在短时交通流预测中,传统PSO优化神经网络预测模型对逃逸粒子直接取边界值且自身无相应的变异机制,这对于维持粒子群多样性、寻找最优解是不利的。为更进一步提高短时交通流预测精度,将在传统PSO优化BP神经网络的基础上,引入边界变异算子、自变异算子对粒子进行双重变异以优化网络配置参数。用实测的北京二环交通流数据对改进的预测模型进行验证,结果表明该模型更有利于搜寻全局最优解,且寻优时间更短,能有效改善短时交通流预测性能。

基于伪并行混合遗传算法的神经网络优化

在分析并行多物种遗传算法应用于神经网络拓扑结构的设计和学习之后,提出一种伪并行遗传(PPGA-MBP)混合算法,结合改进的BP算法对多层前馈神经网络的拓扑结构进行优化。算法编码采用基于实数的层次混合方式,允许两个不同结构的网络个体交叉生成有效子个体。利用该算法对N-Parity问题进行了实验仿真,并对算法中评价函数各部分系数和种群规模对算法的影响进行了分析。实验证明取得了明显的优化效果,提高了神经网络的自适应能力和泛化能力,具有全局快速收敛的性能。

PSO聚类和梯度算法结合的RBF神经网络优化

针对制约径向基函数RBF神经网络发展及其应用的瓶颈问题,提出一种基于粒子群优化算法PSO的改进K-means聚类思想,以确定其隐节点的数目。结合梯度算法,通过最小化目标函数调节隐节点的数据中心、宽度和输出权值,最终达到优化RBF神经网络的目的;同时,将优化后的网络应用于滚动轴承故障模式识别。试验结果表明,该方法能自适应地确定RBF神经网络隐节点的数目并调整其结构参数,使网络具有较快的收敛速度和较高的收敛精度,从而准确地识别滚动轴承的故障模式。

PSO优化BP神经网络的串联故障电弧识别方法

运用db5小波对故障电弧信号进行4层分解,提取故障频段能量谱作为特征量,建立BP神经网络。用粒子群优化(PSO)算法优化BP神经网络,从而快速准确地对故障电弧特征量进行拟合,用训练后的神经网络对故障电弧进行预测,达到了较好的预测识别效果,验证了该串联型故障电弧识别方法的有效性。

一种基于粒子群优化并行神经网络的电力系统负荷特性聚类方法

电力系统负荷聚类是大区电网负荷建模的基础工作之一,文中提出了一种基于粒子群优化的并行神经网络的电力系统负荷聚类算法。为了增加网络的并行处理能力,分别用一定数量的子样本集轮流对一定数量的神经网络进行并行训练,训练的结果再经过粒子群的优化,最终得到一个最优的聚类神经网络;同时为了克服神经网络聚类算法对输入样本的敏感性问题,算法采用非线性的连接权函数并将其中心作为粒子;给出了算法实现过程。采用东北电网负荷模型统计样本数据的聚类结果表明,文中提出的算法具有较强的适应性和较好的效果。

一种基于MapReduce的并行PSO-BP神经网络算法

为了提高BP神经网络算法的分类准确率和运行时间效率,利用PSO算法和并行化设计的思想,提出了Hadoop平台下基于MapReduce的PSO优化BP神经网络的并行化设计及实现方法。利用PSO算法优化BP神经网络的初始权值和阈值,提高算法分类准确率;采用MapReduce并行编程模型实现算法的并行化处理,解决了BP神经网络在处理大规模样本数据集时存在的硬件开销和通信开销大的问题。选用SUN Database场景图像库构造了5个不同规模的数据集,通过与传统的串行PSO-BP神经网络算法实验对比,并行化的PSO-BP神经网络算法分类准确率达92%左右,系统效率在0.85左右,在处理大规模数据集时具有明显的优越性。

基于MPSO-RBF混合优化的过热汽温神经网络自适应控制

提出了基于改进PSO算法的RBF神经网络混合优化(MPSO-RBF)方法,该方法将改进PSO算法的全局搜索能力和RBF神经网络局部优化的高效性相融合,克服了普通PSO算法收敛的不稳定性和RBF网络易陷入局部极小值的缺点.针对具有较大惯性和滞后的非线性系统构造出一个基于MPSO-RBF混合优化方法的带输入迟延链的复合神经网络自适应控制系统(MPSO-NNC),针对某超临界600MW直流锅炉高温过热器的过热汽温控制进行了仿真试验,并与GA-RBF和Smith预估控制效果进行了对比,结果表明该方法具有更好的性能指标.

基于大数据和优化神经网络短期电力负荷预测

随着电力数据采集成本降低及大规模电网互联等因素,电网中可获取的数据类型日益丰富。以往的集中式预测方法对海量电力数据的分析能力有限。提出基于大数据和粒子群优化BP神经网络短期电力负荷预测,建立短期电力负荷预测模型。利用国家电网的实际负荷数据,采用所提方法进行预测,与实际负荷数据及集中式负荷预测结果进行比较,结果证明,所提方法预测精度较高,降低了负荷预测时间,在实际应用中具有可行性。

利用基于PSO算法的径向基人工神经网络优化重催干气脱硫

针对重催干气脱硫过程存在进料波动频繁、优化响应滞后导致能量消耗过大等问题,通过Aspen HYSYS V11软件利用Li-Mather物性方法对该系统进行全流程模拟,根据Plackett-Burman设计筛选对目标值具有显著影响的有效因素,利用基于PSO算法的径向基人工神经网络对预测模型进行训练、验证和测试,并在满足净化干气硫化氢浓度约束的前提下对其进行深度优化,以期最小化系统能耗。结果表明,重催干气流量、重催干气硫化氢浓度、贫液哌嗪质量分数、贫液N-甲基二乙醇胺(MDEA)质量分数、胺液循环量、T-3001塔底温度和E-3003贫液出口温度对系统能耗影响非常显著,当以上述因素为输入信号,以系统能耗为网络输出时,7-16-1型径向基人工神经网络预测模型经过4182次迭代后,它的训练样本、验证样本、测试样本均方误差分别为5.08×10^(-6)、7.78×10^(-6)和9.56×10^(-6),均小于容许收敛误差限10^(-5),而其决定系数亦高达0.981、0.975、0.969,表现出良好的相关性。当利用基于PSO算法的径向基人工神经网络对重催干气脱硫系统能耗进行优化时,经过3198次粒子进化迭代后系统能耗仅为0.0649kg_(oe)/h,较优化前系统能耗0.0713kg_(oe)/h降低了8.98%,节能效果显著。

系统优化方法中的并行处理与神经网络技术

自然界中存在许多系统优化的现象,例如,动力系统稳定时其能量达到最小,钟乳石的外形遵循多指标最优化的准则,生物的进化遵循某种最优地适应外界环境的准则等。在人类改造包括其自身的自然界的活动中,对于面临的任何要完成一定任务的问题,只要问题的解决方法不只一个,就存在从可供选择的方法中选取在某种意义下最优方法的问题。因此不难理解,为什么从古典的控制理论时期就出现了优化的问题和方法,例如Wiener滤波和自寻最优点控制等。而在现代控制理论中,优化更成为其主要中心思想之一。

基于并行量子遗传神经网络的自诊断智能结构传感器的优化配置

针对压电智能复合材料层板,基于损伤检测问题,采用最小二乘小波支持向量机(LS-WSVM)网络建立损伤检测目标函数,运用量子遗传算法对目标函数进行优化,并将LS-WSVM以并行方式与量子遗传算法相结合,从而构造并行量子遗传神经网络方法,实现对智能结构损伤检测传感器的优化配置。仿真结果表明,采用该方法实现的不同数目传感器的最优布置符合工程判断,综合考虑成本与效益的因素,该方法可确定传感器对应于其初始布置模式下的最优配置数目。对于更多传感器的初始布置模式,采用该方法可有效减少传感器的数量,从而降低成本。相比于传统遗传算法,该方法中量子遗传算法具有较好的寻优能力和收敛速度。