基于长短期记忆神经网络模型的共享单车短时需求量预测

共享单车具有很强的流动性和高随机性,为了更加准确地预测某区域内每小时的单车使用数量,通过爬取纽约市Citi Bike共享单车的天气特征数据信息,并分析时间因子、气象因子等对单车需求量的影响;采用长短期记忆(long short-term memory,LSTM)神经网络模型预测共享单车的短期需求量,并与传统的循环神经网络(recurrent neural network,RNN)和BP(back-propagation)神经网络模型预测结果进行比较。实验结果表明:影响单车需求量的主要因素包括温度、节假日、季节以及早晚高峰时间段等因素;与传统BP神经网络算法和循环神经网络RNN算法相比,LSTM鲁棒性高,泛化能力强,且预测结果曲线与真实结果曲线相吻合;预测精度高(精确度为0.860)均方根误差最小(为0.090),误差小。可见LSTM模型可以用来对共享单车的短时需求量进行预测。

基于INGO-SWGMN混合模型的超短期风速预测研究

为提高超短期风速预测的精度,提出一种融合变分模态分解(VMD)、相空间重构、改进的北方苍鹰优化算法(INGO)和共享权重门控记忆网络(SWGMN)的超短期风速混合预测模型。首先,考虑到风速的强波动性会对预测带来不利影响,采用VMD对风速时间序列进行分解,得到一系列相对平稳的子序列。然后对各子序列分量进行相空间重构,得到相应的相空间矩阵。接着针对长短期记忆网络(LSTM)训练时间较长和权重参数较多的问题,提出一种SWGMN对各子序列分量建立预测模型。同时,为提高模型预测性能,提出一种INGO对SWGMN模型的两个超参数进行寻优,得到最优参数组合。最后累加各子序列预测值,得到最终风速预测结果。实验结果表明,在单步预测和多步预测中,所提方法的平均绝对误差(MAE)、均方根误差(RMSE)、平均绝对百分比误差(MAPE)、决定系数R2分别为0.1828 m/s、0.2263 m/s、4.5481%、0.987和0.2429 m/s、0.3107 m/s、6.1113%、0.976,相较于传统方法具有更高的预测精度和预测效率。

基于共享经验模态分解的短期用电量预测研究

针对单特征用电量预测精度较低的问题,提出了一种基于CEEMD-BiLSTM神经网络预测模型,通过CEEMD(共享经验模态分解)算法将原始用电量序列分解为IMFS分量及残差余量,并分别利用BiLSTM(双向长短期记忆网络)模型对CEEMD得到的分量进行预测,通过相加得到预测值。试验结果表明:利用CEEMD-BiLSTM相较于EEMD(集合经验模态分解)-BiLstm、EMD(经验模态分解)-BiLSTM以及BiLSTM模型,预测精度均有了显著提高。

共享电动汽车可调度容量时空预测

针对共享电动汽车通过需求响应参与电力系统备用服务的可调度容量预测问题,基于历史轨迹数据提出一种基于模型无关的元学习(model-agnostic meta-learning,MAML)、卷积神经网络(convolutional neural network,CNN)、长短期记忆网络(long short term memory network,LSTM)和注意力机制(attention mechanism)的可调度容量评估模型,采用LSTM对CNN从历史数据中提取有效的特征向量动态变化进行建模学习,并用MAML对CNN-LSTM网络的初始化参数进行训练,在解决传统神经网络难以有效提取历史序列中潜在高维特征且当时序过长时重要信息易丢失的问题的同时,通过多任务训练对元预测网络进行微调以快速适应新预测任务,从而提高模型的预测精度及泛化能力;加入注意力机制突出对预测结果起关键性作用的时序信息,进一步提高预测精度。仿真结果表明所提模型可以有效预测不同日期类型和不同功能区域共享电动汽车的可调度容量,也为后续共享电动汽车通过需求响应参与电网备用服务的风险评估研究提供参考。

支持CNN与LSTM的二值权重神经网络芯片

深度神经网络在图像分类、语音识别、视频检测等领域都取得了巨大的成功,这些领域主要采用了卷积神经网络(CNN)、长短期记忆(LSTM)中的一种或者两种网络类型。由于CNN和LSTM网络结构的差异使得现有深度神经网络加速器无法同时高效支持这两种网络类型。权重二值化使得加速器对于CNN和LSTM的同时支持更加高效,同时使得计算复杂度和访存量大幅降低,使得神经网络加速器能够获得更高的能效,并且二值权重对中小规模神经网络模型的精度损失的影响非常有限。本文提出了一种高效支持CNN与LSTM的二值权重神经网络加速器设计结构,该结构在运行CNN和LSTM网络模型时,其核心运算单元利用率超过已有加速器,并且该加速器通过了片上系统(SoC)芯片验证,经过芯片实测,该加速器芯片能效在SoC系统级别达到了6.43 TOPS/W。

基于ILSTM-AMSGD神经网络的时间序列预测方法

针对标准长短期记忆(long short-term memory,LSTM)神经网络的结构参数众多、训练过程耗时长问题,提出一种基于自适应动量随机梯度下降(adaptive momentum stochastic gradient descent,AMSGD)算法的改进型长短期记忆神经网络(ILSTM-AMSGD神经网络),并将其用于时间序列预测中。首先,通过简化结构方程中的递归项权值,减少网络中所需训练的参数。其次,设计一种AMSGD算法对神经网络结构参数进行学习。最后,通过2个基准数据集和1个实际数据集对ILSTM-AMSGD神经网络模型在时间序列预测中的准确性和运行效率进行实验验证。结果表明,递归项权值简化方法可以提高模型的泛化能力,同时AMSGD算法加快了模型的收敛速度。与其他模型相比,ILSTM-AMSGD神经网络模型实现了对时间序列更加高效、准确的预测。

基于SWLSTM-Stacking集成学习的源荷区间预测方法

针对光伏出力和电动汽车充电特性的随机特性对电力系统的冲击不断增强,准确及时的源荷预测是实现增强电力系统适应性和稳定性的重要课题。因此,提出一种基于共享权重长短期记忆网络(shared weight long short-term networks,SWLSTM)与Stacking集成模型相结合的源荷区间预测方法。首先,光伏出力存在时序性特征,采用局部线性嵌入改进k-means算法聚类提取特征日,在实现数据降维同时,减少了网络训练难度;其次,在Stacking集成模型的框架下,将SWLSTM作为元学习器,并通过Q统计量筛选合适的基学习器模型,从而实现多模型融合的多异学习器Stacking集成学习的源荷预测;紧接着,为了得到预测的不确定信息,引入置信度区间预测;最后,采用实测数据对本文所提方法进行验证。结果表明改进k-means算法能够降低其求解难度,加快求解速度,可以快速获取聚类特征;所引入集成学习模型和置信度区间,有效表征源荷预测的不确定性,提升区间预测模型的泛化能力。

基于具有深度门的多模态长短期记忆网络的说话人识别

为了在说话人识别任务中有效融合音视频特征,提出一种基于深度门的多模态长短期记忆(LSTM)网络。首先对每一类单独的特征建立一个多层LSTM模型,并通过深度门连接上下层的记忆存储单元,增强上下层的联系,提升该特征本身的分类性能。同时,通过在不同模型之间共享连接隐藏层输出与各个门单元的权重,学习每一层模型之间的联系。实验结果表明,该方法能有效融合音视频特征,提高说话人识别的准确率,并且对干扰具有一定的稳健性。

基于需求预测的单向共享电动汽车车辆调度方法

用户出行需求的不均衡性和潮汐性造成站点之间的车辆库存不平衡,阻碍了单向共享电动汽车行业的发展.在充分考虑用户实际需求的随机性和时效性的基础上,提出一种单向共享电动汽车车辆调度方法.其采用长短期记忆神经网络对站点车辆需求进行预测,进而建立以调度成本、库存成本和潜在损失收益均最小的多目标调度模型,并采用遗传模拟退火混合算法求最优解.实证研究表明了该方法的合理性和优越性.

基于物联网平台的动态权重损失函数入侵检测系统

随着物联网(IoT)接入设备越来越多,以及网络管理维护人员缺乏对IoT设备的安全意识,针对IoT环境和设备的攻击逐渐泛滥。为了加强IoT环境下的网络安全性,利用基于IoT平台制作的入侵检测数据集,采用卷积神经网络(CNN)+长短期记忆(LSTM)网络为模型架构,利用CNN提取数据的空间特征,LSTM提取数据的时序特征,并将交叉熵损失函数改进为动态权重交叉熵损失函数,制作出一个针对IoT环境的入侵检测系统(IDS)。经实验设计分析,并使用准确率、精确率、召回率和F1-measure作为评估参数。实验结果表明在CNN-LSTM网络架构下采用了动态权重损失函数的模型与采用传统的交叉熵损失函数的模型相比,前者比后者在使用数据集的地址解析协议(ARP)类样本中在F1-Measure上提升了47个百分点,前者比后者针对数据集中的其他少数类样本则提升了2个百分点~10个百分点。实验结果表明,动态权重损失函数能够增强模型对少数类样本的判别能力,且该方法可以提升IDS对少数类攻击样本的判断能力。

考虑特征重要性值波动的MI-BILSTM短期负荷预测

在短期负荷预测中,含有循环单元的深度学习模型应用广泛,但训练时采用的权值共享结构具有时不变性,忽略了输入特征(气象、日期、历史负荷值等)在不同时刻下给负荷变化带来的不同影响,即权值共享结构无法追踪输入特征的重要性值波动。针对此问题,提出一种考虑特征重要性值波动的互信息(MI)-双向长短期记忆(BILSTM)网络预测方法。利用MI法提取输入特征在不同时刻下的重要性值,组成重要性值波动矩阵,并将其作为系数修正原输入特征。然后,代入BILSTM网络中完成训练和预测工作,弥补权值共享结构无法追踪特征重要性值波动的缺陷,进一步提高预测精度。最后,以某地区实际电网负荷数据为例,验证所提短期负荷预测方法的有效性。

基于变权重拟合的并行组合电价预测模型研究

在电力市场中,日前电价预测是用户用电决策的关键因素之一。为提高电价预测精度,提出了一种基于变权重拟合的并行组合电价预测模型,该模型结合了长短期记忆网络(LSTM)和支持向量机(SVM)模型,权重则采用改进粒子群算法(IPSO)获取。在预测过程中,首先分别使用LSTM和SVM对电价进行预测,然后使用预测日前的历史预测结果和实际历史电价对IPSO进行训练,以此获得权重;再用得到的权重拟合并行组合模型在预测日的预测结果就能得到最终预测结果;最后使用了美国PJM电力市场的电价数据进行预测实验,经与单一的LSTM模型和SVM模型的预测结果进行比较,验证了变权重拟合方法能够提高预测模型的最终预测精度。

基于1D-CNN和SWLSTM的风电轴承故障诊断方法

针对风电机组滚动轴承故障特征微弱,对应的信号具有非线性、非平稳性并含有噪声干扰的问题,以及信号本身具有空间和时域信息的特点,提出一种基于一维卷积神经网络(One-Dimensional Convolutional Neural Network,1DCNN)和共享权重长短时记忆网络(Shared Weight Long Short-Term Memory Network,SWLSTM)进行空时融合的风电机组滚动轴承故障诊断的卷积共享权重记忆网络(Convolutional Shared Weight Long Short-Term Memory Network,CSWLSTM)。使用美国西储大学滚动轴承数据集进行验证,相较于具有相同结构的卷积长短时记忆网络(Convolutional Long Short-Term Memory Network,CLSTM)模型和卷积门控循环网络(Convolutional Gated Recurrent Unit Network,CGRU)模型,CSWLSTM模型在训练时间上分别降低了39.9%和19.0%,模型参数量分别降低了63.3%和53.4%。在测试集上使用的分类评价指标准确率分别提升了1.0%和1.5%,精确率分别提升了1.0%和1.7%,召回率分别提升了0.9%和1.0%。仿真实验结果表明,所提出的CSWLSTM模型在风电机组滚动轴承故障诊断方面具有较好的应用潜力。

基于SWLSTM的换热器在线性能预测

换热器是一种把热量从一种介质传递到另一种介质的装置。由于换热表面污垢的存在,换热器的性能随着时间的推移而恶化。为了保持换热器的高效率,有必要定期对换热器的性能进行评估,在线监测的工艺参数能够帮助对换热器换热性能进行预测。本文利用温度和流量等参数计算表征换热器性能相关的指标,并基于共享权重长短时记忆网络(SWLSTM)建立预测模型,利用历史运行数据对其进行训练。通过与验证数据比较,验证了所建立模型预测的高精度和快速性;同时与传统神经网络模型进行比较,可见本模型在预测精度的优越性。通过换热性能参数的预测,能够合理规划停机清洗时间,降低成本。

基于DAM与CNN-LSTM-XGBoost的海上风电功率并行预测

为解决单一模型预测海上风电场的风电功率并行效果不稳定、初始参数过分敏感的问题,提出一种基于双阶段注意力机制(DAM)与CNN-LSTM-XGBoost的融合模型。首先,建立一个包含双阶段注意力机制的DAM-CNNLSTM模型。然后,利用贝叶斯对XGBoost模型超参数进行寻优。最后,基于模型权重分配原理对各模型预测结果进行加权组合,得到最终预测结果。实验表明,所提模型预测准确率相较于传统模型显著增加,MAPE降低至0.26%,RMSE、R2、MAE分别为156.75、0.988、87.47,以期为海上风电功率并行预测提供参考与借鉴。

基于多尺度LSTM预测模型研究

航空发动机剩余寿命(remaining useful life,RUL)预测是设备故障预测与健康管理(prognostics and health management,PHM)的核心问题。针对发动机数据维度高、滞后性强和复杂度高等挑战,提出了一种基于自训练权重的多尺度注意力双向长短期记忆神经网络模型。通过不同尺度的双向长短期记忆神经网络(bidirectional long short-term memory neural network,BiLSTM)提取多尺度特征;提出一种基于自训练权重的融合算法,通过引入注意力机制进行不同尺度的特征筛选,以提高预测精度。将各模型在NASA的C-MAPSS数据集上进行实验对比,结果证明,所提出预测模型在准确率和均方根误差指标上均有所提升。

基于传统和深度学习技术的黄渤海域大风预报方法研究

基于黄渤海域站点风速观测资料以及TIGGE资料,选取欧洲数值预报中心(EC)、中国(CMA)、美国(NCEP)、加拿大(ECCC)4家集合预报产品,在综合评估各家性能的基础上,构建、优化和对比了海上大风集成平均(EM)、动态权重(WEM)、变权偏差订正(BCWEM)3类传统集成方法和长短期记忆神经网络(LSTM)方法。结果表明:LSTM在大风集成预报中性能最优。对于黄渤海域10 m风速预报,EC综合表现最好,NCEP在6级及以上大风段优势明显。各家预报误差均具有显著日变化特征,夜间预报能力弱于白天。优化训练期长度和去除表现较差成员可显著改善WEM和BCWEM的大风预报能力。相对EM的预报结果,WEM无明显改进,BCWEM和LSTM则有显著提升,后两者在全风速段和大风风速段上的预报误差均下降10%以上,且在夜间时段更为明显。BCWEM有效订正了EM和WEM方法对弱风速的预报偏差,LSTM则进一步减小了对强风速的预报误差,并提高了对大风站次的命中数和ETS评分。大风个例分析也表明,LSTM有效弥补了传统方法对低涡东移型大风漏报的问题,提升了对冷高压型大风的预报能力,优势明显。

基于改进VMD和聚类权值共享的负荷预测

针对常见的数据分解加预测算法的组合负荷预测方法具有参数多、训练慢以及模态间共有信息不能有效提取的问题,提出了一种基于改进变分模态分解(variational mode decomposition,VMD)和聚类权值共享的负荷预测模型。模型首先引入互相关函数以寻找VMD的最优分解K值,然后利用K-means将分解后的模态分量进行聚类以突出模态分量的时序特征,最后利用权值共享思想对聚类后的分量进行快速准确的建模预测。仿真结果表明:该模型的平均绝对百分比误差(mean absolute percentage error,MAPE)和均方根误差(root mean square error,RMSE)分别为5.29%和986.50,与传统的单一预测模型相比,所提算法的MAPE和RMSE平均降低了7.50%和982.41;与常见的数据分解加预测算法的组合相比,所提算法的MAPE和RMSE平均降低了3.09%和268.93,训练速度也有一定提升。