基于堆叠长短期记忆网络的互联网流量预测

对互联网流量的有效预测是网络运营商进行网络优化的重要组成部分,为了提高互联网流量的有效预测,本文提出了一种堆叠长短期记忆网络(LSTM)模型来预测未来的互联网流量。首先,介绍了堆叠LSTM的网络结构。然后构建了4种不同堆叠层数的LSTM网络结构,并利用欧洲11个城市的ISP互联网流量和英国学术网流量数据集进行实验对比,确定了当堆叠层数为2层时,预测的精确度最高。最后为了验证该模型的有效性,通过均方根误差和平均绝对误差这两个衡量标准,与DBN、GRU、HA模型进行比较。实验结果表明,基于堆叠的LSTM预测模型较其它模型的RMSE值和ER值均有所降低。

基于低频功率差量特征与双长短期记忆网络的非侵入式负荷监测方法

为提升负荷监测中事件检测与负荷识别的准确性与适应性,提出一种基于低频功率差量特征与双长短期记忆网络的非侵入式负荷监测方法。基于低频数据,根据电器正常运行造成的功率波动与事件启停造成的功率跳变之间的特性差异,提出一种事件检测算法,该算法通过滑动窗内功率波动的差量特征排除波动干扰,实现事件准确定位并获取相关功率数据;建立一种双长短期记忆网络,对不同电器构建专一电器判别单元并进行训练;建立由各判别单元组成的事件识别网络,根据各判别单元输出的概率对事件进行综合判别,实现非侵入式负荷监测。基于测试数据集的仿真结果验证了所提方法的有效性与准确性。

基于长短期记忆网络的大型漂浮式风力发电机平台运动极短期预报方法

大型漂浮式风力发电机平台运动响应的超前预报是实现主动调载系统控制和智慧运维监测的关键技术.然而,漂浮式风力发电机复杂的工作环境使得仅依靠物理模型和数值仿真方法的极短期预报具有非常大的挑战.因此,提出一种创新的基于长短期记忆神经网络的漂浮式风力发电机平台运动极短期预报方法,并利用实测数据开展了浮式平台纵荡运动的验证与不确定性分析.结果表明,该极短期预报方法可以获得较好的精度,超前60 s预报工作状态下纵荡运动的均方误差最大仅约为1%.该大型漂浮式风力发电机极短期运动响应预报能够为未来漂浮式风电场的智慧运维提供扎实的技术支撑.

基于长短期记忆网络模型的堆载作用厂房桩基长期沉降预测

为有效预测堆载作用下厂房桩基长期沉降变形特征,基于长短期记忆网络模型具备的容错性高、记忆功能强等优势,建立了长短期记忆(LSTM)网络预测模型;结合四川省攀枝花市某工业厂房工程,对比分析了指数预测模型和LSTM网络预测模型预测堆载作用下厂房桩基长期沉降变形特征的能力。研究结果表明:LSTM网络预测模型可自动识别复杂数据源中的关键信息,因而可有效表征厂房桩基长期沉降变形的非线性特征,相较于指数预测模型,LSTM网络预测模型具有精度高、误差小等显著优势,可为保障类似厂房长期的稳定性和安全性提供有效理论支撑。

基于情感词典和堆叠残差的双向长短期记忆网络的情感分析

情感分析作为自然语言处理(NLP)的细分研究方向经历了使用情感词典、机器学习和深度学习分析的发展过程。针对使用一般化的深度学习模型作为文本分类器对于特定领域的网络评论类型的文本的分析的精准度较低,训练时发生过拟合现象以及情感词典覆盖率低、编纂工作量大的问题,提出了基于情感词典和堆叠残差的双向长短期记忆(Bi-LSTM)网络的情感分析模型。首先,借助情感词典中情感词的设计覆盖“教育机器人”研究领域内的专业词汇,从而弥补Bi-LSTM模型在分析此类文本时精准度的不足;然后,使用Bi-LSTM和SnowNLP来降低情感词典的编纂体量。长短期记忆(LSTM)网络的“记忆门”“遗忘门”结构可以在保证充分考虑评论文本中的前后词语的关联性的同时,适时选择遗忘一些已分析词语,从而避免反向传播时的梯度爆炸问题。而在将堆叠残差的Bi-LSTM引入后,不仅使得模型的层数加深至8层,而且还使残差网络避免了叠加LSTM时会导致的“退化”问题;最后,通过适当设置和调整两部分的得分权重,并将总分使用Sigmoid激活函数标准化到[0,1]的区间上,按照[0,0.5],(0.5,1]的区间划分分别表示负面和正面情绪,完成情感分类。实验结果表明,在“教育机器人”评论数据集中,所提模型对于情感分类准确率相较于标准的LSTM模型提升了约4.5个百分点,相较于BERT提升了约2.0个百分点。综上,所提模型将基于情感词典和深度学习模型的情感分类方法一般化;而通过修改情感词典中的情感词汇并适当调整深度学习模型的结构和层数,所提模型可以应用于电子商务平台中各类商品的购物评价的精确情感分析,从而帮助企业洞悉消费者的购物心理和市场需求,同时也可以为消费者提供商品质量的一种参考标准。

基于长短期记忆网络的半潜平台波浪爬升预报

波浪爬升问题与半潜式平台安全密切相关,波浪爬升的实时在线预报有助于保障海上作业安全.基于长短期记忆(LSTM)神经网络模型,以波浪和平台运动时间序列为输入,建立半潜式平台波浪爬升高度的极短期在线预报方法.通过平台模型试验获得训练与测试数据,对LSTM模型性能进行检验.结果显示,在提前预报量为6 s和12 s时,波浪爬升高度的平均预报精度分别为92.90%和84.09%,最大值相对误差不高于19.69%和30.66%;同时,模型在提前预报量低于6 s时能够对较大的波浪爬升极值实现准确且稳定的预报,可为海上平台运营过程中波浪砰击和越浪等风险预警提供有效技术支持.

基于堆叠式降噪自动编码器和深度神经网络的风电调频逐步惯性智能控制

风电调频的逐步惯性控制(SIC)策略在负荷波动后提供一个阶跃式功率增发,能够有效阻止系统频率下降,保障电网频率安全.但在其功率恢复阶段,容易出现二次频率跌落现象,需优化SIC以获得更好的调频效果.传统方法存在计算维度高和耗时较长的弊端,难以满足不同场景下快速提供最优控制效果的需求.为实现负荷扰动事件下风电调频的最优逐步惯性快速控制,引入深度学习算法,提出一种基于堆叠式降噪自动编码器(SDAE)和深度神经网络(DNN)的风电调频逐步惯性智能控制方法.首先,使用麻雀搜索算法获得最优参数,使用SDAE高效提取数据特征;随后,基于DNN对数据特征进行学习,并引入加速自适应矩估计优化网络参数,提升网络全局最优参数;最后,应用SDAE-DNN联合方法实现扰动事件后风电调频的逐步惯性在线控制.在IEEE 30节点测试系统中分别对单台风力机和风电场进行仿真分析,与传统方法、浅层反向传播神经网络及原始DNN所得结果对比发现,所提网络结构具有更优的预测精度和泛化能力,该方法能够实现良好的逐步惯性调频效果.

基于双层栈式长短期记忆的电网时空轨迹预测

随着广域量测技术的发展,提前辨识暂态稳定性并采取预防控制措施对电力系统的安全和稳定有着重要意义,而对电力系统的时空轨迹预测则是其中的关键。传统的无系统模型电网时空轨迹预测方法虽然不依赖于系统模型,计算速度较快,但是在预测过程中并没有考虑到电网的空间拓扑关系,另外,在现代复杂电网的大数据环境下,其预测精度相比于采用深度学习的方法仍有待提高。因此,提出了基于双层栈式长短期记忆和近邻节点拓扑关系的电网时空轨迹预测模型。它采用栈式长短期记忆的神经网络结构,并将所预测发电机节点的近邻一阶节点和二阶节点特征引入到了模型中。实验数据表明,支持向量回归法、循环神经网络方法、单层长短期记忆神经网络方法、基于双层栈式长短期记忆的电网时空轨迹预测方法在测试集上的预测均方根误差逐渐递减,预测精度逐渐增加,而在一阶节点和二阶节点分别引入电网时空轨迹预测的情况下,随着引入邻近节点的增加,预测精度也逐渐增加。相比于传统的电网时空轨迹预测方法,基于双层栈式长短期记忆和近邻节点拓扑关系的电网时空轨迹预测模型能更好地表征暂态场景下电网时空轨迹的变化,更精确地实现电网时空轨迹的预测。

面向可穿戴式的基于LSTM神经网络的智能心音异常诊断芯片

心血管疾病是造成全球死亡人数最多的疾病之一,因此对心血管疾病的预防与提前诊断至关重要。人工听诊技术与计算机心音诊断技术无法满足对心音长时间听诊的需求,因而可穿戴式听诊设备越来越受到关注,但是其具有高精度与低功耗的要求。该文设计了低功耗的面向可穿戴式的基于长短期记忆网络(Long Short-Term Memory, LSTM)的智能心音异常诊断芯片,提出了包括预处理、特征提取以及异常诊断的心音异常诊断系统,并搭建了基于听诊器的心音采集FPGA系统,采用了数据增强的方法解决数据集的不平衡问题。基于预训练模型设计了智能心音异常诊断芯片,在SMIC180 nm工艺下完成了版图设计和MPW流片。后仿真结果表明,智能心音异常诊断芯片的诊断准确率为98.6%,功耗为762μW,面积为3.06 mm×2.45 mm,满足可穿戴式智能心音异常诊断设备的高性能与低功耗的需求。

基于WinPcap的远程网络微型数据堆叠式采集仿真

采用当前方法采集远程网络中存在的数据时,数据在远程网络中的信噪比较低,采集数据的时间开销较高,存在数据重构精度低和数据采集效率低的问题。将WinPcap运行机制应用到数据堆叠式采集过程中,提出基于WinPcap的远程网络微型数据堆叠式采集方法,对本地网络监控端中存在的数据进行预处理,在压缩感知的基础上通过WinPcap运行机制对本地数据进行随机采样,并对随机采集到的数据进行压缩处理,将压缩处理后的数据传送到远程网络的处理端中,根据节间点存在的社会关系估计没有传送到处理端的数据,通过压缩感知算法重构数据,实现远程网络微型数据的堆叠式采集。仿真结果表明,所提方法的数据重构精度高、数据采集效率高。

采用长短期记忆神经网络的空调系统能耗预测研究

为了实现空调系统控制策略的优化、提升空调系统能效,本文提出一种基于LSTM神经网络的组合式空调机组能耗预测模型,实现对某卷烟厂储丝车间空调系统能耗数据的短期预测和中期预测。短期预测结果的RMSE(均方根误差)为8.68,MAE(平均绝对误差)为4.34;中期预测结果的RMSE值为6.26,MAE值为2.64。说明LSTM能耗预测模型的预测结果与原始数据总体偏差较小,在预测性能方面表现良好。即使考虑时序性,LSTM能耗预测模型在预测时间跨度较长的非线性数据时也不会出现明显的预测精度下降,能够保证预测的准确率。

融合Transformer和卷积LSTM的轨迹分类网络

为了减少原始轨迹数据的噪声,充分提取轨迹的时空特征,提高基于轨迹数据的交通模式分类精度,提出一种融合堆叠降噪自编码器、Transformer和卷积长短期记忆网络的轨迹分类网络(networks fusing stacked denoising auto-encoder, Transformer and ConvLSTM,SDAETC)。通过堆叠降噪自编码器减少原始轨迹数据中的噪声;利用结合了Transformer的递归图自编码器,提取到更为丰富的时间特征,同时利用特征图自编码器提取空间特征;改进卷积长短期记忆网络,充分提取轨迹中的时空特征,并与提取到的时间特征和空间特征相融合,从而实现交通模式分类。实验结果表明,提出的SDAETC与基线模型相比,在GeoLife和SHL数据集上的准确率分别提升了1.8%和2%。此外,消融实验结果和模型训练时间分析表明,引入堆叠降噪自编码器、Transfomer和ConvLSTM虽然增加了时间消耗,但是对分类精度有积极贡献。

基于TPA‑MBLSTM模型的超短期风电功率预测

风速变化的间歇性和波动性给风功率的精准预测带来极大挑战,充分挖掘风电功率与风速等关键因素的内在规律是提高风电功率预测精度的有效途径。提出一种结合时间模式注意力(time pattern attention,TPA)机制的多层堆叠双向长短期记忆网络的超短期风电功率预测方法。首先,利用基于密度的含噪声空间聚类方法(den⁃sity based spatial clustering with noise,DBSCAN)和线性回归算法进行风功率数据集的异常值检测,利用k最邻近(k⁃nearest neighbor,KNN)插值法重构异常点数据;其次,综合考虑风电功率与各气象特征的内在关联性,在MBLSTM网络中引入TPA机制合理分配时间步长权重,捕捉风电功率时间序列潜在逻辑规律;最后,利用实验仿真数据进行分析验证本文方法的有效性,该方法能够充分挖掘风功率与风速影响因素的关系,从而提高其预测精度。

基于注意力机制的堆叠LSTM心电预测算法

心电信号的处理一直是一个热门的研究领域,针对日趋增长的心电数据分析需求,国内的研究大多停留在分类处理阶段,对心电异常的预测相对较少。而心电异常的提前预警对预防接下来可能出现的危险极为重要,因此,提出了一种新的心电预测算法。首先,对原始数据进行小波变换处理,经过预处理后的数据能够更好地从中提取特征进行学习。将处理后的信号输入训练模型,在训练过程中采用两个LSTM网络结构,构成一种堆叠的循环神经网络模型。输出的信号再通过注意力机制,加强重点关注区域后经由全连接层输出结果。模型采用预测准确率作为衡量模型性能的指标,并在MIT-BIH数据集上进行了测试。经过实验数据的对比,该模型在此数据集上最终预测准确率为97.7%,与传统堆叠LSTM网络相比,提升了1.3百分点;与加入注意力机制的单层LSTM网络相比,提升了0.9百分点。结果表明,该模型有效地提高了预测的准确率,充分证明了其优越性。

基于堆叠式双向LSTM的心电图自动识别算法

针对日趋增长的心电图数据分析需求,提出了一种新的心电图分类算法。首先对原始数据进行截断固定长度、样本均衡、求取信号的瞬时频率和光谱熵等预处理操作,数据经过预处理后模型能够更好地从其中提取特征进行学习;在训练过程中采用两个双向LSTM(BILSIM)网络堆叠组成的模型,堆叠式的双向LSTM(BILSIM)模型是一种改进的循环神经网络模型,相较于卷积神经网络,循环神经网络更加适合用来处理像心电图这样的序列数据。该模型在Windows下的MATLAB2018b上进行训练和测试,CUDA版本为9.0,采用分类准确率作为衡量模型性能的指标在两个数据集上进行了测试,一个是2017年生理信号挑战赛的数据(下文简称2017数据集),该模型在此数据集上最终分类准确率为97.4%;另一个是2018年生理信号挑战赛的数据(下文简称2018数据集),最终的分类准确率为77.6%,并在所属的MATLAB组获得了第三名的成绩。该算法与传统LSTM网络的结果相比,在2017数据集上提升了5.6%的准确率,在2018数据集上提升了7.6%的准确率;与单层的双向LSTM网络的结果相比,在2017数据集上提升了4.2%的准确率,在2018数据集上提升了5.7%的准确率,这充分验证了该算法的可行性和优势。

基于seq2seq模型的非侵入式负荷分解算法

非侵入式负荷分解对于节能减排、负荷调峰、智能用能等方面均具有重要的现实意义。针对目前非侵入式负荷分解方法在低频采样条件下(1 Hz及以下)分解准确率较低的问题,提出了一种基于卷积神经网络(convolution netural network,CNN)与长短期记忆网络(long short-term memory,LSTM)相结合的seq2seq的非侵入式负荷分解算法(seq2seq based on CNN and LSTM,seq2seqBCL)。该深度学习模型将功率时间序列作为网络的输入,通过CNN做特征提取。考虑到电力数据的时序性,增加了LSTM层进行电器识别,相比于NILMTK中seq2seq模型降低了网络层数,简化了网络结构。在REDD数据集上对算法性能进行了评估,所提出的算法提升了整个网络系统的性能,与FHMM、CO和传统seq2seq算法相比,负荷分解准确率有明显提升。

基于物联网的堆叠式可重构无线传感装置的设计

针对物联网系统中对传感装置智能性、灵活性、多样性和标准化的高要求,文中提出了一种基于物联网的堆叠式可重构无线传感装置,以实现智能硬件接口设计、嵌入式系统、无线通信技术和信息处理技术相结合。实验结果表明,本设计可实现物联网应用工程的任意裁剪与重构,保证数据流通的规范与安全,便于安装与拆卸,降低了物联网技术门槛和使用难度,方便二次开发,能有效促进物联网技术的发展与应用推广。

基于非线性堆叠双向网络的端到端声纹识别

传统声纹识别方法过程繁琐且识别率低,现有的深度学习方法所使用的神经网络对语音信号没有针对性从而导致识别精度不够。针对上述问题,本文提出一种基于非线性堆叠双向LSTM的端到端声纹识别方法。首先,对原始语音文件提取出Fbank特征用于网络模型的输入。然后,针对语音信号连续且前后关联性强的特点,构建双向长短时记忆网络处理语音数据提取深度特征,为进一步增强网络的非线性表达能力,利用堆叠多层双向LSTM层和多层非线性层实现对语音信号更深层次抽象特征的提取。最后,使用SGD优化器优化训练方式。实验结果表明提出的方法能够充分利用语音序列信号特征,具有较强的时序全面性和非线性表达能力,所构造模型整体性强,比GRU和LSTM等模型具有更好的识别效果。

基于堆叠式自编码器的新型分子毒性预测模型

本文提出了一种新型的分子毒性预测模型,采用堆叠式自编码器(SAE)对高维的稀疏数据进行特征提取,而后对分类器进行改进,使用胶囊网络作为分类器进行毒性预测分类,为了证明该模型的有效性,我们将SAE+CAPS与传统的softmax分类器和SAE+softmax分类器进行了对比,实验结果表明相较于另外两种模型而言该模型拥有更高的性能。

基于ChineseBERT的双通道隐式情感分类

隐含情感分析是当前自然语言处理领域的热门研究方向之一。相比于传统的文本情感分析方法,隐含情感分析面临着一些挑战,例如表达方式较为隐晦、缺乏明确的情感词汇等。针对这些问题,提出一种基于ChineseBERT的双通道中文隐式情感分类模型。首先,采用嵌入汉字音形向量的ChineseBERT预训练模型来提取文本词的动态向量表征。然后,并行联合使用CNN与BiLSTM混合神经网络模型,通过嵌入自注意力机制的多尺度CNN网络捕捉文本局部特征,同时引入结合自注意力机制的BiLSTM提取文本深层次上下文信息特征,将改进后的CNN与BiLSTM进行特征拼接。最后,输入全连接层获得情感分类结果。经过实验,所设计的模型在SMP2019“拓尔思杯”数据集上Acc值达到了82.5%,分类效果显著提升,验证了模型具有可行性和有效性。