基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

基于扩张卷积神经网络的异常检测模型

目的提出一种基于DCNN-MiLSTM的异常检测模型,解决传统的网络异常检测模型难以处理具有时序特征网络流量数据的问题。方法对原始流量数据的时间标签进行重定义,利用扩张卷积神经网络对整体特征进行提取,同时引入Mogrifier LSTM网络,对时序信息进行深层次挖掘。结果与其他异常检测模型相比,DCNN-MiLSTM模型的准确率达到99.12%,召回率为98.94%,F_(1)值为99.03%,各项指标均优于其他常见模型,提升了检测异常网络流量数据的能力。结论DCNN-MiLSTM模型可以更好地处理具有时序特征的流量,捕捉流量数据中的时间依赖关系和趋势,更有效地检测和识别出异常数据。

基于深度时间卷积神经网络与迁移学习的流程制造工艺过程质量时序关联预测

针对流程生产多工艺参数时序耦合导致的生产质量难以准确预测的问题,提出了基于深度时间卷积神经网络与迁移学习的生产质量快速高效预测方法。借助序列到序列的学习框架,采用深度时间卷积神经网络和时序注意力机制构成的编码器提取多源关键时序特征,采用残差长短期记忆神经网络构成的解码器挖掘质量时序信息,引入迁移学习解决预测模型对生产质量在线预测适应性的问题。实验表明所提方法的预测精度与稳定性优势显著,且在小样本数据预测时具有较高的预测精度和计算效率。

基于并联时序卷积神经网络的电力负荷短期预测

电力负荷的短期预测可以合理地确定机组运行方式,安排日调度计划,提高计量精准度,对实现系统功率平衡和保障系统的安全经济运行具有重要意义。在利用神经网络进行负荷短期预测时,若训练数据不足,模型的学习能力会大大降低。同时,由于电力负荷数据存在小时周期、日周期、周周期、季节周期特性,常规神经网络训练模型无法反映负荷的不同周期特性,对预测结果的准确性也会造成一定的影响。为此,首先提出一种数据增强方法,有效解决电力负荷预测中训练数据不足的问题。其次,针对负荷的周期性特征,进一步提出使用不同周期特征的并联时序卷积神经网络模型的融合方案,有效反映负荷数据的多周期特征,从而提升电力负荷短期预测的准确度。通过对某地市不同电压等级线路负荷数据的建模和训练,验证所提方法在短期预测方面的有效性和优越性。

基于卷积神经网络的时序知识图谱补全研究

知识图谱通常由三元组头尾实体及关系组成,通过将大量三元组组织成图的形式,知识图谱可以展示实体间的复杂关系网络,这些关系可以是直接或间接的关联。传统的知识图谱中实体和关系之间的连接通常是静态的,缺乏对动态关系的建模能力,而时序知识图谱则是在三元组的基础之上增加了时间戳这一维度,能够更好地捕捉实体和关系的时序依赖性,从而支持时序推理,使得知识图谱的表达更加贴近于真实世界。但是通常包含时间信息的数据集中存在大量缺失数据,导致包含时间戳在内的四元组完整性下降,知识图谱下游应用如问答系统、推荐系统等将会受到直接影响。因此,本文提出了基于静态知识图谱嵌入模型ConvE的面向时序知识图谱补全的张量分解模型Conv-ATG (Convolutional Attention Temporal Graph),具体来说,ConvE主要针对静态知识图嵌入,基于ConvE引入了对于时间信息的表示并增加自注意力机制提高模型性能。在2个主流大规模数据集ICEWS、WIKIDATA上进行实验,实验结果表明Conv-ATG模型的性能优于现有的大多数推理方法,说明了本模型的有效性。

基于图神经网络的航空数据异常检测

飞行品质监控(FOQA)数据记录了飞行状态的详细参数,对于评估飞行操作的质量和安全性至关重要。传统的“超限检测”算法通过与预先建立的阈值进行比较来识别异常行为。相比之下,深度学习方法能够更全面、灵活地分析FOQA数据,提高异常行为的检测精度。文章提出的TAGDNet是用于FOQA数据多类别异常检测的创新框架,包括时序卷积网络、图神经网络和分层图池化等关键组件。该框架首先通过时序卷积网络提取时序特征,然后通过引入图神经网络进行节点间信息传播,最后通过分层图池化获得异常检测结果。通过在公开可用的FOQA数据多类别异常检测数据集上进行大量实验证明,该方法相较于其他先进的方法表现更为优越。

基于聚合混合模态分解和时序卷积神经网络的综合能源系统负荷修正预测

为增强综合能源系统负荷精细化分解水平,充分利用误差信息以进一步提升预测性能,提出一种基于聚合混合模态分解和时序卷积神经网络(temporal convolutional network,TCN)的综合能源系统负荷修正预测框架。首先,采用改进完全集合经验模态分解对电、冷和热负荷初步分解处理,随后利用变分模态分解对具有强复杂性的子序列进一步分解。然后,依据最大信息系数(maximum information coefficient,MIC)分析多元负荷的耦合特性并通过多元相空间重构(multivariate phase space reconstruction,MPSR)丰富特征信息。最后,构建基于TCN的修正预测模型。以校园综合能源系统算例对比不同预测模型,结果显示所提修正预测框架的电、冷和热负荷预测均具有较低的平均绝对百分比误差,有效解决了预测中模态分解的模态混叠以及模态高频分量问题,实现预测误差修正。

基于混合卷积神经网络算法的风场预测研究

在农业生产中,准确的风速预报对农作物安全防范有着至关重要的作用。针对云南地区的高海拔和多山,基于卷积神经网络框架,提出了卷积长短时序分析神经网络-卷积门控循环单元神经网络(ConvLSTM-ConvGRU)混合风速预测模型。通过神经网络框架的改进,有效的提高了模型对风场空间特征的提取。利用美国国家环境预报中心(NCEP)提供的再分析风速数据集,使用ConvLSTM、ConvGRU、ConvLSTM-ConvGRU混合模型分别对云南地区的风速进行。实验结果表明:ConvLSTM-ConvGRU混合风速预测模型能够有效对云南地区风场进行预测,相较于另外两个模型提高了预测准确度。

基于3D全时序卷积神经网络的视频显著性检测

视觉是人类感知世界的重要途径之一。视频显著性检测旨在通过计算机模拟人类的视觉注意机制,智能地检测出视频中的显著性物体。目前,基于传统方法的视频显著性检测已经达到一定的水平,但是在时空信息一致性利用方面仍不能令人满意。因此,文中提出了一种基于全时序卷积神经网络的视频显著性检测方法。首先,利用全时序卷积对输入视频进行空间信息和时间信息的时空特征提取;然后,利用3D池化层进行降维;其次,在解码层中用3D反卷积和3D上采样对前端特征进行解码;最后,通过把时空信息有机地提取与融合,来有效地提升显著图的质量。实验结果表明,所提算法在3个广泛使用的视频显著性检测数据集(DAVIS,FBMS,SegTrack)上的性能优于当前主流的视频显著性检测方法。

一维卷积神经网络特征提取下微震能级时序预测

微震能级随时间发生变化,高能级微震事件与冲击地压有良好的对应关系,为预测矿山微震能量时序变化,基于一维卷积神经网络(Convolutional neural networks,CNN),建立微震能级时间序列预测模型;通过模型训练,实现以前十次微震事件的能量级别作为输入来预测下一次微震事件的能量级别.由于微震样本数据类间不平衡问题,导致模型测试时将106能量级别的微震事件全部判断为105能量级别的微震事件,为进一步提高模型对106能级微震事件预测的准确率,对模型进行改进并使用混合采样方法训练改进后的模型;利用砚北煤矿250202工作面微震能级实测部分数据,改进后模型的总体测试正确率达到98.4%,其中106能量级别的微震事件测试正确率提升到99%.将模型应用于砚北煤矿250202工作面进行微震能级时序预测,模型的预测正确率整体达到93.5%,且对高能级微震事件的预测正确率接近100%.

一种基于卷积神经网络的快速识别朱墨时序方法

朱墨的时序检测在文件检测和司法公正领域中是较为常见的问题。由于判定结果的准确性无法准确衡量,提出了基于卷积神经网络快速识别朱墨时序的方法。基于不同时序的朱墨样本在朱墨重叠处图像色素点的区别,用卷积神经网络做有监督训练分类,最终达到识别图像朱墨顺序的目的。在理想的实验条件下,同一支笔的预测准确率能达到93%以上,泛化能力高达86%。在加入高斯噪声后,同一支笔的预测准确率仍能达到82%以上,泛化能力达到80%,大幅度提高了朱墨时序图像识别的准确性和稳定性。

用于视频图像帧间运动补偿的深度卷积神经网络

为探索深度学习理论在视频图像帧间运动补偿问题中的应用,提出一种用于视频图像帧间运动补偿的深度卷积神经网络。该网络由卷积模块和反卷积模块构成,可以处理不同分辨率输入图像并具备保持较完整图像细节的能力。利用具有时序一致性的视频图像序列构造训练样本,采用随机梯度下降法对设计的深度卷积神经网络进行训练。视觉效果和数值评估实验表明,训练得到的网络较传统方法能更有效地进行视频图像帧间运动补偿。

基于双流卷积神经网络的人体行为识别方法

时序行为检测是指在一段未分割的长视频中,检测出其中包含的若干行为片段的起止时间和类别.针对该项任务,提出基于双流卷积神经网络的行为检测模型.首先使用双流卷积神经网络提取视频的特征序列,然后使用TAG(Temporal Actionness Grouping)生成行为提议,为了构建高质量的行为提议,将行为提议送入边界回归网络中修正边界,使之更为贴近真实数据,再将行为提议扩展为含有上下文信息的三段式特征设计,最后使用多层感知机对行为进行识别.实验结果表明,本算法在THUMOS2014数据集和ActivityNet v1.3数据集获得较好的识别率.

基于双流卷积神经网络的时序动作定位

为提高三维卷积神经网络对时序动作定位的识别效率和准确率,提出一种基于双流卷积神经网络的多阶段时序动作定位模型。该模型首先运用多尺度分割生成视频段,然后依次通过建议网络选择建议区域、分类网络作为定位网络的初始化,最后通过定位网络和非极大值抑制识别动作类别和动作起止时间。其中,建议网络、分类网络、定位网络使用稀疏采样的时序分割网络进行训练。实验证明,该模型可以有效进行时序动作定位,比目前较好的S-CNN网络获得了更好效果。

基于时域卷积与双向GRU神经网络的时序预测模型

随着物联网技术和5G技术的发展,各类智能设备收集的时序数据规模急剧增长,为了利用深度学习技术对大规模时序数据进行预测,提出一种基于深度神经网络的时序预测模型。该模型首先利用时域卷积神经网络层对时序数据进行预处理,然后利用双向GRU神经网络层提取时序数据的前向特征和后向特征,最后对时序数据进行预测。在真实数据集上的实验结果表明,该模型相比传统长短期记忆网络模型,预测准确度提高了近70%,预测速度提高了近10%,可更好地满足对大规模时序数据的预测需求。

基于卷积神经网络和Transformer的手写体英文文本识别

手写体文本识别技术可以将手写文档转录成可编辑的数字文档。但由于手写的书写风格迥异、文档结构千变万化和字符分割识别精度不高等问题,基于神经网络的手写体英文文本识别仍面临着许多挑战。针对上述问题,提出基于卷积神经网络(CNN)和Transformer的手写体英文文本识别模型。首先利用CNN从输入图像中提取特征,而后将特征输入到Transformer编码器中得到特征序列每一帧的预测,最后经过链接时序分类(CTC)解码器获得最终的预测结果。在公开的IAM(Institut für Angewandte Mathematik)手写体英文单词数据集上进行了大量的实验结果表明,该模型获得了3.60%的字符错误率(CER)和12.70%的单词错误率(WER),验证了所提模型的可行性。

基于改进长期循环卷积神经网络的海上风电功率预测

准确的风电功率预测对海上风电安全并网具有重要意义。不同于陆地,海上具有气象因素复杂、风电出力波动显著等特点,使得海上风电功率预测精度难以满足工程实际要求。针对以上问题,文中提出一种基于改进长期循环卷积神经网络(LRCN)的预测模型,用于超短期海上风电功率预测。首先,采用改进LRCN进行初步功率预测,即构建多卷积通道分别提取不同层次变量的时序特征,并通过具有前瞻性的改进Adam优化器提升网络收敛效果。其次,利用摇摆窗算法与波动特征聚类识别预测时段的出力波动类型。再次,针对不同的波动类型建立对应的误差修正模型,并输入经Xgboost算法筛选出的强相关特征因子,实现误差修正。最后,采用实际海上风电场数据进行实验,其结果表明所提方法能够有效预测超短期海上风电功率,且预测精度高于多种传统预测模型。

基于深度帧差卷积神经网络的运动目标检测方法研究

复杂场景中的运动目标检测是计算机视觉领域的重要问题,其检测准确度仍然是一大挑战.本文提出并设计了一种用于复杂场景中运动目标检测的深度帧差卷积神经网络(Deep Difference Convolutional Neural Network,DFDCNN).DFDCNN由DifferenceNet和AppearanceNet组成,不需要后处理就可以预测分割前景像素.DifferenceNet具有孪生Encoder-Decoder结构,用于学习两个连续帧之间的变化,从输入(t帧和t+1帧)中获取时序信息;AppearanceNet用于从输入(t帧)中提取空间信息,并与时序信息融合;同时,通过多尺度特征图融合和逐步上采样来保留多尺度空间信息,以提高网络对小目标的敏感性.在公开标准数据集CDnet2014和I2R上的实验结果表明:DFDCNN不仅在动态背景、光照变化和阴影存在的复杂场景中具有更好的检测性能,而且在小目标存在的场景中也具有较好的检测效果.

基于深度优化残差卷积神经网络的端到端语音识别

为增强语音识别声学模型中特征提取的鲁棒性和深层网络模型训练的有效性,提出一种采用残差结构优化深层卷积神经网络的端到端语音识别模型。该方法使用连接时序分类(connectionist temporal classification,CTC)作为目标损失函数,通过在卷积神经网络层之间添加残差跳转连接,将前层中输入直接传输到后层,构建一组残差卷积层,深化了声学模型中卷积层层数。然后在残差结构内外分别添加Swish和maxout函数,改善网络存在的退化问题和梯度消失问题,进而提升了语音识别的性能。在中文数据集AISHELL-1上进行语音识别实验。研究结果表明,与传统识别模型相比,基于深度优化残差卷积神经网络的CTC模型在语音识别任务上具有更好的性能。

Conv-WGAIN:面向多元时序数据缺失的卷积生成对抗插补网络模型

油浸式变压器的油色谱数据是一种多元时序传感数据,设备或网络失误往往会导致数据缺失,通常需要通过插补形成完整数据集,才能用于进一步的业务分析研究。但是,现有的插补模型无法面向多元时序数据同时处理因时间不均匀性和时间双向性带来的插补效率低和效果难以保障的问题,对此提出一种名为Conv-WGAIN的生成对抗插补网络模型,通过构建的插补特征图,可利用二维卷积从前后2个方向学习时间特征,处理时间间隔不均匀的数据;在判别器中引入Wasserstein距离来判别生成插补数据与真实观测数据,提升了生成器的稳定性。在真实项目中的油色谱数据集和3个公开数据集上的实验表明,该模型在多元时序缺失数据上具有普遍适用性,而且在不同的缺失率下的插补结果要优于其他对比模型的,RMSE降低了20.75%~73.37%。