基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

基于卷积神经网络和双向长短期记忆网络的气温预测模型

气温与环境要素之间存在非线性关系,针对传统的预测方法难以捕捉数据的内在特征和时间相关性问题,提出一种基于卷积神经网络与双向长短期记忆网络相结合的气温预测模型。基于宿迁四个国家气象观测站的逐小时观测数据,首先通过一维卷积神经网络提取气象要素数据的空间特征,然后将这些特征引入双向长短期记忆网络中来全面学习并掌握气象要素的上下文信息,进而对气温进行有效预测。实验结果表明,与其他的预测方法相比,所提模型在空间特征提取和时序特征学习方面表现卓越,且其在气温预测的精度上有显著的优势。

基于相关性分析与CNN-BiLSTM神经网络的PSZ陶瓷磨削表面粗糙度智能预测

部分稳定氧化锆(Partially stabilized zirconia,PSZ)陶瓷因其优越的性能在航空航天工业等领域有广泛的应用。表面粗糙度是评价PSZ陶瓷磨削加工水平的关键指标,为了降低磨削表面粗糙度的预测误差,提出了一种基于相关性分析与卷积-双向长短期记忆神经网络(Convolution-bidirectional long short term memory neural network,CNN-BiLSTM)的PSZ陶瓷磨削表面粗糙度声发射预测模型。通过分析磨削声发射信号特征值与磨削表面粗糙度值之间相关性,筛选出磨削声发射信号与磨削表面粗糙度之间的最相关频段和特征矩阵,作为CNN-BiLSTM神经网络的输入参数以降低磨削表面粗糙度声发射预测的误差。研究结果表明,基于相关性分析与CNN-BiLSTM神经网络的PSZ陶瓷磨削表面粗糙度的平均预测误差低于3.92%。

基于混合卷积神经网络算法的风场预测研究

在农业生产中,准确的风速预报对农作物安全防范有着至关重要的作用。针对云南地区的高海拔和多山,基于卷积神经网络框架,提出了卷积长短时序分析神经网络-卷积门控循环单元神经网络(ConvLSTM-ConvGRU)混合风速预测模型。通过神经网络框架的改进,有效的提高了模型对风场空间特征的提取。利用美国国家环境预报中心(NCEP)提供的再分析风速数据集,使用ConvLSTM、ConvGRU、ConvLSTM-ConvGRU混合模型分别对云南地区的风速进行。实验结果表明:ConvLSTM-ConvGRU混合风速预测模型能够有效对云南地区风场进行预测,相较于另外两个模型提高了预测准确度。

改进型CNN-LSTM深度学习神经网络的台区户变拓扑关系识别

针对电力台区内各种数据信息繁多复杂、数据处理能力滞后及用户利用率低下等问题,提出一种新型的台区户变拓扑关系识别方法。通过构建卷积神经网络(convolutional neural network,CNN)和长短期记忆(long short-term memory,LSTM)神经网络模型,将台区内配电变压器的有功功率、无功功率、电压值、电流值和用户侧的多种用电数据信息转换为CNN-LSTM深度学习神经网络模型;并在CNN模型中融入LSTM模块,以将台区户变拓扑宏观数据关系转换为微观数据信息识别,大大提高台区户变拓扑关系识别和应用能力。通过设置CNN-LSTM深度学习神经网络不同的层次,计算台区户变拓扑关系。通过算例分析,大大提高了用户识别能力,为台区户变拓扑关系识别提供了技术思路。

改进LSTM神经网络在极短期波浪时序预报中的应用

高效准确的极短期预报对实海况下船海结构物的施工作业安全意义重大.由于海浪的随机性,短期预报往往使用时间序列分析进行,近年来神经网络特别是长短期记忆(LSTM)神经网络在时间序列分析上预报能力强.基于此,提出一种结合生成式对抗思想的LSTM改进形式,在神经网络中嵌入频域特性等的先验知识,实现时频域信息耦合预报.经实验测试可知,该方法预报精度优于传统时序分析方法和LSTM神经网络结果,适用于极短期时序预报,有助于实现更好的船舶操纵控制.

基于卷积长短期记忆神经网络的短期风功率预测

提出一种基于卷积长短期记忆神经网络(CNN-LSTM)的短期风功率预测模型。该模型以风电场风功率历史数据以及风速风向等数值天气预报(NWP)数据为输入对风功率进行预测。首先,利用主成分分析法(PCA)对原始多维气象数据变量进行预处理,然后将处理过的气象数据和历史风功率数据通过卷积网络实现对数据的特征提取和进一步的数据降维,再通过长短期记忆网络实现对数据的拟合,并在神经网络的训练过程中引入DropConnect技术减小模型中的过拟合现象,最终实现风功率的精确预测。以中国西北某风电场的实测数据进行验证,结果表明所提方法能有效对风功率进行预测,较BP神经网络和支持向量机(SVM)有更高的预测精度。

基于特征强化神经网络的交通流预测

为了解决挖掘特征能力不足的问题,充分提取不同出行高峰日特征来提高交通流预测的准确性,本文提出了基于特征强化的交通流预测模型——卷积神经网络(convolutional neural network,CNN)–特征增强(feature enhancement,FE)–门控循环单元(gate recurrent unit,GRU)(CNN-FE-GRU)神经网络模型。该模型首先采用CNN来挖掘不同时间序列下路口与车流量的潜在联系,有效地捕捉时序数据的特征;其次提出FE模块来增加模型聚焦能力,刻画不同时间节点对目标时间节点交通流的相关性,同时为每个时间节点赋予相应权重;最后采用GRU对输出的时序数据进行进一步的特征提取,并在全连接层的作用下实现交通流的预测。实验结果表明,CNN-FE-GRU模型的平均绝对误差(mean absolute error,MAE)、均方误差(mean-square error,MSE)和均方根误差(root mean square error,RMSE)平均值分别为0.229、0.1308、0.3388,相较于对比模型均有不同程度下降,CNN-FE-GRU模型在精确度和预测性能方面都有了显著提升。

基于卷积神经网络和Tree-LSTM的微博情感分析

微博情感分析旨在研究用户关于热点事件的情感观点,研究表明深度学习在微博情感分析上具有可行性。针对传统卷积神经网络进行微博情感分析时忽略了非连续词之间的相关性,为此将注意力机制应用到卷积神经网络(CNN)模型的输入端以改善此问题。由于中文微博属于短文本范畴,卷积神经网络前向传播过程中池化层特征选择存在丢失过多语义特征的可能性,为此在卷积神经网络的输出端融入树型的长短期记忆神经网络(LSTM),通过添加句子结构特征加强深层语义学习。在两种改进基础上构造出一种微博情感分析模型(Att-CTL),实验表明该模型在微博情感分析上具有优良的特性,尤其在极性转移方面仍保持较高的F_1值。

基于深度卷积-长短期记忆神经网络的整车道路载荷预测

针对传统道路载荷获取方法耗费周期长、成本高,且无法高效应用于整车参数变化后的新车型的问题,利用现有多款车型的载荷数据库,通过建立可确定整车结构参数、运行工况与道路载荷之间关联关系的深度卷积-长短期记忆神经网络(DCNN-LSTM)模型,提出了基于数据驱动的整车轮心载荷预测方法。对比试验结果表明,该方法预测的整车轮心载荷与试验场采集数据非常接近,有利于逐步取消路谱采集试验并极大地提高整车耐久性分析的效率。

基于CNN-BiLSTM-HAN混合神经网络的高校图书馆社交网络平台细粒度情感分析

[目的/意义]从高校图书馆社交网络平台用户评论数据挖掘角度出发,对用户评论情感极性进行细粒度分析,为高校图书馆了解用户真实情感倾向并提升服务质量提供科学依据。[方法/过程]以国内高校图书馆社交网络平台用户中文评论数据为研究对象,通过Tensor Flow深度学习框架,利用Keras人工神经网络库,将卷积神经网络(Convolution Neural Network,CNN)和双向长短时记忆网络(Bidirectional Long Short Term Memory,BiLSTM)结合,并引入层次化注意力机制(Hierarchical Attention,HAN),构建基于CNN-BiLSTM-HAN混合神经网络的情感分析模型。[结果/结论]利用真实高校图书馆社交网络平台用户评论数据集进行实验,本文方法取得93.38%的准确率,结果表明本文模型的有效性。模型较为复杂,导致模型训练时间上较长,方法模型的普适性有待进一步检验,表情符号信息没有得到有效利用,参数设置尚需进一步研究。

结合全局向量特征的神经网络依存句法分析模型

利用时序型长短时记忆(LSTM,long short term memory)网络和分片池化的卷积神经网络(CNN,convolutional neural network),分别提取词向量特征和全局向量特征,将2类特征结合输入前馈网络中进行训练;模型训练中,采用基于概率的训练方法。与改进前的模型相比,该模型能够更多地关注句子的全局特征;相较于最大化间隔训练算法,所提训练方法更充分地利用所有可能的依存句法树进行参数更新。为了验证该模型的性能,在宾州中文树库(CTB5,Chinese Penn Treebank 5)上进行实验,结果表明,与已有的仅使用LSTM或CNN的句法分析模型相比,该模型在保证一定效率的同时,能够有效提升依存分析准确率。

基于改进时空残差卷积神经网络的城市路网短时交通流预测

城市路网交通流预测受到历史交通流和相邻路口交通流的影响,具有复杂的时空关联性。针对传统时空残差模型缺乏对交通流数据进行相关性分析、捕获微小变化而容易忽略长期时间特征等问题,提出一种基于改进时空残差卷积神经网络(CNN)的城市路网短时交通流预测模型。该模型将原始交通流数据转化成交通栅格数据,利用皮尔逊相关系数(PCC)对交通栅格数据进行相关性分析,确定相关性高的周期序列和邻近序列;同时,建立周期序列模型和邻近序列模型,并引入长短时记忆(LSTM)网络作为混合模型提取时间特征以及捕获两种序列的长期时间特征。利用成都市出租车数据集对模型进行验证,结果表明该模型预测结果优于LSTM、CNN和传统残差模型等基准模型,以均方根误差(RMSE)为评价指标时,所提模型将测试集中交通路网的平均预测精度分别提高了25.6%、13.3%和3.2%。

基于混合神经网络的中文隐式情感分析

隐式情感分析是情感计算的重要组成部分,尤其是基于深度学习的情感分析近年来成为了研究热点.本文利用卷积神经网络对文本进行特征提取,结合长短期记忆网络(LSTM)结构提取上下文信息,并且在网络中加入注意力机制,构建一种新型混合神经网络模型,实现对文本隐式情感的分析.混合神经网络模型分别从单词级和句子级的层次结构中提取更有意义的句子语义和结构等隐藏特征,通过注意力机制关注情绪贡献率较大的特征.该模型在公开的隐式情感数据集上分类准确率达到了77%.隐式情感分析的研究可以更全面地提高文本情感分析效果,进一步推动文本情感分析在知识嵌入、文本表示学习、用户建模和自然语言等领域的应用.

基于CRT机制混合神经网络的特定目标情感分析

特定目标情感分析的目的是从不同目标词语的角度来预测文本的情感,关键是为给定的目标分配适当的情感词。当句子中出现多个情感词描述多个目标情感的情况时,可能会导致情感词和目标之间的不匹配。由此提出了一个CRT机制混合神经网络用于特定目标情感分析,模型使用CNN层从经过BiLSTM变换后的单词表示中提取特征,通过CRT组件生成单词的特定目标表示并保存来自BiLSTM层的原始上下文信息。在三种公开数据集上进行了实验,结果表明,该模型在特定目标情感分析任务中较之前的情感分析模型在准确率和稳定性上有着明显的提升,证明CRT机制能很好地整合CNN和LSTM的优势,这对于特定目标情感分析任务具有重要的意义。

基于神经网络模型的影评情感分析研究

随着网络的不断发展,越来越多的人们在网络中发表自己的言论,这些带有情感性的文本能够反映出人们的意见信息,对这些文本进行情感分析研究是文本分类的一个重要任务。文中提出了一种加入注意力机制的联合神经网络(convolutional neural network+long shout-term memory,CNN+LSTM)模型,在互联网电影资料库(internet movie database,IMDB)电影评论数据集上进行实验,设置了两组对比试验,结果表明新模型具有更高的分类准确率,证明了此方法的可行性,为进一步研究优化情感分析模型提供了参考。

基于神经网络的文本情感分析技术优化改进

本文针对基于卷积神经网络(CNN)的文本情感分析,通过与双向长短期记忆神经网络(Bi LSTM)进行融合,建立了本文模型。为了确保设计的文本情感分析模型能够满足要求,使用谭松波酒店评论语料和IMDB英文评论语料进行实验验证,实验结果表明,设计的模型明显比现有的分析模型在精确率和召回率方面具有明显的优势。

基于并行计算的网络舆情数据分析方法研究

随着各类社交平台规模的扩大,网络舆情对在校学生的影响也越来越大。而传统舆情数据分析系统仅能对少量舆情数据进行分析,无法快速、准确地处理当前海量的舆情数据。针对这一问题,文中通过对舆情数据进行特征识别,设计了一套基于Hadoop架构的网络舆情数据分析系统。在该系统中,通过将CNN与BiLSTM加以融合来实现对舆情数据的分类识别,进而解决了单一算法无法获取文本上下文含义的问题。同时,该设计还将算法部署在Hadoop并行计算集群中,从而有效增加了数据的训练速度。实验结果表明,所提方法在所有对比算法中性能最优,且显著提升了算法的迭代速度,并可有效解决传统算法无法处理海量文本数据的缺陷。

中文长短期记忆网络的情感分析

文中探讨了循环神经网络(RNN)在文本情感分析中的应用,并提出了一种新的混合模型一一LSTM-CNN文本情感分析模型,它融合了长短时记忆网络(LSTM)和卷积神经网络(CNN)的优势,可以更好地处理文本数据中的上下文信息和局部特征。为了验证模型的有效性,文中使用开源爬虫工具抓取了《流浪地球2》的豆瓣评论构建数据集,然后对所提模型进行了训练和测试。结果表明,当词向量维度为100时,模型的性能达到最优,此时的精确率、召回率、F1值和准确率分别为84.2%,88.6%,86.2%和90.0%,证实了该模型在文本情感分类任务上的优越性。

基于OI-LSTM神经网络结构的人类动作识别模型研究

随着手机传感器的普遍使用,对人体日常行为动作识别需求越来越多,经典识别方法是利用启发式过程获得人工特征,再用机器学习方法识别动作。最新研究表明,Inception卷积结构在特征自动提取方面表现尤为突出,可避免人工提取特征带来的偏差问题。人体动作由复杂运动序列构成,捕捉该时间序列是动作识别必不可少的。基于此,首先对Inception结构进行了优化,提出了O-Inception结构,并将其与长短期记忆模型(long short term memory,LSTM)进行了融合,进而提出了OI-LSTM(optimization Inception-LSTM)动作识别模型。OI-LSTM模型一方面可以利用O-Inception结构实现对特征的自动提取,另一方面,还可以利用LSTM捕获动作时序,进而提高了动作识别准确率。在WISDM(wireless sensor data mining)和UCI(UC Irvine)两个数据集上进行了扩展性实验,实验结果表明,所提出的OI-LSTM动作识别模型,在WISDM和UCI两个数据集上其准确率比当前最先进的方法分别提高了约4%和1%。实验还证明,此模型拥有很强的容错性和实时性。