基于门循环单元神经网络的中文分词法

目前,学术界主流的中文分词法是基于字符序列标注的传统机器学习方法,该方法存在需要人工定义特征、特征稀疏等问题.随着深度学习的研究和应用的兴起,研究者提出了将长短时记忆(long short-term memory,LSTM)神经网络应用于中文分词任务的方法,该方法可以自动学习特征,并有效建模长距离依赖信息,但是该模型较为复杂,存在模型训练和预测时间长的缺陷.针对该问题,提出了基于门循环单元(gated recurrent unit,GRU)神经网络的中文分词法,该方法继承了LSTM模型可自动学习特征、能有效建立长距离依赖信息的优点,具有与基于LSTM神经网络中文分词法相当的性能,并在速度上有显著提升.

基于门循环单元神经网络模型的煤层底板突水动态预测

在煤层底板突水理论及现场实测数据分析基础上,建立了煤层底板突水影响因素突水指标,并通过Wrapper评价策略的特征选择,筛选出了影响煤矿底板突水的主控因素。在对动态的煤层底板突水门循环单元神经网络模型进行训练并完成构建之后,将其与三种静态神经网络预测模型进行比较。结果表明:煤层底板突水门循环神经网络模型预测的准确率在训练、验证及测试阶段都高于静态神经网络预测模型,能够很好地完成煤层底板突水预测,提高煤矿生产安全。

门循环单元预测模型在故障诊断中的应用

为了提高动力设备故障诊断的效率和精准度,提出了一种结合规则推理和改进门循环单元(improvement gate recurrent unit,I-GRU)预测模型的诊断系统。I-GRU算法通过对门循环单元算法的重置门、更新门共同点进行分析,改进了门循环单元算法的更新门,使得I-GRU算法比门循环单元算法在结构上有了一定的优化。利用工业生产数据预测后续数据趋势,通过预测数据趋势结合3σ标准的故障阈值判断出异常点,将各类信息进行关联规则挖掘出内在关系,通过产生式推理推导出关联故障信息,最终进行案例匹配获取解决方案。试验表明,提出的模型比其他诊断方法更高效、更准确。

基于卷积神经网络和简单循环单元集成模型的风电场内多风机风速预测

在传统风电场风速预测中,往往将风电场视作一个整体,进而给出较大空间尺度下的单一整体风速预测结果。但在实际风电场中,多台风机分布在不同的地理位置上,其各自的本地风速也存在明显差异。对此,该文提出一种通过学习历史风速和历史风向中空间相关性和时间相关性,从而实现不同地理位置上多风机各自本地风速的预测方法。该方法首先利用卷积神经网络(CNN)提取空间相关性信息,然后将蕴含空间信息的特征序列交由简单循环单元(SRU)处理,进而学习时间相关性信息。风速和三角函数化的风向构成类似于RGB图像结构的三维矩阵。CNN非常适合处理RGB图像类型的数据,故使用CNN提取多风机的风速和风向在同一个时刻下的空间信息。与其他循环神经网络相比,由于SRU可大幅减小计算代价,故使用SRU提取多风机的风速和风向随时间变化的动态信息。在实际风电场数据上的仿真测试表明:在多个不同的预测时域下,该方法与现有利用时空相关性的预测方法相比,不仅显著减小了计算代价,而且提高了预测的准确性。

口语理解中改进循环神经网络的应用

口语理解性能的提升对于口语对话系统的研究具有重要作用。为了提高口语理解性能,应用循环神经网络(RNN)及其变体(LSTM,GRU)方法。在此基础上,提出一种改进的循环神经网络(Modified-RNN)方法,该方法通过添加存储历史状态信息,能够存储更长时的信息,含有更少的参数,根据获取的更多信息提取特征信息增加获取信息的有效性,提高了口语理解的精准率和F1,缩短了实验时间。在航空旅行信息数据库(ATIS)上的实验结果验证了该算法的有效性和可靠性。

基于卷积门循环单元和气象雷达图像的临近降水预报

现有的深度神经网络预测模型主要是通过学习单一高度下的雷达回波图像序列的特征预测未来时间段回波序列。然而,这种模型并不能直接预测目标站点未来一段时间内的降水量。鉴于此,提出了一种基于卷积门循环单元(Convolutional Gated Recurrent Unit,ConvGRU)神经网络的临近降水预报模型。对目标站点不同高度的雷达回波图像做卷积,同一高度的卷积图像通过GRU(Gated Recurrent Unit)学习云团运动过程中的时序特征,将不同高度时序图像的学习特征聚合到全连接层中进行训练,输出目标站点未来1h~2h的降水量。实验分析表明,该模型在未来1h~2h的降水预报中取得了较好的预报精度。

应用门循环神经网络的变电站智能记录分析装置信息配置方法

为了节约人力资源,提高智能变电站二次设备数据输出端口地址信息在智能记录分析装置中的配置效率,提出了基于门循环单元神经网络的智能变电站二次设备端口地址信息的自动配置方法。首先,根据变电站二次设备端口描述文本的特点进行文本预处理;然后,利用word2vec模型对文本进行词向量表示及语义关联分析;最后,设计了基于门循环单元神经网络模型的文本分类器,并利用此模型对端口描述文本进行分类映射实验。实验结果表明,基于门循环单元神经网络模型的二次设备端口信息配置方法准确率高、速度快,能够适用于二次设备端口信息的自动化配置。

基于循环门单元和注意力机制的学生学习积极性预测模型

为了挖掘校园无线网络数据中蕴含的学生行为,更好地辅助教学管理,本文提出了基于循环门单元和注意力机制(gated recurrent unit-attention,GRU-Attention)的学生学习积极性预测模型。首先对采集到的学生行为轨迹数据进行预处理和聚类分析,根据学生在校园各个场所的平均逗留时间对学习积极性做出预判断。然后根据无线流量的连接频率及用途对学生行为特征数据进行二次判断,并引入学生学习成绩作为参考标准。最后将数据集输入到GRU信息提取层,并在Attention层进行加权处理,计算得出概率分布。实验结果表明,GRU-Attention模型准确度优于其他常见预测模型,可以更好地帮助辅导员去管理和引导学生树立良好的学习态度。

基于循环神经网络的船摇数据实时预测

航天测量船船体姿态数据实时预测具有重要的意义。针对测量船船摇运动建立了基于循环神经网络的预测模型,详细描述了适用于本文模型的船体姿态数据集构建以及预测模型的实现过程。在该模型的基础上,利用实测数据对船体姿态数据进行短时预测,并将预测结果与滤波方法进行了比较,实验结果验证了算法的有效性。

基于深层循环神经网络的陀螺仪降噪方法研究

陀螺仪固有的随机误差会随时间积累越来越大,循环神经网络作为一种有效处理时间序列信号的算法被广泛使用,然而传统的循环神经网络在处理陀螺仪产生的随机误差上无法解决长期依赖,容易出现梯度消失和梯度爆炸问题.为了获得精确的陀螺仪信号,本文基于循环神经网络变体的长短记忆网络和门循环单元的陀螺仪信号降噪算法,并创新性的将两种网络进行组合验证.文中先是通过Allan方差对陀螺仪随机误差进行误差分析,然后基于LSTM和GRU组合对陀螺仪输出信号进行补偿处理,结果表明LSTM结合GRU对陀螺仪的随机误差处理有明显改善,其中X、Y、Z轴方向陀螺仪的量化噪音、角度随机游走、零偏不稳定性、角速度游走和速度斜坡性能均有不同程度的提升.

基于混合门单元的非平稳时间序列预测

非平稳多变量时间序列(non-stationary multivariate time series, NSMTS)预测目前仍是一个具有挑战性的任务.基于循环神经网络的深度学习模型,尤其是基于长短期记忆(long short-term memory, LSTM)和门循环单元(gated recurrent unit, GRU)的神经网络已获得了令人印象深刻的预测性能.尽管LSTM结构上较为复杂,却并不总是在性能上占优.最近提出的最小门单元(minimal gated unit, MGU)神经网络具有更简单的结构,并在图像处理和一些序列处理问题中能够提升训练效率.更为关键的是,实验中我们发现该门单元可以高效运用于NSMTS的预测,并达到了与基于LSTM和GRU的神经网络相当的预测性能.然而,基于这3类门单元的神经网络中,没有任何一类总能保证性能上的优势.为此提出了一种线性混合门单元(MIX gated unit, MIXGU),试图利用该单元动态调整GRU和MGU的混合权重,以便在训练期间为网络中的每个MIXGU获得更优的混合结构.实验结果表明,与基于单一门单元的神经网络相比,混合2类门单元的MIXGU神经网络具有更优的预测性能.

基于OARO-GRU网络的高频地波雷达电离层杂波短期预测

电离层杂波的精确预测对提升高频地波雷达的目标探测性能具有重要推动作用。为此,提出了一种基于改进人工兔子算法优化门控循环单元(Opposite Artificial Rabbits Optimization optimized Gated Recurrent Unit,OARO-GRU)网络的电离层杂波短期预测模型。首先,依据高频地波雷达接收到的电离层杂波具有混沌特性这一先验知识,通过相空间重构技术构造GRU网络的输入和输出样本集;然后,融入反向学习和柯西变异两种改进策略用于改善标准ARO的寻优能力,并将其用于执行GRU网络的包含隐层节点个数、初始学习速率和最大迭代次数在内的三个超参数值的优选;最后,重新训练优化后的GRU网络,输入测试样本集进行测试,并依据给定的评价指标评估模型。实测结果表明:相较于其他7种对照模型,所提出的OARO-GRU网络预测模型在预测精度和可靠性上均具有明显的优越性,为有效改善高频地波雷达的目标探测性能提供了一种新的思路与方法。

基于IAVOA-GRU网络的高频地波雷达电离层杂波预测

电离层杂波的精确预测对提升高频地波雷达的探测性能具有重要作用。提出了一种基于改进非洲秃鹫优化算法优化门控循环单元(Improved African Vultures Optimization Algorithm Optimization Gated Recurrent Unit,IAVOA-GRU)网络的电离层杂波预测方法。首先,依据电离层杂波的混沌特性,通过相空间重构方法对接收到的电离层杂波进行相空间重建,构建GRU网络的输入、输出样本集;然后,利用IAVOA对GRU网络的隐层节点数、迭代次数及初始学习速率3个超参数值执行优选;最后,重新训练优化后的GRU网络,并进行预测。实测结果表明,相较其他6种对比预测模型,所提出的IAVOA-GRU网络模型具有较高的预测精度和可靠性,为有效改善高频地波雷达的探测性能提供了一种思路和方法。

一种基于GRU的半监督网络流量异常检测方法

入侵检测系统(IDS)是在出现网络攻击时能够发出警报的检测系统,检测网络中未知的攻击是IDS面临的挑战。深度学习技术在网络流量异常检测方面发挥着重要的作用,但现有的方法大多具有较高的误报率且模型的训练大多使用有监督学习的方式。为此,提出了一种基于门循环单元网络(GRU)的半监督网络流量异常检测方法(SEMI-GRU)。该方法将多层双向门循环单元神经网络(MLB-GRU)和改进的前馈神经网络(FNN)相结合,采用数据过采样技术和半监督学习训练方式,应用二分类和多分类方式检验网络流量异常检测的效果,并使用NSL-KDD,UNSW-NB15和CIC-Bell-DNS-EXF-2021数据集进行验证。与经典机器学习模型和DNN,ANN等深度学习模型相比,SEMI-GRU方法在准确率、精确率、召回率、误报率和F1分数等指标上的表现均表现更优。在NSL-KDD二分类和多分类任务中,SEMI-GRU在F1分数指标上领先于其他方法,分别为93.08%和82.15%;在UNSW-NB15二分类和多分类任务中,SEMI-GRU在F1分数上的表现优于对比方法,分别为88.13%和75.24%;在CIC-Bell-DNS-EXF-2021轻文件攻击数据集二分类任务中,SEMI-GRU对所有测试数据均分类正确。

基于图卷积网络的归纳式微博谣言检测新方法

为了解决传统图卷积神经网络在进行谣言检测时面临的未充分考虑单词语义信息以及池化方法选择困难的问题,提出基于图卷积网络(GCN)的归纳式微博谣言检测新方法.考虑单词之间的语义关系,结合传统词共现建图方法提出基于词语义相关性的微博事件建图方法,并结合图卷积网络和门循环单元(GRU)实现节点信息聚合;为了有效融合不同节点状态的特征信息,提出基于注意力机制的多池化方法融合策略融合最大池、平均池和全局池以获取最终的图级向量;为了提高微博谣言检测效率,探究微博评论时间对检测结果的影响,获得用于模型训练的最佳评论利用时间阈值.实验结果表明,本研究方法在给定数据集上的表现普遍优于Text-CNN、BiGCN、TextING等典型方法,验证了其在微博谣言检测领域的有效性.

基于GRU与特征嵌入的网络入侵检测

当前基于神经网络的入侵检测方法并没有将数据分类信息考虑在内,无法有效利用网络流量数据的时序信息,为此将门控循环单元(gated recurrent unit,GRU)和基于分类信息的特征嵌入技术结合起来,构建了基于GRU与特征嵌入的网络入侵检测模型。利用UNSW-NB15数据集进行模型仿真实验,结果表明该模型提高了对入侵攻击的检测率,为入侵检测中大规模数据的处理提供了一种全新的思路。

双通道混合神经网络的文本情感分析模型

大多数文本情感分析方法不能有效地反映文本序列中不同单词的重要程度,并且不能获得足够的文本信息。提出了一种双通道混合神经网络的文本情感分析模型,混合神经网络层在胶囊网络(Capsule Network)模型和双向门限循环单元(BiGRU)模型之后分别引入注意力机制,使其自适应地感知上下文信息并提取影响文本情感分析的文本特征,将两种模型提取的特征进行融合。将两种不同的词向量经过混合神经网络层得到的结果进一步融合,由Softmax分类器进行分类。在三个标准数据集上的实验结果证明了该模型的有效性。

融合BiGRU和记忆网络的会话推荐算法

为消除噪声、充分使用邻域信息并考虑用户动态兴趣,提出一种融合BiGRU和记忆网络的会话推荐模型。使用BiGRU捕获会话总体特征,使用另一个加入缩放点积自注意力的BiGRU消除噪声项的干扰并捕获细粒度的用户兴趣,使用记忆网络通过邻域会话信息预测当前的会话意图,改进融合选通门进行特征融合并计算每个候选项的推荐分数。通过在两个数据集上的实验,验证了该模型能够准确预测用户意图,提高推荐效果。

结合门循环单元和生成对抗网络的图像文字去除

目的图像文本信息在日常生活中无处不在,其在传递信息的同时,也带来了信息泄露问题,而图像文字去除算法很好地解决了这个问题,但存在文字去除不干净以及文字去除后的区域填充结果视觉感受不佳等问题。为此,本文提出了一种基于门循环单元(gate recurrent unit,GRU)的图像文字去除模型,可以高质量和高效地去除图像中的文字。方法通过由门循环单元组成的笔画级二值掩膜检测模块精确地获得输入图像的笔画级二值掩膜;将得到的笔画级二值掩膜作为辅助信息,输入到基于生成对抗网络的文字去除模块中进行文字的去除和背景颜色的回填,并使用本文提出的文字损失函数和亮度损失函数提升文字去除的效果,以实现对文字高质量去除,同时使用逆残差块代替普通卷积,以实现高效率的文字去除。结果在1080组通过人工处理得到的真实数据集和使用文字合成方法合成的1000组合成数据集上,与其他3种文字去除方法进行了对比实验,实验结果表明,在峰值信噪比和结构相似性等图像质量指标以及视觉效果上,本文方法均取得了更好的性能。结论本文提出的基于门循环单元的图像文字去除模型,与对比方法相比,不仅能够有效解决图像文字去除不干净以及文字去除后的区域与背景不一致问题,并能有效地减少模型的参数量和计算量,最终整体计算量降低了72.0%。

基于BERT的双通道神经网络模型文本情感分析研究

针对当前情感分析任务中使用Word2Vec、GloVe等模型生成的文本词向量,无法有效解决多义词表征、经典神经网络模型无法充分提取文本语义特征等问题,本文提出基于BERT的双通道神经网络模型文本情感分析方法。该方法采用BERT模型生成词向量,BERT模型对下游分类任务进行微调的过程中生成文本词向量的动态表征。然后,将词向量输入由CNN与BiGRU构建的双通道模型进行特征提取,并行获取文本的局部与全局语义特征,并通过注意力机制为输出特征分配相应的权重分值,突出文本的情感极性。最后将双通道输出特征融合进行情感分类。在酒店评论数据集上进行实验,结果表明本文模型与文本情感分析的基线模型相比,在准确率与F;分值上分别提高了3.7%和5.1%。