双U型门控网络融合非局部先验的图像压缩感知重建方法

针对目前基于非迭代式网络的图像压缩感知重建方法存在着细节处理能力不足以及测量值利用不充分的问题,提出了一种双U型门控网络(dual U-shaped gated network, DUGN)用于图像压缩感知重建。该方法在原有的U型结构网络的基础上进行了改进,提升了U型结构网络在压缩感知任务中的学习能力。在测量值的利用上,结合交叉注意力机制,提出了一种测量值非局部融合模块(measurements non-local fusion, MNLF),用于将测量值中的非局部信息融合到深层网络中,指导网络进行重建,提升模型性能。此外,在基本模块的设计上,提出了窗口门控网络模块(window gated network, WGN),增强了网络的细节处理能力。实验结果表明,与已有的压缩感知重建方法相比,DUGN在Set11数据集上有着更高的PSNR和SSIM,且在图像重建的真实性上有着更好的表现。

基于领域信息和自定义门控网络的网络谣言实时检测方法

[研究目的]近年来网络谣言乱象频出,严重扰乱社会秩序,影响社会稳定。提高网络谣言实时检测方法的准确性,可以帮助公安机关有效治理网络谣言,营造清朗有序的网络环境。[研究方法]提出一种基于领域信息和自定义门控网络的网络谣言实时检测模型CGCRD。模型将多个领域谣言的检测工作视为不同任务,以谣言的内容特征作为主要输入,并补充其领域信息;使用共享专家和独有专家集中学习个性化信息,同时利用多个领域的泛化信息获得更多的信息增益,最终将网络谣言的领域、共有和独有特征加权融合得到嵌入表示,判断是否为谣言。[研究结论]该研究构建了适用于网络安全管理工作的中文多领域谣言数据集RUM-PC23,在该数据集上的实验结果表明,提出的CGCRD模型能够满足公安机关对网络谣言检测工作实时性和准确性的要求,且优于当前的基准模型。

三维点云分类分割门控网络改进

针对三维点云特征提取困难的问题,提出一种以门控网络(GateNet)为基础的PointNet++改进网络,通过抑制无关特征,强调重要特征,自适应校准网络内部特征,达到增强局部特征的目的。将门控网络、挤压激励、注意力机制等引入PointNet++点云分类分割网络,提高分类分割精度,在数据集ModelNet、ShapeNet和S3DIS上进行实验。实验结果表明,改进网络提高了总体分类精度(OA)和均交并比(mIoU),结果优于PointNet++网络,时间更快。

基于编码器共享和门控网络的生成式文本摘要方法

结合基于自注意力机制的Transformer模型,提出一种基于编码器共享和门控网络的文本摘要方法。该方法将编码器作为解码器的一部分,使解码器的部分模块共享编码器的参数,同时使用门控网络筛选输入序列中的关键信息。相对已有方法,所提方法提升了文本摘要任务的训练和推理速度,同时提升了生成摘要的准确性和流畅性。在英文数据集Gigaword和DUC2004上的实验表明,所提方法在时间效率和生成摘要质量上,明显优于已有模型。

基于注意力机制和门控网络相结合的混合推荐系统

将用户评论和用户评分相结合来提升推荐系统的性能是推荐系统当前主流的研究方向,但是当用户评论数据稀疏时,现有的大多数推荐系统的性能会出现一定幅度的下降。针对这一问题,文中提出了一种结合注意力机制和门控网络形成的混合推荐系统(Attention Mechanism and Gating Network-based Recommendation System,AMGNRS)。该模型利用志趣相投的用户所产生的辅助评论来缓解用户评论的稀疏性问题,首先将多种混合注意力机制相结合来提高提取用户评论及评分的特征的效率,然后通过门控网络自适应地融合提取的特征并选出与用户偏好最相关的特征,最后利用神经因子分解机的高阶线性相互作用来推导评分预测。将所提模型与当前表现优异的模型在3个真实数据集上进行了对比实验,结果表明,所提模型显著地缓解了数据的稀疏性问题,验证了其有效性。

基于改进子任务门控网络的非侵入居民负荷分解

非侵入负荷分解对挖掘用户侧能源需求具有重要意义。但是,目前功率分解模型收敛困难且推理周期计算量大。研究了基于序列到子序列和子任务门控网络(SGN)的非侵入负荷分解模型。首先,采用序列到子序列的方法构建子任务门控网络,将功率分解回归任务和电器状态分类任务相结合,实现主电源序列到目标电器子序列的映射;然后添加通道注意力模块和空间注意力模块提高模型的特征提取能力。基于UK-dale数据集的实验结果表明,该方法不仅减小了模型收敛的困难度和推理周期的计算量,而且显著提高了分解的精度。

基于门控网络的军事装备控制指令语音识别研究

军事装备无感控制是军事装备智能化建设进程中的一个重要研究方向,其中语音控制技术作为无人装备无感控制手段的关键组成部分,受到了越来越多的重视。为完成军事装备语音控制任务,设计一种基于门控网络的中文语音识别网络,并构建军事装备控制指令数据集,实现基于控制指令语音识别技术的军事装备控制。在传统卷积神经网络的结构基础上引入深度残差门控卷积网络,提高识别网络的准确性,同时通过多途径构建军事装备控制指令数据集,设计一套针对军事装备无感控制的语音识别方案。实验结果表明,该语音识别网络军事语音控制指令识别率可达87%,外接语言模型后可达92%,语音识别准确率高、误差率低,可完成军事装备的语音控制任务。

基于门控图游走网络的推荐多样性研究

近年来,纯粹追求准确性的推荐算法已不再符合用户日益增长的多元化需求.因为该类算法将所有用户同等对待,导致推荐结果趋于单一化.从推荐系统的多样性角度出发,提出由两路图游走网络和门控网络组成的门控图游走网络.图游走网络在原有邻域上扩展一类新邻域,聚合两类邻域的信息,从而生成偏向准确性或多样性的推荐结果.门控网络对两个不同偏好推荐结果进行选择,得到最终推荐结果.不同于其他推荐多样性算法,门控图游走网络的推荐结果准确性-多样性比例可由超参数λ调整,而不是完全由算法决定.3个真实数据集的实验结果验证了门控图游走网络在多样化整体协作推荐方面的有效性.

基于改进门控循环神经网络的采煤机滚筒调高量预测

采煤机自适应截割技术是实现综采工作面智能化开采的关键技术。针对采煤机在复杂煤层下自动截割精度较低的问题,提出了一种基于改进门控循环神经网络(GRU)的采煤机滚筒调高量预测方法。鉴于截割轨迹纵向及横向相邻数据之间的相关性,采用定长滑动时间窗法对获取的采煤机滚筒高度数据进行预处理,将输入数据划分为连续、大小可调的子序列,同时处理横向、纵向的特征信息。为提高模型预测效率,满足循环截割的实时性要求,提出了一种用因果卷积改进的门控循环神经网络(CC-GRU),对输入数据进行双重特征提取和双重数据过滤。CC-GRU利用因果卷积提前聚焦序列纵向的局部时间特征,以减少计算成本,提高运算速度;利用门控机制对卷积得到的特征进行序列化建模,以捕捉元素之间的长期依赖关系。实验结果表明,采用CC-GRU模型对采煤机滚筒调高量进行预测,平均绝对误差(MAE)为43.80 mm,平均绝对百分比误差(MAPE)为1.90%,均方根误差(RMSE)为50.35 mm,决定系数为0.65,预测时间仅为0.17 s;相比于长短时记忆(LSTM)神经网络、GRU、时域卷积网络(TCN),CC-GRU模型的预测速度较快且预测精度较高,能够更准确地对采煤机调高轨迹进行实时预测,为工作面煤层模型的建立和采煤机调高轨迹的预测提供了依据。

混合图神经网络和门控循环网络的短期光伏功率预测

为了能从大量历史光伏发电数据中提取出有效的时序特征以及在非欧几里得域中的关联,建立了基于混合图神经网络以及门控循环网络的短期光伏功率预测模型。该模型首先通过最邻近分类算法生成气象及出力数据的最邻近图,再将其结合图神经网络作为编码器对气象及出力数据进行编码形成时间序列,最后通过门控循环网络以及全连接层解码输出光伏功率预测结果。通过仿真分析验证,该模型具有更优的特征挖掘能力和分析性能,能更好地突出某时间节点的气象及出力数据特征,适应天气突变带来特征变化,从而提升光伏预测整体模型的表达能力。

基于门控循环单元网络的钻井井漏智能监测方法

井漏是钻井过程中常见的钻井风险,若对该风险发现、处理不及时,极易导致井塌事故,轻则延长施工周期,重则危害现场人员人身安全。为了提高油气井钻井过程中井漏风险识别的准确性,降低风险识别对人为经验的依赖,结合钻井参数的非线性以及长时依赖特征,提出了一种基于门控循环单元(Gated Recurrent Unit,GRU)网络的井漏风险智能识别方法。该模型以池体积、出口流量和立管压力作为监测参数构建GRU网络,能够提取监测参数的时间序列特征,以实现对井漏风险的准确识别。利用现场实测钻井数据对模型进行了实验测试,结果表明,该方法对井漏风险的识别准确率达到了90.1%,优于长短期记忆网络的识别结果。

融合时序门控图神经网络的兴趣点推荐方法

现有的大多数兴趣点(point of interest,POI)推荐系统由于忽略了用户签到序列中的顺序行为模式,以及用户的个性化偏好对于POI推荐的影响,导致POI推荐系统性能较低,推荐结果不可靠,进而影响用户体验。为了解决上述问题,提出一种融合时序门控图神经网络的兴趣点推荐方法。运用时序门控图神经网络(temporal gated graph neural network,TGGNN)学习POI embedding;采用注意力机制捕获用户的长期偏好;通过注意力机制融合用户的最新偏好和实时偏好,进而捕获用户的短期偏好。通过自适应的方式结合用户的长期和短期偏好,计算候选POI的推荐得分,并根据得分为用户进行POI推荐。实验结果表明,与现有方法相比,该方法在召回率和平均倒数排名这两项指标上均有较为明显的提升,因此可以取得很好的推荐效果,具有良好的应用前景。

基于门控循环注意力网络的配电网故障识别方法

为了提高小样本条件下配电网故障辨识准确率,提出一种门控循环注意力网络模型.首先,通过注意力机制赋予故障相中关键周期较高权重,通过加权运算使得模型更加关注上述关键信息.其次,利用门控循环网络处理波形序列,该网络利用门控信号控制记忆传递过程,并借由记忆传递建立序列中不同阶段输入波形和故障类别概率间的关系,从而提升识别准确率.基于仿真数据和实际数据的实验均表明:所提方法在小样本条件下的可靠性和准确率远优于同等条件下支持向量机、梯度提升决策树、卷积神经网络等常用分类模型,为配电网故障辨识技术提供了一种新思路.

基于掩码提示与门控记忆网络校准的关系抽取方法

针对关系抽取(RE)任务中实体关系语义挖掘困难和预测关系有偏差等问题,提出一种基于掩码提示与门控记忆网络校准(MGMNC)的RE方法。首先,利用提示中的掩码学习实体之间在预训练语言模型(PLM)语义空间中的潜在语义,通过构造掩码注意力权重矩阵,将离散的掩码语义空间相互关联;其次,采用门控校准网络将含有实体和关系语义的掩码表示融入句子的全局语义;再次,将它们作为关系提示校准关系信息,随后将句子表示的最终表示映射至相应的关系类别;最后,通过更好地利用提示中掩码,并结合传统微调方法的学习句子全局语义的优势,充分激发PLM的潜力。实验结果表明,所提方法在SemEval(SemEval-2010 Task 8)数据集的F1值达到91.4%,相较于RELA(Relation Extraction with Label Augmentation)生成式方法提高了1.0个百分点;在SciERC(Entities, Relations, and Coreference for Scientific knowledge graph construction)和CLTC(Chinese Literature Text Corpus)数据集上的F1值分别达到91.0%和82.8%。所提方法在上述3个数据集上均明显优于对比方法,验证了所提方法的有效性。相较于基于生成式的方法,所提方法实现了更优的抽取性能。

采用门控循环单元神经网络和多特征融合的铣削刀具磨损监测

为实现汽车发动机缸盖生产中刀具磨损状态的监测,提高刀具磨损监测方法的计算效率和识别精度,基于门控循环单元神经网络和多特征融合方法提出了面向铣刀后刀面磨损带宽度识别的刀具状态监测方法。通过铣削力信号数据对所提出方法的有效性进行了验证,分析了不同超参数设置对模型识别精度的影响机制,给出了最优超参数,实现了对铣削刀具磨损的精确识别。

基于门控循环网络的故障诊断方法研究

核动力装置具有内反馈和强耦合的特征,使得内部工况环境复杂,一旦出现异常则更有可能发生高风险事故。为了提高核动力装置运行的安全性,论文提出了一种基于门控循环网络的故障诊断方法,该方法利用核动力装置运行过程中产生的数据进行瞬态特征与时变特征的提取,通过梯度提升树算法和门控循环网络算法进行联合诊断。实验结果表明,与其他模型相比,该模型能够更加准确地判断每一个故障,故障诊断的准确率达到99.9%以上。

不平衡数据下基于改进门控卷积网络的轴承故障诊断

深度学习在滚动轴承故障诊断中具有广泛的应用,然而,现实中的监测数据往往具有不平衡性,这就会对模型的诊断性能产生很大影响。因此,提出一种基于改进门控卷积神经网络(Improved Gated Convolutional Neural Network,IGCNN)的故障诊断方法,用于数据不平衡条件下的故障诊断。首先,提出改进门控卷积层以增强特征提取能力,通过批量归一化技术提高模型的泛化能力。然后,使用标签分布感知边界(Label-distribution-aware Margin,LDAM)损失函数提高模型对少数类的敏感度,减小数据不平衡对模型的影响。将所提算法应用在两组故障轴承数据上,在数据不平衡率为20:1的情况下,所提算法仍然可达到92.71%和94.47%的故障识别率,而对比的其他主流深度学习模型在该情况下只有60%~72%的准确率,表明所提方法在数据集严重不平衡情况下具有很强的诊断能力和鲁棒性。

基于多头注意力机制和门控循环单元神经网络的居民充电桩容量预测

居民充电桩的容量预测可为其定容选址提供参考,助力实现“双碳”目标,为此提出了一种基于数据驱动的居民充电桩容量预测方法。首先,采集了居民充电桩的历史容量数据并进行预处理;其次,利用不同大小的时序窗口对其进行切片作为输入特征;最后,构建了结合多头注意力机制和门控循环单元神经网络的预测模型,将特征输入模型从而实现了对未来容量的精准预测。通过实例分析表明,该模型预测结果的平均绝对误差和均方根误差分别为33.19和102.14%,预测精度相较于其他模型有较大提升,为居民充电桩的容量预测提供了新思路。

基于变分模态分解和深度门控网络的径流预测

为提高水库中长期入库径流预测精度,提出变分模态分解、相空间重构和深度门控网络相结合的径流组合预测模型。首先对历史径流数据进行变分模态分解,产生多个模态分量;接着将分解得到的模态分量重构到高维特征空间,形成深度学习的输入;然后利用深度门控网络获取历史径流详细特征并进行预测;最后累加各模态分量的预测值完成重构。以白山水库为例,将所建模型分别与单一预测模型和其他组合预测模型进行对比分析。结果表明:所建模型能有效分解非平稳性的径流序列,充分学习内嵌的水文规律,预测误差最小,且在整个测试集上分布更为合理,拟合优度检验值最高。研究结果可为水库水资源规划管理提供技术依据。

基于门控卷积网络和自注意力网络的联合实体关系抽取

实体关系抽取是自然语言处理领域的一个重要任务,其目的是识别文本实体中的目标关系,为知识图谱等下游任务提供结构化数据,近年来得到了广泛关注及持续创新.目前相关实体关系抽取方法的性能已显著提升,如基于潜在关系和全局对应的实体关系抽取方法(PRGC),通过先引入关系判断模块,从而有效解决了关系识别存在冗余操作的问题,但该方法仍存在词特征信息不够丰富,模型泛化能力不强等问题.以PRGC为参考基准,本文提出了一种基于门控卷积网络(GCN)和自注意力网络的联合实体关系抽取方法(EREGS),在编码阶段结合GCN,有效捕获远距离实体特征并学习到更加抽象的特征表示,使模型能够更好地理解文本的语义信息,从而增强特征的提取能力和跨领域的泛化能力.在解码器部分,利用自注意神经网络,帮助模型正确捕捉实体间的关联性,从而提升关系判别的准确性.实验结果表明,本文所构建的模型在NYT语料库和WEBNLG语料库两个通用数据集上的F1值分别达到了93.7%和90.8%,优于所对比的联合实体关系抽取的基线模型.同时,本文在自建的胶质瘤医学数据集GMD上进行了实验验证,结果表明,该模型在医学专用领域也展现出较优的性能和泛化能力.