门控递归神经网络处理不规则时间序列数据综述

随着多传感器系统的发展以及非结构化手工数据记录机制的持续使用,不规则时间序列数据越来越普遍。不规则数据和由此产生的缺失值严重限制了对数据进行分析和建模以完成分类和预测任务的能力。通常情况下,用于处理时间序列数据的传统方法会引起偏差,并对底层数据的生成过程进行强假设,这可能会导致较差的模型预测结果。传统的机器学习和深度学习方法虽仍处于数据建模的前沿,但最多只能受到不规则时间序列数据集的影响,无法对不完整时间序列的时间不规则性进行建模。门控递归神经网络(RNN),如LSTM和GRU,在序列建模方面取得了突出的成绩,并在许多应用领域得到了应用,如自然语言处理。这些模型已成为时间序列建模的良好选择,也是处理不规则时间序列数据的重要工具。文中重点介绍了处理不规则时间序列数据的两种常用方法,即在数据预处理阶段输入缺失值以及在学习过程中修改算法从而直接处理缺失值,旨在介绍这一研究分支中出现的有效的技术,以便研究人员创造出进一步处理不规则时间序列数据的新技术。

基于门控递归单元神经网络的高速公路行程时间预测

为了更高效地预测高速公路行程时间,以高速公路行程时间为研究对象,通过采集车辆在高速公路进出口收费站的刷卡数据获取行程时间,利用门控递归单元神经网络对行程时间进行预测.按照所设计的预测流程,利用广州市机场高速南线高速公路收费数据进行验证,结果显示,预测拟合效果较好,并与LSTM神经网路和BP神经网络进行了对比分析.结果表明:门控递归单元神经网络具有更好的预测准确度.

门控递归单元神经网络坐标变换盲均衡算法

针对数字信号传输过程中的码间干扰问题,提出了门控递归单元神经网络坐标变换盲均衡算法(GRUNN-CT-CMA).首先,在递归神经网络基础上加入门控结构,使门控递归单元神经网络(GRUNN)对长时间跨度信息的感知能力更强、记忆力更持久.其次,在GRUNN中引入坐标变换得到的盲均衡算法,进一步降低了稳态误差、加快了代价函数收敛速度.结果表明,与常模盲均衡算法(CMA)和延迟单元递归神经网络盲均衡算法(BRNN-CMA)相比,GRUNN-CT-CMA在均衡高阶多模信号时,稳态误差最小、收敛速度最快、输出信号星座图最清晰.

基于门控递归神经网络的电网日峰值负荷预测

日峰值负荷作为非线性、非平稳且波动的时间序列,难以准确预测。提出了一种结合动态时间规整(DTW)的门控递归神经网络(GRNN)用于准确预测日峰值负荷。利用DTW距离用于匹配最相似的负荷曲线,可以捕捉负荷变化趋势。采用热编码方案对离散变量进行编码,扩展其特征从而表征对负荷曲线的影响。提出了一种基于DTW的门控递归单元(DTW-GRU)算法用于日峰值负荷预测,并在欧洲智能技术网络(EUNITE)数据集上进行了测试。仿真结果表明,与其他算法相比,该算法的MAPE仅为1.01%。

逻辑门控递药系统用于肿瘤免疫治疗前沿进展

免疫治疗已经逐渐成为癌症治疗的主流疗法之一。然而,由于肿瘤免疫抑制的生理环境,导致免疫细胞抗原的提取呈递能力较弱,细胞毒性T细胞的浸润激活不充分。并且,患者的个体差异和缺乏靶向的治疗分布会引发过度免疫激活或免疫抑制等不良反应,导致免疫疗法对实体瘤的治疗效果并不理想。近年来,有许多学者将聚合物、核酸、细胞等具有根据信号输入进行逻辑处理能力的单元设计成免疫疗法的平台,使治疗平台在靶向肿瘤部位后,根据多种来自肿瘤微环境或外界信号输入进行逻辑处理,来达到时空可控的治疗目的。本文简要概述了基于合成纳米载体、核酸和嵌合抗原受体T细胞设计的逻辑门控治疗平台和其在肿瘤免疫治疗中的研究进展,并对各类平台的优缺点进行了总结和展望。

基于递归门控卷积的遥感图像超分辨率研究

由于受到硬件条件的限制,通常难以获得具有高分辨率(HR)的遥感图像。利用单幅图像超分辨率(SISR)技术对低分辨率(LR)遥感图像进行超分辨率重建是获取高分辨率遥感图像的常用方法。近年来,在图像超分辨率领域引入的卷积神经网络(CNN)改进了图像重建性能。然而,现有的基于CNN的超分辨率模型通常使用低阶注意力机制提取深层特征,其表征能力有待提高,且常规卷积的感受野有限,缺乏对远距离依赖关系的学习。为了解决以上问题,提出了一种基于递归门控卷积的遥感图像超分辨率方法RGCSR。该方法引入递归门控卷积g n Conv学习全局依赖和局部细节,通过高阶空间交互来获取高阶特征。首先,使用由高阶交互子模块(HorBlock)和前馈神经网络(FFN)组成的高阶交互——前馈神经网络模块(HFB)提取高阶特征。其次,利用由通道注意力(CA)和g n Conv构建的特征优化模块(FOB)优化各个中间模块的输出特征。最后,在多个数据集上的对比结果表明,RGCSR比现有的基于CNN的超分辨率方法具备更好的重建性能和视觉效果。

基于Res2Net和递归门控卷积的细粒度图像分类

提取图像中具有判别性的区域在细粒度图像分类中起着至关重要的作用。现有的细粒度图像分类方法忽视图像多尺度信息以及相邻空间位置信息交互作用,难以准确提取细微特征,并且传统的CNN方法捕捉长距离语义信息不足,提取图像全局信息能力欠缺。针对这些问题设计一种基于Res2Net和递归门控卷积模块的细粒度分类算法。该网络中,使用弱监督数据增强网络(WS-DAN)进行数据扩展防止过拟合,将Res2Net作为特征提取网络,用以提取不同尺度的图像信息,增加网络层的感受野,同时在该网络中引入递归门控卷积模块,用来进一步融合信息并且实现高阶特征交互,提高网络建模能力。该方法分别在CUB-200-2011、Stanford Dogs和FGVC-Aircraft这3个公开数据集上达到了90.36%、93.1%和94.3%的准确率,能够有效地提取图像细微特征并实现分类。

预测轴承寿命的gate递归单元特征融合域自适应模型

采用现有的数据驱动模型对不同工况下的轴承剩余使用寿命(RUL)进行预测时,精度会大幅下降。针对这一问题,提出了一种基于门控递归单元特征融合领域自适应(GFFDA)模型的轴承RUL预测方法。首先,采用信号分析方法对轴承振动信号进行了特征提取,并采用特征评价的方法选择出了5个最优特征,在最优特征的基础上,采用粒子群算法优化后的支持向量机的方法对轴承的健康阶段进行了划分;然后,选择目标域和源域退化阶段的最优特征子集作为GFFDA模型的输入,采用源域数据对特征提取器和寿命预测模块进行了预训练;最后,更新了目标特征提取器和寿命预测模块,对目标域的RUL进行了预测;并使用西安交通大学的轴承数据集对该GFFDA模型的有效性进行了验证。研究结果表明:相比于现有的数据驱动模型,GFFDA模型具有更好的跨工况分析能力和更出色的信息提取能力;同时,在对变工况的轴承寿命进行预测时,采用GFFDA模型具有更好的性能。

基于两阶段动态兴趣识别的购买行为预测模型

在线购买预测旨在预测用户的购买行为,为购物网站带来可观的商业价值。针对传统模型学习用户历史行为中隐含的兴趣偏好不准确的问题,提出基于两阶段动态兴趣识别的购买行为预测模型,以预测用户购买商品的概率。首先,模型的第一阶段构建用户-商品的点击频率图,并利用轻量图卷积网络(LightGCN)学习图的上下文特征作为用户的静态兴趣表征;其次,第二阶段采用带有注意力机制的双向门控递归单元(Bi-GRU)探索用户偏好的转化过程;最后,针对潜在的高维特征,建立一个融合动态兴趣和隐含特征的购买预测模型。在2个真实电子商务数据集上的实验结果表明,所提模型与图卷积网络(GCN)模型相比,准确率至少提升0.3个百分点,F1分数至少提升了2.05个百分点。

基于数据与模型联合驱动的波阻抗反演方法

井插值初始模型为基于模型的反演提供的低频信息往往不够准确,导致该模型驱动方法容易出现较大的波阻抗预测误差且建模效率较低.为缓解这些问题,本文利用数据驱动的深度学习反演更加擅长预测低频阻抗的优势,提出一种基于数据与模型联合驱动的波阻抗反演方法.该方法联合地震和测井等数据,先后开展数据驱动和模型驱动的波阻抗反演.首先,数据驱动部分使用井旁地震记录、测井导出的波阻抗曲线以及井插值低频阻抗曲线,搭建以双向门控递归单元为主要模块的波阻抗智能预测网络.其次,该网络预测的波阻抗的低频分量作为数据驱动初始模型,替代井插值初始模型而参与模型驱动部分.最后,模型驱动部分在地震数据匹配和数据驱动初始模型的共同约束下开展基于模型的反演,获得最终的波阻抗结果.合成数据和实际数据测试表明,本文方法相比于单一的数据驱动或模型驱动方法能获得更高分辨率和更高精度的波阻抗反演结果,从而为后续储层预测提供可靠的弹性参数分布.

基于图卷积神经网络的大规模软件定义网络流量预测模型

为了提高大规模软件定义网络流量预测的准确率,研究基于图卷积神经网络的大规模软件定义网络流量预测模型。构建包含图卷积神经网络(Graph Convolution Neural Network,GCN)层、门控递归单元(Gating Recursive Unit,GRU)层及自注意力机制层的流量预测模型。通过GCN层与GRU层分别重构与更新网络流量的空间与时间特征;将两种特征共同输入自注意力机制层,经整合与加权平均运算后,获得网络流量预测值输出,实现大规模软件定义网络流量预测。实验结果显示,该模型可精准预测大规模软件定义网络流量,降低所应用网络的通信丢包率与通信延时,实现高质量高时效的网络数据传输,保障大规模软件定义网络的智能流量通信。

高阶深度可分离无人机图像小目标检测算法

当前无人机图像中存在小目标数量众多、背景复杂的特点,目标检测中易造成漏检误检率较高的问题,针对这些问题,提出一种高阶深度可分离无人机图像小目标检测算法.首先,结合CSPNet结构与ConvMixer网络,深度可分离卷积核,获取梯度结合信息,并引入递归门控卷积C3模块,提升模型的高阶空间交互能力,增强网络对小目标的敏感度;其次,检测头采用两个头部进行解耦,分别输出特征图分类和位置信息,加快模型收敛速度;最后,使用边框损失函数EIoU,提高检测框精准度.在VisDrone2019数据集上的实验结果表明,该模型检测精度达到了35.1%,模型漏检率和误检率有明显下降,能够有效地应用于无人机图像小目标检测任务.在DOTA 1.0数据集和HRSID数据集上进行模型泛化能力测试,实验结果表明,该模型具有良好的鲁棒性.

基于多维特征融合的转辙机剩余使用寿命预测模型研究

为实现转辙机的智能维修,剩余使用寿命预测是一个重要的技术手段。针对转辙机的退化过程预测精度不高和预测效果不稳定的问题,提出一种基于多维特征融合的转辙机剩余使用寿命预测模型。该模型采用并行架构同时提取多个维度的转辙机动作曲线退化特征,即特征指标通道、卷积神经网络通道、门控递归单元通道;将提取的多维特征向量合并成一个特征融合向量输入回归器中,实现转辙机的剩余使用寿命预测。以ZYJ7型转辙机的功率曲线作为数据集,使用均方根误差、平均绝对误差、评分函数作为评价指标,与单通道模型进行性能比较。仿真结果表明:多维特征融合模型的预测值均与实际退化数据最为接近,能够实现对转辙机剩余使用寿命的准确预测,有效支撑维护人员的预防性维修,并提供理论指导。

基于改进YOLOv7的红外安防目标检测

针对安防场景中红外图像对比度低、目标轮廓不明显导致目标检测效果差的问题,提出一种基于改进YOLOv7的红外安防目标检测算法。采用递归门控卷积改进主干网络,增强对输入图像高阶信息交互能力;使用SimAM注意力机制构建ELAN-S模块,降低信息丢失率的同时减少网络参数;使用K-means++聚类算法优化锚盒尺寸,提高检测精度。对InfiRay公开数据集进行数据增强和模型验证实验,结果表明,提出的算法在保持较高检测速度前提下,平均精度均值达到了87.15%,相对于原YOLOv7网络与其他主流算法有明显提高,证明改进方法先进有效。

改进YOLOv5s算法的电动车头盔检测研究

针对电动车头盔佩戴检测存在遮挡、车辆密集以及一车多人的复杂场景下出现的漏检、误检问题,在YOLOv5s的基础上,提出了一种应用于电动车头盔佩戴检测的改进算法。设计了一种由递归门控卷积改进的GBC3模块,替换网络主干和特征融合层(feature pyramid networks,FPN)中的C3模块,加强邻间特征的空间信息交互,提高网络的特征提取和特征融合能力;其次在主干和特征融合网络添加无参注意力机制(SimAM),以调整特征图中不同区域的注意力权重,对重要目标施加更多关注;最后引入调整超参后的WIOU损失函数,优化预测框回归,提高模型的目标定位能力。在自制电动车头盔数据集上的实验结果表明,改进模型在仅增加较少参数的前提下,其平均精度均值(mAP)达到97.3%,较YOLOv5s提高了3.2%,并且检测速度为87.1 fps,改善了误检和漏检的问题,同时仍具有较高的实时性,更适用于电动车驾乘者的头盔佩戴检测。

基于多尺度融合和高阶交互的单目3D检测算法

三维目标检测是三维场景理解的一项基础性和挑战性的任务,基于单目视觉的方法可以作为基于立体或基于雷达方法的经济替代。该文提出了一种基于MonoDLE改进的单目3D检测算法,用于优化由尺寸形状与3D位置偏差产生的精度损失。首先,提出了一个通用的多尺度池化注意力模块用于聚合更精细的多尺度特征并且高效地联系上下文信息。其次,为了增强模型的高阶空间交互能力,还提出了由递归门控卷积和分组归一化构成的递归门控卷积块,用于替代基线架构上采样模块的卷积层,有效提升上采样模块的表征能力。在单目3D检测通用数据集KITTI上的实验表明:经过多尺度池化注意力模块提高网络聚合特征的能力后,在3D视角且交并比大于0.7的标准情况下,该算法的平均检测率指标AP 40从13.66提升到15.10;经过递归门控卷积块增强模型的高阶空间交互能力后,在3D视角且交并比大于0.7的标准情况下,该算法的平均检测率指标AP 40再次从15.10提升到15.53;在两个模块协同作用下,在鸟瞰图视角且交并比大于0.7的标准情况下,该算法的平均检测率指标AP 40同样从19.33提升到21.95。

高压釜泄漏声音的高频高阶空间交互识别算法研究

高压釜是湿法冶金领域常用的重要设备,存在危险气体泄漏的风险;同时,泄漏会导致高压釜内压不稳,严重时甚至引起爆炸,威胁设备和生产安全;针对高压釜泄漏导致的危险和威胁,提出了一种高压釜泄漏声音的高频高阶空间交互识别算法,用于监测高压釜泄漏发生时的声音,从而及时发现泄漏并采取相应的措施,确保设备和生产安全;该算法首先通过高通滤波器消除低频噪声对于识别结果的干扰,然后利用递归门控卷积块实现高频分量在高阶空间的交互,最后使用全卷积层识别高压釜泄漏的声音;实验结果表明,所提算法具有较好的高压釜泄漏识别效果,平均置信度达到0.93,以0.65作为置信度阈值时,识别准确率可达到99.5%;在处理速度上,算法能够每秒识别60个5秒长的音频文件,满足实时性的需求。

基于集中式特征金字塔的交通标志识别

针对目前交通标志识别技术中存在的畸变目标、小目标检测难等问题,提出一种基于集中式特征金字塔的交通标志识别算法。首先,使用集中式特征金字塔改进原始的特征融合网络,用轻量级多层感知机(MLP)来捕获全局远程依赖,通过可学习视觉中心机制(LVC)来捕获输入图像的局部角区域,提高了对畸变目标以及小目标的检测精度;其次,使用递归门控卷积提取浅层特征图的高阶空间交互信息,改善对小目标的检测效果;最后,使用SIoU回归损失函数,引入角度损失,重新定义惩罚指标,减少总损失的自由度,防止预测框在训练时四处游荡,加快收敛速度,使定位更加精确。在TT100K数据集上平均检测精度为93.4%,和传统的YOLOv5n相比精度提升了3.5个百分点,帧处理速度达到94.34fps。

基于改进1DCNN-GRU的滚动轴承故障诊断

针对传统滚动轴承故障诊断模型无法充分利用信号的空间及时间特征,需要大量专业知识等问题,提出一种改进一维卷积神经网络(1DCNN)与门控递归神经网络(GRU)结合的故障诊断方法。首先,利用具有不同卷积核的卷积层最大化提取信号的空间特征信息;其次,提出改进的线性修正单元(IReLU)增强网络的特征提取能力;然后,引入堆叠GRU模块进一步提取1DCNN模块输出数据的时间特征,完成空间及时间特征融合;最后,对融合后的特征进行识别。实验表明所提方法故障识别率高达99.96%,对不同负载下的数据均具有较高的识别率及较强的泛化性能。

一种眼科超声图像分类算法研究

为提升用于眼科超声图像数据集的卷积神经网络分类效果,对于目前眼科超声数据集存在图像低对比度干扰、有错分漏分等问题,在GoogleNet分类网络模型的基础上,设计了一种改进的眼科超声图像分类方法,该方法引入递归门控卷积以及由不同大小卷积组组成的多尺度结构用来增强网络模型特征提取能力。在眼科超声数据集上进行了大量实验。实验结果表明,与原GoogleNet网络模型对比准确率、宏精确率、宏召回率和宏F1分数,分别提高了1.41%、4.36%、5.02%、5.14%。与EfficientNetB0、ResNet50等主流分类网络相比,准确率分别提升了2.21%、5.03%。