结合时间注意力机制和单模态标签自动生成策略的自监督多模态情感识别

大多数多模态情感识别方法旨在寻求一种有效的融合机制,构建异构模态的特征,从而学习到具有语义一致性的特征表示。然而,这些方法通常忽略了模态间情感语义的差异性信息。为解决这一问题,提出了一种多任务学习框架,联合训练1个多模态任务和3个单模态任务,分别学习多模态特征间的情感语义一致性信息和各个模态所含情感语义的差异性信息。首先,为了学习情感语义一致性信息,提出了一种基于多层循环神经网络的时间注意力机制(TAM),通过赋予时间序列特征向量不同的权重来描述情感特征的贡献度。然后,针对多模态融合,在语义空间进行了逐语义维度的细粒度特征融合。其次,为了有效学习各个模态所含情感语义的差异性信息,提出了一种基于模态间特征向量相似度的自监督单模态标签自动生成策略(ULAG)。通过在CMU-MOSI,CMU-MOSEI, CH-SIMS 3个数据集上的大量实验结果证实,提出的TAM-ULAG模型具有很强的竞争力:在分类指标(Acc_(2),F_(1))和回归指标(MAE, Corr)上与基准模型的指标相比均有所提升;对于二分类识别准确率,在CMUMOSI和CMU-MOSEI数据集上分别为87.2%和85.8%,而在CH-SIMS数据集上达到81.47%。这些研究结果表明,同时学习多模态间的情感语义一致性信息和各模态情感语义的差异性信息,有助于提高自监督多模态情感识别方法的性能。

预期与时间注意对视觉感知的影响

使用注意瞬脱范式,通过2个实验探究时间注意与条件概率建立的预期如何互动性地作用于视觉感知。结果发现:当刺激处于注意瞬脱期时,与中性条件相比,符合预期刺激的视觉敏感性更高,且违反预期刺激的视觉敏感性更低;无论刺激是否处于注意瞬脱期,符合预期时的决策标准更低,违反预期时的主观可见性更高。研究结果为预测编码理论框架下预期与注意的协同作用模式提供了实证支持。

分段时间注意力时空图卷积网络的动作识别

得益于图卷积网络(GCN)对于处理非欧几里得数据有着非常好的效果,同时人体的骨骼点数据相对于RGB视频数据具有更好的环境适应性和动作表达能力.因此,基于骨骼点的人体动作识别方法得到了越来越多的关注和研究.将人体骨骼建模为时空图形的数据进行基于GCN模型的动作识别取得了显著的性能提升,但是现有的基于GCN的动作识别模型往往无法捕获动作视频流中的细节特征.针对此问题,本文提出了一种基于分段时间注意力时空图卷积骨骼点动作识别方法.通过将数据的时间帧进行分段处理,提取注意力,来提高模型对细节特征的提取能力.同时引入协调注意力模块,将位置信息嵌入注意力图中,这种方法增强了模型的泛化能力.在NTU-RGBD数据集和Kinetics-Skeleton数据集上的大量实验表明,本文所提模型可以获得比目前多数文献更高的动作识别精度,有更好的识别效果.

结合时间注意力机制的Bi-GRU-Atten的短时交通流预测

为使用深度学习模型预测未来高速公路交通流的情况,利用双向门控循环单元算法(Bi-GRU)从双向传播中提取信息,充分学习到历史交通流的时间相关特征,同时采用注意力机制通过正确分配权重来区分交通时间序列的重要性,进一步提高预测的计算效率。采用开源高速公路数据集对模型进行验证,结果表明:与递归神经网络算法、长短期记忆网络算法、双向长短期记忆网络算法,以及没有结合注意力机制的双向门控循环单元算法相比,本文所提算法在计算效率和预测精度方面更优,可以用于短时交通流的预测。

基于时间注意力机制的时滞混沌系统参数辨识模型

针对时滞混沌系统在时滞未知条件下的参数及时滞辨识问题,提出基于时间注意力机制的时滞混沌系统参数辨识模型——PINN-TA。首先,采用时间注意力机制提取系统状态序列的关联特征,以实现对系统时滞的辨识;其次,利用循环神经网络(RNN)隐式地近似系统微分方程,形成关于系统参数的代数方程;最后,将代数方程的根作为参数辨识的结果。分别以时滞Logistic方程、Ikeda微分方程和Mackey-Glass混沌系统等典型时滞混沌系统作为待辨识系统,对PINN-TA模型和多种智能搜索算法进行对比实验。仿真结果表明,相较于人工雨滴算法(ARA)、混合布谷鸟搜索算法(HCS)、全局花朵授粉算法(GFPA)、元胞自动机鲸鱼算法(CWA)等现有智能搜索算法,PINN-TA模型对参数和时滞的辨识误差降低了90.31%~99.36%,且辨识耗时缩短至18.59~19.43 ms。可见,PINN-TA模型能够满足精度和实时性要求,为时滞混沌系统参数及时滞辨识提供可行的解决方案。

基于掩码时间注意力和置信度损失函数的序列数据早期分类方法

序列数据的早期分类对于高时效性应用具有重要意义。该任务的目标是在满足预期分类精度的前提下,尽快地对持续输入的时间序列进行分类。目前,深度学习已经在序列数据早期分类任务中得到了广泛应用。现有的深度方法通常利用递归神经网络来适应流数据的长度变化,并通过设置分类概率阈值退出分类过程。然而这些方法忽视了流数据的关键识别区域随信息量的增加持续变化。为了解决该问题,本文提出了一种基于掩码时间注意力机制的时间卷积网络来动态关注关键识别区域。此外,考虑到正确类别的分类概率分数应随模型观察到更多数据单调不递减,本文设计了一个置信度损失函数惩罚不符合该条件的模型,进一步促使模型提取更有区分性的特征。在8个公开数据集的实验结果表明了所提方法优越的早期分类性能。

基于时间注意力机制的大坝动态变形预测模型

构建高精度的变形预测模型对于大坝风险评估及防治措施制定具有极其重要的意义。传统的大坝变形预测模型鲜有针对大坝的变形滞后性特点以及变形特征因子的影响性分析与评估,这会对模型的预测精度造成较大的影响,并导致模型缺乏可解释性。针对上述问题,本文提出一种结合时间注意力机制的门控循环单元神经网络(GRU)架构。首先通过卡尔曼滤波(Kalman Filter)对原始大坝变形数据中由于监测器异常导致的随机噪声与异常值进行处理。其次,利用随机森林(RF)对各变形特征因子的重要性进行分析和评估,筛选模型输入的特征因子。最后,针对大坝变形的滞后性,利用时间注意力机制进一步提高GRU模型对时间维度上的动态特征关注度,增强模型对时间维度信息的自适应学习能力,且对时间注意力进行可视化进一步提高了大坝变形预测模型在隐藏状态阶段上的可解释性。通过工程实例研究结果表明,卡尔曼滤波在大坝变形监测中确实存在一定适用性,同时本文所提出的耦合时间注意力机制的变形预测模型有着较高的预测精度,对于预测过程中的隐藏状态层级有较强的解释性,并揭示了温度与水位因素对大坝变形的长期影响,为大坝变形安全监测提供了一种新的有效方法。

基于时间注意力机制和EfficientNet的视频暴力行为检测

针对一般的暴力行为检测方法模型参数量大、计算复杂度高、准确率较低等问题,提出一种基于时间注意力机制和EfficientNet的视频暴力行为检测方法。首先将通过对数据集进行预处理计算得到的前景图输入到网络模型中提取视频特征,同时利用轻量化EfficientNet提取前景图中的帧级空间暴力特征,并利用卷积长短时记忆网络(ConvLSTM)进一步提取视频序列的全局时空特征;接着,结合时间注意力机制,计算得到视频级特征表示;最后将视频级特征表示映射到分类空间,并利用Softmax分类器进行视频暴力行为分类并输出检测结果,实现视频的暴力行为检测。实验结果表明,该方法能够减少模型参数量,降低计算复杂度,在有限的资源下提高暴力行为检测准确率,提升模型的综合性能。

基于图神经网络和时间注意力的会话序列推荐

为解决基于循环神经网络及其改进的方法在处理会话序列数据时只考虑序列行为,无法从有限的点击中获得准确的会话向量表示的问题,提出一种基于图神经网络和时间注意力的会话序列推荐算法。结合门控图神经网络和项目浏览时间信息,有效建模会话中所有点击项目之间的复杂转换,更充分利用用户浏览信息,使会话向量表示的计算更准确、区分度更高。实验结果表明,该方法能够提高推荐结果的准确性,更为有效地预测用户的下一次点击。

疼痛敏感性影响时间注意

目的:探究疼痛敏感性对时间注意的影响。方法:招募48名被试,使用时间线索范式,采用3 (图片类型:无图片、中性图片、疼痛图片) ×2 (线索类型:有效和中性) ×2 (时间间隔:短时和长时)被试内设计,收集行为数据。结果:1) 呈现三种图片类型时,时间线索效应在短时间隔中均稳定存在;2) 时间线索效应大小会被图片认知加工干扰;3) 高疼痛敏感组在疼痛图片呈现时,能够维持短时间隔的时间线索效应。4) 低疼痛敏感组中存在疼痛图片评分与短时间隔的时间线索效应大小的显著正相关。结论:疼痛敏感性影响时间注意,较高疼痛敏感性能够在一定程度上改善因图片认知加工而削弱的时间线索效应。疼痛感受在一定程度上能够帮助个体更好地适应环境。

注意的时间结构:选择性时间注意

选择性时间注意是一个过去被忽略的研究领域,它是根据任务相关的信息将注意集中于某个时间点或时间段从而优化行为的过程。本文简要地回顾了选择性时间注意研究的分类和相应的研究方法,以及其背后可能存在的神经机制。

基于时间模式注意力的炼化装置振荡传播分析

现有针对炼化装置的振荡传播分析方法构建的振荡传播因果模型中冗余、错误因果关系较多,为此,提出基于时间模式注意力的炼化装置振荡传播分析方法。考虑到时间模式注意力对数据的周期性特征提取能力较强的特点,将其与格兰杰因果分析相结合进行振荡传播因果模型构建,该方法构建的因果模型冗余、错误因果关系较少。同时利用设计结构矩阵对炼化装置的过程变量进行分组处理,以降低所提方法的计算复杂度。所提方法的有效性在催化裂化分馏塔动态仿真模型上得到了验证。

基于时间模式注意力机制的CNN-BiGRU短期负荷预测

准确的短期负荷预测可以缓解电力供需矛盾,协调负荷管理,保障电力系统安全。短期电力负荷具有很强的非线性和时间依赖性,并与气候变化和实时电价等诸多外部因素有关,给精准预测短期负荷带来了困难。为此,提出一种基于时间模式注意力(temporal pattern attention, TPA)机制的卷积神经网络(convolutional neural network, CNN)-双向门控循环单元(bidirectional gated recurrent unit, BiGRU)短期负荷预测方法。其中,卷积神经网络用于挖掘不同输入变量与当前负荷间的非线性空间联系,双向门控循环单元用于从时间序列中捕获长期依赖关系,时间模式注意力机制引入以自适应加权赋予特征权重,突出重要信息,实现短期负荷预测。以澳大利亚公开负荷数据集作为实例验证所提方法的效果,预测精度达到了97.651%,与CNN-LSTM、RNN预测模型进行对比,精度分别提高了0.531%和5.992%,实验结果表明:所提的TPA-CNN-BiGRU预测方法具有更高的预测精度和普适性。

基于时空注意力机制的视频引导机器翻译方法

视频引导机器翻译是一种多模态机器翻译任务,其目标是通过视频和文本的结合产生高质量的文本翻译。但是之前的工作只基于视频中的时间结构选择相关片段引导机器翻译,所选片段中存在大量与目标语言无关的信息。因此,在翻译过程中,视频中的时空结构没有得到充分利用,从而无法有效缓解机器翻译中细节缺失或翻译错误的问题。为了解决这一问题,该文提出了一种基于时空注意力(Spatial-Temporal Attention,STA)的模型来充分利用视频中的时空信息引导机器翻译。该文提出的注意力模型不但能够选择与目标语言最相关的时空片段,而且能进一步聚焦片段中最相关的实体信息。所关注的实体信息能有效增强源语言和目标语言的语义对齐,从而使得源语言中的细节信息得到准确翻译。该文的方法基于Vatex公共数据集和构建的汉-越低资源数据集进行实验,在Vatex与汉-越低资源数据集上BLEU4分别达到32.66和18.46,相比于时间注意力基线方法提高了3.54与0.89个BLEU值。

基于融合注意力机制LSTM网络的地下水位自适应鲁棒预测

地下水水位是旱天污水管网地下水入渗量的重要影响因素,快速精准地预测地下水水位能有效提升旱天污水管网地下水入渗量估算准确度,辅助优化管网病害治理与维护策略。针对目前城市复杂水文预测存在的准确度低、灵敏度低、泛化能力弱等问题,本文提出了一种新的鲁棒自适应水位预测算法。首先,对水文数据进行预处理,解决了数据时间跨度大、噪声多、缺失及异常、非平稳等问题。其次,针对不同输入特征对预测指标的影响,在模型训练阶段提出一种新的空间变量注意机制,可快速识别与水位关联的关键变量,并对输入特征赋予不同的影响权重。然后,针对不同序列长度对预测效果的影响,还设计了自适应时间注意力机制,帮助网络自适应地找出与不同时间序列长度预测指标相关的编码器隐藏状态,以更好地捕捉时间上的依赖关系。在此基础上,以上下文向量作为输入,提出一种融合注意力机制的长短时记忆网络水文预测算法。最后,通过意大利Petrignano水文数据验证了所提算法的有效性,并与GRU、Elman、LSTM、VA–LSTM和S–LSTM等方法进行预测性能比较。结果表明,基于融合注意力机制的LSTM网络在面临大规模、噪点多的复杂数据时有优于其它几种算法的预测效果,表明该算法具有强自适应性和鲁棒性。本文研究结果可以为市政排水策略合理调整、及时控制提供参考。

基于改进时间卷积网络的微电网超短期负荷预测

为了提高微电网中用电负荷超短期预测的准确性,对时间卷积网络进行特征增强和注意力增强改进,将时间卷积网络中的一维因果膨胀卷积替换为二维卷积,同时利用时间模式注意力机制对时间卷积网络的隐藏层加权处理,提取负荷的多维特征,挖掘序列中存在的潜藏联系。根据改进的方法建立预测模型并进行对比实验以验证方法的有效性,能够对用电负荷的不确定性进行有效的处理,拓宽特征向量的维度,有效捕捉负荷序列中与时间有关的特征,提高用电负荷的预测精度。

基于TCN和双重注意力的股价预测模型

股票市场的行情受许多变量因子的影响,目前针对时间序列的预测模型,往往难以捕捉多因子之间的复杂规律。针对上述问题,提出一种基于双重注意力机制和时间卷积网络(TCN)的股价预测模型。首先,使用一种更适合时间序列的卷积网络作为特征提取层,并引入特征注意力,动态挖掘输入的因子特征与收盘价的潜在相关性,其次,在门控循环单元(GRU)的基础上,引入时间注意力机制来提高模型学习重要时间点的能力,并从时间角度获得重要性量度。实验结果表明,所提出模型对于股价预测的误差指标相比传统预测模型表现更加优秀,且在指标特征和时间两个方面上实现了模型的可解释性。

基于时间图注意力的交叉口交通状态识别及关联度研究

为实时获取交叉口交通状态及其邻居交叉口关联度,本文利用实际交通调查数据建立VISSIM仿真环境,基于仿真数据提出包含交叉口交通流特征和物理特征的交叉口交通特征矩阵,并根据车流量、流向比和有效绿灯时间得到交叉口的交互时间矩阵。提出基于时间图注意力(TemporalGraphAttention,TGAT)网络的交叉口交通状态识别模型,将上述矩阵和交通数据的初始标签输入模型中,得到目标交叉口在畅行、平稳、拥挤、阻塞这4种状态下的分类准确率,并得到邻居权重矩阵作为交叉口之间的关联度。选取本文方法和多层感知机、长短期记忆网络、支持向量机分别进行交叉口交通状态识别,准确率分别为93.38%、90.00%、92.03%、82.84%,本文方法的精确率、召回率、F1度量指标均优于其他方法。最后,提出基于关联度和车流量的权重评判系数,定量描述关联度的可靠性,选取主干路上11个交叉口的数据进行验证。结果表明,对于流量分布相对均匀的非孤立交叉口,本文获得的关联度与对应流量正相关,具有有效性和可解释性。

基于时间和空间注意力机制的视频异常检测

针对带有记忆模块的异常行为识别模型存在存储容量有限和有限的时间轴相关性的局限性,提出带有时间和空间注意力机制的异常行为识别模型。该模型在MAND框架下,引用时间和空间注意力机制,通过该注意力机制对卷积层(CNN)输出的特征图从时间和空间两个维度进行加权操作。该方法有效结合时间和空间上下文信息,捕捉局部和全局的特征,输入到解码器中进行重构,然后计算重构帧与输入帧的误差。采用重构当前帧和预测未来帧(下一帧)的异常检测方法,使用相同的网络体系结构分别进行实验。实验结果证明,与其他检测算法相比,所提方法在UCSD Ped2数据集和The CUHK Avenue数据集上的检测精度有所提升,预测方法在两个数据集中的帧级AUC分别提升了4.9%和1.2%,重构方法同样得到了提升,验证了该方法的有效性。

基于时间相关性注意力的行为识别

针对行为识别任务中,行为体和动作状态变化速度不同以及缺少对动作间的相关性研究而引起的行为判别能力低和误判等问题,提出一种基于SlowFast架构的时间相关性注意力机制模型。首先,放弃光流而直接将视频数据作为网络输入,使模型可以进行端到端训练;其次,定义了一种由相关性注意力和时间注意力构成的时间相关性注意力机制,其中相关性注意力机制用于提取动作间的相关性信息;然后,将信息输入时间注意力机制来抑制无用特征;最后,针对SlowFast在路径融合过程中由于卷积核步长过大而导致的特征间相关性丢失问题,提出更有效的连续卷积操作进行替代。在UCF101和HMDB51两个数据集上进行实验,结果证明,所提方法与现有方法相比,精度和鲁棒性具有优势。