基于概率稀疏自注意力的航空发动机剩余寿命预测

航空发动机剩余寿命预测对其健康管理具有重要意义,针对长序列、多维度的航空发动机监测参数,提出一种基于概率稀疏自注意力(ProbSparse Self-Attention)的Transformer模型以实现航空发动机剩余寿命的准确预测。用ProbSparse Self-Attention取代原始Transformer中的常规自注意力机制,使得模型更关注时间序列中重要的时间节点,大幅缩减时间维度,减小了时间和空间复杂度;通过注意力层整合后的信息,进一步通过前馈神经网络层和卷积层,提取传感器的空间特征,编码层之间通过扩张因果卷积相连接,扩大了感受野,提高了模型对长序列信息的捕获能力。在新公开的N-CMAPSS数据集上验证算法,实验结果表明,相比于实验中的对比模型,所提模型的RMSE和Score值均有提升,推理速度也优于其他模型。

基于探针稀疏注意力机制的门控Transformer模型

在强化学习中,智能体对状态序列进行编码,根据历史信息指导动作的选择,通常将其建模为递归型神经网络,但其存在梯度消失和梯度爆炸的问题,难以处理长序列。以自注意力机制为核心的Transformer是一种能够有效整合长时间范围内信息的机制,将传统Transformer直接应用于强化学习中存在训练不稳定和计算复杂度高的问题。门控Transformer-XL(GTrXL)解决了Transformer在强化学习中训练不稳定的问题,但仍具有很高的计算复杂度。针对此问题,本研究提出了一种具有探针稀疏注意力机制的门控Transformer(PS-GTr),其在GTrXL中的恒等映射重排和门控机制的基础上引入了探针稀疏注意力机制,降低了时间复杂度和空间复杂度,进一步提高了训练效率。通过实验验证,PS-GTr在强化学习任务中的性能与GTrXL相当,而且训练时间更短,内存占用更少。

融合稀疏注意力机制在DDoS攻击检测中的应用

针对现有的DDoS(distributed denial of service)攻击检测模型面临大量数据时,呈现出检测效率低的问题。为适应当前网络环境,通过研究DDoS攻击检测模型、提取流量特征、计算攻击密度,提出一种基于融合稀疏注意力机制的DDoS攻击检测模型GVBNet(global variable block net),使用攻击密度自适应计算稀疏注意力。利用信息熵以及信息增益分析提取攻击流量的连续字节作为特征向量,通过构建基于GVBNet的网络模型在两种数据集上进行训练。实验结果表明,该方法具有良好的识别效果、检测速度以及抗干扰能力,在不同的环境下具有应用价值。

基于时序注意力机制的电动汽车灵活性概率建模

电动汽车是一种可以向电力系统提供灵活性的柔性负荷。现有研究对电动汽车灵活性进行建模时,多数仅考虑了充电行为的不确定性以及分时电价的影响,忽略了日前电价与实时电价的偏差,缺少对实时电价、充电负荷多时间尺度时序特征的建模。针对此问题,文中总结了电动汽车灵活性的表现形式与影响因素,考虑面向电价的响应不确定性以及充电行为不确定性,提出基于时序注意力机制的电动汽车灵活性概率建模方法。通过时序注意力机制提取不同时序权重,设计基于时序卷积网络的多时间尺度特征提取网络学习充电行为、电价等不确定性,提取多时间尺度灵活性波动特征。算例表明,所提模型能够有效学习充电行为不确定性与面向电价的响应不确定性,其概率建模效果具有更高的可靠性与精度。

基于稀疏重构注意力机制的绝缘子缺陷检测方法

针对当前输电线路绝缘子缺陷样本数量少、缺陷目标背景复杂干扰导致检测过程中出现的特征冗余以及检测精度低等问题,提出基于稀疏重构注意力(sparse reconstruction dual attention,SRDA)机制的目标检测模型。首先,为了降低深层特征冗余对模型的影响,采用稀疏重构机制对模型的深层特征层进行筛选和过滤;其次,为了增强模型对不同背景下目标区域的表达能力,提出位置注意力机制来捕获浅层特征目标区域的上下文信息,并引入通道注意力机制在深层特征层上加强对特定类别语义的特征表示,增强缺陷目标的语义信息;最后,通过对无人机拍摄采集的输电线路绝缘子图像进行缺陷检测实验,证明该模型能够获取精确的缺陷特征,提高绝缘子缺陷检测精度,与其他模型相比,该模型具有一定的优越性。

基于稀疏注意力关系网络的小样本图像分类方法

针对小样本图像分类问题,从卷积操作的局部连接性和基于非局部操作的注意力机制出发,提出了稀疏注意力关系网络(SARN)模型。在非局部操作过程中,利用稀疏策略筛选参与响应计算的相关特征。通过稀疏注意力机制构建不同空间位置相关特征之间的依赖性,切断语义无关特征之间的联系。后续卷积操作对不同空间位置的语义相关特征进行度量,抑制了无关信息的干扰,提高了模型的整体度量能力。通过在Mini-ImageNet和Tiered-ImageNet数据集上进行的一系列实验发现,相较于其他小样本学习模型,SARN模型的性能获得了显著提升。

基于注意力机制的稀疏化剪枝方法

为在资源受限设备中部署先进神经网络模型,提出一种基于通道和空间注意力机制的网络稀疏化剪枝训练方法,将剪枝训练过程转化为约束优化问题。将通道和空间注意力融入稀疏化剪枝训练过程,利用连续空间损失变化情况评估不同网络层重要程度,通过稀疏化训练与动态计算及更新掩码矩阵和权重矩阵完成剪枝操作。方法实验基于CIFAR10、CIFAR100数据集上进行,实验结果表明,该方法在较为复杂数据集CIFAR100上剪枝率为90%、95%、98%时,分类准确率可达到69.91%、67.15%、60.18%,与同类方法相比,在不同数据集和剪枝率的条件下仍具有较高的分类精度。

基于概率稀疏自注意力的IGBT模块剩余寿命跨工况预测

为提高绝缘栅双极型晶体管(IGBT)模块跨工况剩余寿命的预测精度以提升其可靠性,针对不同工况下IGBT模块的瞬态热阻特征提出一种基于概率稀疏自注意力机制和迁移学习的剩余使用寿命预测方法.搭建了IGBT模块加速老化试验台,在不同温度区间进行IGBT模块功率循环实验,采集不同工况下该模块全生命周期状态数据,计算获得IGBT模块衰退过程中的瞬态热阻变化数据,提取并筛选能准确反映IGBT模块老化状态的瞬态热阻特征,并使用所提方法开展跨工况剩余使用寿命预测.实验结果表明,提出的IGBT模块剩余寿命的跨工况预测方法精度明显优于其他对比方法,特别是IGBT模块早期衰退过程中的剩余寿命预测精度得到了显著提升.

基于时序注意力机制的超短期风电功率概率预测

提高预测精度是风电概率预测研究的关键问题,融合多源数值天气预报数据降低预测误差,采用时序注意力机制对输入信息进行自适应选择,采用时序卷积网络提取多时间尺度的概率特征,并使用混合Beta分布构建预测概率信息。算例结果表明通过时序注意力机制融合多源气象信息能有效提高模型训练的收敛性,其预测结果具有更高的精度。

融合深度去噪自编码器和注意力机制的推荐算法

传统推荐算法无论在特征提取还是相似度计算方面仍存在数据稀疏和大量噪声数据问题,导致推荐效率不高、用户满意度低等问题,由此提出一种融合深度去噪自编码器和注意力机制的推荐算法。将深度去噪自编码器融入到基于项目相似度的协同过滤推荐算法中,同时加入了注意力机制,以惩罚活跃用户对实验结果的影响,既可以挖掘到用户与项目的线性特征又可以学习到用户与项目非线性特征。实验选取了MovieLens和Pinterest两个公开数据集,与传统推荐算法和近些年较先进算法相比,该算法能够显著提升传统推荐算法的性能,并可以缓解传统推荐算法存在的数据稀疏和冷启动问题。

基于邻居交互增强和多头注意力机制的跨域推荐模型

针对基于映射的跨域推荐模型未充分关注源域中数据稀疏的用户,导致用户偏好的迁移效率降低的问题,提出了一种基于邻居交互增强和多头注意力机制的跨域推荐模型。首先,利用邻居用户的交互项目来增强源域中数据稀疏用户的交互序列,以捕获更丰富的用户行为信息。然后,采用多头注意力机制从交互序列中提取用户可迁移的偏好特征,以全面捕捉用户兴趣的多个方面。最后,将提取的用户特征输入元网络生成个性化映射函数,并根据源域迁移的用户嵌入来实现目标域的个性化推荐。在亚马逊和豆瓣数据集上进行实验,结果表明所提出的模型相较于最优的基线模型,平均绝对误差指标最高提升了6.54%,均方根误差指标最高提升了3.73%。有效地提高了目标域的推荐性能,能够在电子商务等领域为用户提供更准确的项目推荐。

AttentionRanker--基于排名优化的自-互注意力机制

图像匹配是精准估计相机位姿信息的关键,近年来基于深度学习注意力机制的图像匹配研究取得了较大进展,但如何降低Transformer类图像匹配网络的高计算复杂度仍是巨大挑战。为了提高匹配网络效率,本文提出一种基于排名优化的自-互注意力机制。通过对位置编码后的一维输入特征图重塑形,采用类空间注意力机制挑选Top-m个活跃像素点的方法稀疏注意力图,成功地将点积注意力的时间复杂度从二次降为近线性。实验结果表明该方法在前向推理时耗时更短,并且能在一定程度上提升位姿估计精度。

基于综合几何关系稀疏自注意力机制的图像标注方法研究

针对基于Transformer框架的图像标注任务中提取视觉特征容易引入噪声问题且为了进一步提高视觉的上下文信息,提出了一种基于综合几何关系稀疏自注意力机制的图像标注方法。首先通过结合图像区域的绝对位置、相对位置和空间包含关系提取详细全面的视觉表示,获取图像中潜在的上下文信息;其次提出了注意力层权重矩阵的稀疏化方法,该方法解决了Transformer忽略图像区域的局部性并引入噪声信息的问题;最后,采用了强化学习方法作为指导策略,实现模型在句子级别优化目标序列。通过在MS-COCO数据集上进行的对比实验结果表明,提出的方法在BLEU1、BLEU4、METEOR、ROUGE-L、CIDEr和SPICE指标上分别比基线模型提升了0.2、0.7、0.1、0.3、1.2和0.4,有效提升了图像自动标注的性能。

采用稀疏自注意力机制和BiLSTM模型的细粒度情感分析

使用Word2vec训练词向量、循环神经网络和注意力机制进行情感分析时,存在着文本特征提取不全面、计算资源消耗过多、计算时间较长的问题。为解决这些问题,提出新的CBSA网络模型。该模型使用Cw2vec预训练的词向量作为输入,双向长短期记忆网络(BiLSTM)来对这些具有时序信息的文本进行全面特征的提取;使用分解后的稀疏自注意力机制(Sparse Self-Attention)再次对这些文本特征进行权重赋予;由Softmax对文本进行情感的分类。实验结果表明,使用Cw2vec训练的词向量相比Word2vec, F1-Score大约提高0.3%;CBSA模型相比未分解的自注意力机制(Self-Attention),内存消耗减少了大约200 MB,训练时间缩短了210 s。

基于视图融合和注意力机制的三维小目标识别

三维小目标识别是点云处理中的一个重要问题。针对小目标探测中点云稀疏导致网络提取特征少的问题,提出一种基于视图融合和注意力机制的点云识别网络。传统网络直接作用于单视角点云,其特征只包含目标的一部分,因此提出采用视图融合聚合不同视角下的局部点,以此增强全局特征。接着,针对聚合后的全局点特征提取困难的问题,提出采用注意力机制突出关键局部特征。实验结果表明,提出的方法在公开数据集ModelNet和真实环境中采集的Aircraft数据集上的效果都优于其它流行算法。

融合稀疏注意力和时间查询的视频目标检测

在视频目标检测任务中,检测精度受到多重因素影响,包括检测对象随时间的外观变化、视频文件的抖动、散焦导致单帧图像的模糊、重影等,为提高视频文件的目标检测精度、改善目标边缘检测模糊的问题,提出一种改进的端到端的视频目标检测网络。一方面,通过引入稀疏注意力机制使目标前景更加聚焦,减少注意力分散和背景干扰,提升边缘检测的精准度;另一方面,引入时间融合查询模块,利用具有更多信息的浅层编码器链接参考帧的时间查询,实现跨时间上下文的特征融合和目标帧的特征增强。此外,通过利用远近距离稀疏地选取参考帧来补充目标的运动模糊,同时减少冗余。在ImageNet VID和UA-DETRAC这两个数据集上分别对模型进行评估,准确率可达到92.3%和90.9%。实验结果表明,所提模型在视频目标检测任务上效果更好,综合性能较其他先进网络有所提升。

注意力机制与自适应尺度融合的场景文本检测

在场景文本检测任务中,由于图像背景复杂、文本实例尺度不一等问题,导致现有模型的文本检测精度不高。为此,本文设计了一种基于注意力机制与自适应尺度融合的场景文本检测模型。首先,通过引入高效通道注意力机制,提高了特征提取网络的表征能力,降低了文字的漏检率和误报率;其次,通过设计自适应尺度融合模块,动态融合不同尺度特征,增强了模型对不同尺度文本实例的检测和定位能力。实验结果表明,本文提出的模型在Total-Text和MSRATD500共2个数据集上的F综合指标分别达到85.1%和84.1%,在同类型算法中处于领先水平。

基于概率稀疏自注意力的船舶短期电力负荷预测

针对船舶电力负荷数据预测时存在的实时性差、存储数据量小且质量低等问题,提出一种结合数据插补、小波阈值去噪与概率稀疏自注意力(ProbSparse self⁃atten⁃tion)机制的新型短期负荷预测方法。首先,在数据预处理阶段,在不影响原始数据特征及趋势前提下通过插值填补缺失数据,扩充数据库以满足模型训练要求,同时考虑到原始船舶电力负荷数据可能存在噪声干扰等问题,为减小其对模型预测效果的影响,对原信号采用了小波阈值去噪处理的方法来改善数据质量。其次,在预测模型中引入概率稀疏自注意力机制,在有效捕获时序电力数据中的依赖关系和重要特征的同时,降低内存资源占用,减小模型复杂度,满足船舶电力负荷预测实时性要求,实现了预测精度与效率双优化。相较传统Transformer模型、ARIMA和LSTM模型,本文模型在均方根误差和平均绝对百分比误差上平均分别降低了13.1%、18.6%,效率平均提高24.0%以上,表明本文方法在船舶电力负荷数据预测模型准确度及效率上具有明显优势。

基于概率稀疏自注意力模型的非侵入式负荷分解

非侵入式负荷分解能将聚合能量分解为设备级的能源消耗,在能源管理、设备故障检测等领域具有重要意义。面向低频数据,提出了一种基于深度学习的非侵入式负荷分解方法。该方法利用自然语言处理领域的多头概率稀疏自注意力模型搭建核心分解网络,以一维的总功率序列作为输入,使用卷积和池化进行特征的提取,结合位置编码增强序列中数据之间的内在联系,再用核心分解网络进行特征处理;然后经过转置卷积和全连接进行特征映射,产生一维的单个电器功率,从而实现负荷的分解。最后使用英国家用电器级电力数据集(UK domestic appliance-level electricity,UK-Dale)对模型进行训练和验证,并与现有的3种基准负荷分解方法进行对比。结果表明,所提分解方法的分解性能有明显进步。

基于多尺度时空特征和篡改概率改善换脸检测的跨库性能

目前大多DeepFake换脸检测算法过于依赖局部特征,尽管库内检测性能尚佳,但容易出现过拟合,导致跨库检测性能不理想,即泛化性能不够好。有鉴于此,文中提出一种基于多尺度时空特征和篡改概率的换脸视频检测算法,目的是利用假脸视频中广泛存在的帧间时域不连续性缺陷来解决现有检测算法在跨库、跨伪造方式和视频压缩时性能明显下降的问题,改善泛化检测能力。该算法包括3个模块:为检测假脸视频在时域上留下的不连续痕迹,设计了一个多尺度时空特征提取模块;为自适应计算多尺度时空特征之间的时空域关联性,设计了一个三维双注意力机制模块;为预测随机选取的像素点的篡改概率和构造监督掩膜,设计了一个辅助监督模块。将所提出的算法在FF++、DFD、DFDC、CDF等公开大型标准数据库中进行实验,并与基线算法和近期发布的同类算法进行对比。结果显示:文中算法在保持库内平均检测性能优良的同时,跨库检测和抗视频压缩时的综合性能最好,跨伪造方法检测时的综合性能中等偏上。实验结果验证了文中算法的有效性。