时间感知的双塔型自注意力序列推荐模型

用户的偏好具有聚合性和漂移性。现有推荐算法在序列建模框架中融合了交互时间相关性的建模,取得了很大的性能改善,但它们在建模时仅考虑了交互的时间间隔,使得它们在捕捉用户偏好的时间动态方面存在局限性。首先,提出了一种新的时间感知的位置嵌入方法,将时间信息与位置嵌入相结合,帮助模型学习时间层面的项目相关性。随后,在时间感知位置嵌入基础上,提出了时间感知的双塔自注意力序列推荐模型(TiDSA)。TiDSA包含项目级和特征级的自注意力模块,分别从项目和特征两个角度对用户偏好随时间变化的过程进行分析,实现了对时间、项目和特征的统一建模,并且在特征级自注意力模块,设计了多维度的自注意力权重计算方式,从特征维度、项目维度和项目与特征交叉维度充分学习特征之间的相关性。最后,TiDSA将项目级与特征级的信息相融合得到最终的用户偏好表示,并根据该表示为用户提供可靠的推荐结果。四个真实推荐数据集的实验结果表明,TiDSA的性能优于许多先进的基线模型。

基于多尺度卷积和自注意力特征融合的多模态情感识别方法

基于生理信号的情感识别受噪声等因素影响,存在准确率低和跨个体泛化能力弱的问题。对此,提出一种基于脑电(EEG)、心电(ECG)和眼动信号的多模态情感识别方法。首先,对生理信号进行多尺度卷积,获取更高维度的信号特征并减少参数量;其次,在多模态信号特征的融合中使用自注意力机制,以提升关键特征的权重并减少模态之间的特征干扰;最后,使用双向长短期记忆(Bi-LSTM)网络提取融合特征的时序信息并进行分类。实验结果表明,所提方法在效价、唤醒度和效价/唤醒度四分类任务上分别取得90.29%、91.38%和83.53%的识别准确率,相较于脑电单模态和脑电/心电双模态方法,准确率上提升了3.46~7.11和0.92~3.15个百分点。所提方法能够准确识别情感,在个体间的识别稳定性更好。

基于概率稀疏自注意力的航空发动机剩余寿命预测

航空发动机剩余寿命预测对其健康管理具有重要意义,针对长序列、多维度的航空发动机监测参数,提出一种基于概率稀疏自注意力(ProbSparse Self-Attention)的Transformer模型以实现航空发动机剩余寿命的准确预测。用ProbSparse Self-Attention取代原始Transformer中的常规自注意力机制,使得模型更关注时间序列中重要的时间节点,大幅缩减时间维度,减小了时间和空间复杂度;通过注意力层整合后的信息,进一步通过前馈神经网络层和卷积层,提取传感器的空间特征,编码层之间通过扩张因果卷积相连接,扩大了感受野,提高了模型对长序列信息的捕获能力。在新公开的N-CMAPSS数据集上验证算法,实验结果表明,相比于实验中的对比模型,所提模型的RMSE和Score值均有提升,推理速度也优于其他模型。

深度复数轴向自注意力卷积循环网络的语音增强

单通道语音增强任务中相位估计不准确会导致增强语音的质量较差,针对这一问题,提出了一种基于深度复数轴向自注意力卷积循环网络(deep complex axial self-attention convolutional recurrent network,DCACRN)的语音增强方法,在复数域同时实现了语音幅度信息和相位信息的增强.首先使用基于复数卷积网络的编码器从输入语音信号中提取复数表示的特征,并引入卷积跳连模块用以将特征映射到高维空间进行特征融合,加强信息间的交互和梯度的流动.然后设计了基于轴向自注意力机制的编码器-解码器结构,利用轴向自注意力机制来增强模型的时序建模能力和特征提取能力.最后通过解码器实现对语音信号的重构,同时利用混合损失函数优化网络模型,提升增强语音信号的质量.实验在公开数据集Valentini和DNS Challenge上进行,结果表明所提方法相对于其他模型在客观语音质量评估(perceptual evaluation of speech quality,PESQ)和短时客观可懂度(short-time objective intelligibility,STOI)两项指标上均有提升,在非混响数据集中,PESQ比DCTCRN(deep cosine transform convolutional recurrent network)提高了12.8%,比DCCRN(deep complex convolutional recurrent network)提高了3.9%,验证了该网络模型在语音增强任务中的有效性.

基于层级过滤器和时间卷积增强自注意力网络的序列推荐

针对实际推荐场景中用户意外交互产生的噪声问题,以及自注意力机制中注意力分布分散导致用户短期需求偏移难以捕获的问题,提出一种基于层级过滤器和时间卷积增强自注意力网络的序列推荐(FTARec)模型。首先,通过层级过滤器过滤原始数据中的噪声;其次,结合时间卷积增强自注意力网络和解耦混合位置编码获取用户嵌入,该过程通过时间卷积增强补充自注意力网络在项目短期依赖建模上的不足;最后,结合对比学习改善用户嵌入,并根据最终用户嵌入进行预测。相较于自注意力序列推荐(SASRec)、过滤增强的多层感知器序列推荐方法(FMLPRec)等现有序列推荐模型,FTARec在3个公开数据集Beauty、Clothing和Sports上取得了更高的命中率(HR)和归一化折损累计增益(NDCG),相较于次优的DuoRec,HR@10分别提高了7.91%、13.27%和12.84%,NDCG@10分别提高了5.52%、8.33%和9.88%,验证了所提模型的有效性。

密集级联卷积与自注意力特征聚合的视网膜血管分割算法

针对视网膜图像中细小血管分割困难以及血管分割过程中出现断裂的问题,构建了一种密集级联卷积与自注意力特征聚合的网络用于视网膜血管图像的分割。该网络采用多尺度密集卷积结合自注意力机制;为更好的提取视网膜细小血管复杂的特征信息,构建密集聚合模块作为U型网络的骨干网络;在网络底层嵌入自注意力摸块和多尺度聚合模块,以提升感受野和获取高维语义特征信息;在模型的跳跃连接部分采用特征聚合模块,提升模型的分割精度。实验结果表明,在DRIVE公开数据集上,该网络的F1-sore指标达到83.19%,准确率ACC指标达到97.11%,AUC值达到了98.94%;在CHASE-DB1和STARE数据集上,相比于Unet、DUNet、SA-Unet和FR-Unet等网络,该网络的AUC指标均达到了目前最好效果。采用该网络进行视网膜血管分割,分割的精度和鲁棒性均有不同程度的提升,对细小血管分割及其泛化能力达到了优异的效果.

基于TCN-BiGRU结合自注意力机制的储粮温度预测研究

粮食仓储管理对于国家具有重要意义,储粮温度是判断粮食仓储安全的重要指标之一。准确地预测储粮温度并及时做出相应的防护措施能够有效降低粮食仓储损耗。针对传统储粮温度预测模型预测准确度较低的问题,提出一种融合时域卷积网络(TCN)、自注意力机制(Self-Attention)和双向门控循环单元(BiGRU)的网络模型。首先通过TCN提取储粮温度数据的局部特征,并根据储粮温度数据的时序特征将自注意力机制加入网络为不同粮情特征分配权重,突出对储粮温度预测影响更大的特征,之后利用BiGRU网络学习粮情序列的双向依赖关系来获取序列中的更多信息,实现对储粮温度的预测。结果表明,所提出的模型均方根误差RMSE为0.389 5,平均绝对误差MAE为0.328 1,确定系数R2为0.991 2,与其他模型相比误差小,预测精度高,能够为粮仓的温度管控提供决策依据。

基于自注意力PPO算法的智能配电网多设备协同无功优化控制策略

针对智能配电网无功可调控资源多样化场景下的快速趋优难题,提出了一种基于多头自注意力近端策略优化算法的多设备协同无功优化控制方法。首先,将无功优化问题建模为马尔可夫决策过程;然后,在深度强化学习框架下使用多头自注意力改进近端策略优化(PPO)算法对策略网络进行优化训练,算法采用多头自注意力网络获取配电网的实时状态特征,并通过剪切策略梯度法动态控制策略网络的更新幅度;最后,在改进IEEE69节点系统进行仿真验证。结果表明,所提算法的控制性能优于现有先进强化学习算法。

多尺度特征和极化自注意力的Faster-RCNN水漂垃圾识别

针对小目标水漂垃圾形态多变、分辨率低且信息有限,导致检测效果不理想的问题,提出一种改进的Faster-RCNN(Faster Regions with Convolutional Neural Network)水漂垃圾检测算法MP-Faster-RCNN(Faster-RCNN with Multi-scale feature and Polarized self-attention)。首先,建立黄河兰州段小目标水漂垃圾数据集,将空洞卷积结合ResNet-50代替原来的VGG-16(Visual Geometry Group 16)作为主干特征提取网络,扩大感受野以提取更多小目标特征;其次,在区域生成网络(RPN)利用多尺度特征,设置3×3和1×1的两层卷积,补偿单一滑动窗口造成的特征丢失;最后,在RPN前加入极化自注意力,进一步利用多尺度和通道特征提取更细粒度的多尺度空间信息和通道间依赖关系,生成具有全局特征的特征图,实现更精确的目标框定位。实验结果表明,MP-Faster-RCNN能有效提高水漂垃圾检测精度,与原始Faster-RCNN相比,平均精度均值(mAP)提高了6.37个百分点,模型大小从521 MB降到了108 MB,且在同一训练批次下收敛更快。

基于自注意力融合的不完整多视图聚类算法

基于不完整数据的多视图聚类任务已经成为无监督学习领域的研究热点之一。然而大多数基于“浅层”模型的多视图聚类算法通常在面对大规模高维数据时难以提取和刻画视图内的潜在特征结构;同时,堆叠或求平均的多视图信息融合方式忽视了视图之间的差异性,没有充分考虑各视图对构建公共一致表示的不同贡献。针对以上问题,提出一种基于自注意力融合的不完整多视图聚类算法(IMVCSAF)。首先,基于深度自编码器提取各视图的潜在特征,并采用对比学习的方式最大化各视图间的一致性信息;其次,采用自注意力机制对各视图的潜在表示进行重新编码和融合,并全面考虑和挖掘不同视图之间的内在因果性和特征互补性;再次,基于公共一致表示对缺失实例样本的潜在表示进行预测和恢复,从而完整地实现多视图聚类的过程。在Scene-15、LandUse-21、Caltech101-20和NoisyMNIST数据集上的实验结果表明,IMVCSAF在满足收敛性要求的前提下得到的准确率均高于其他对比算法,而在50%缺失率的Noisy-MNIST数据集上,IMVCSAF的准确率比次优的COMPLETER(inCOMPlete muLti-view clustEring via conTrastivE pRediction)算法提高了6.58个百分点。

基于自注意力机制的深度强化学习交通信号控制

交通信号控制(Traffic Signal Control, TSC)仍然是交通领域中最重要的研究课题之一。针对现有基于深度强化学习(Deep Reinforcement Learning, DRL)的交通信号控制方法的状态需要人为设计,导致提取交通状态信息难度大以及交通状态信息无法全面表达的问题,为了从有限特征中挖掘潜在交通状态信息,从而降低交通状态设计难度,提出一种引入自注意力网络的DRL算法。首先,仅获取交叉口各进入口车道车辆位置,使用非均匀量化和独热编码方法预处理得到车辆位置分布矩阵;其次,使用自注意力网络挖掘车辆位置分布矩阵的空间相关性和潜在信息,作为DRL算法的输入;最后,在单交叉口学习交通信号自适应控制策略,在多交叉口路网中验证所提算法的适应性和鲁棒性。仿真结果表明,在单交叉口环境下,与3种基准算法相比,所提算法在车辆平均等待时间等指标上具有更好的性能;在多交叉口路网中,所提算法仍然具有良好的适应性。

面向点击率预测的自注意力深度域嵌入因子分解机

点击率(CTR)预测通过预测用户对广告或商品的点击概率,实现数字广告精准推荐。针对现有CTR模型存在原始嵌入向量未精化、特征交互方式偏简单的问题,本文提出自注意力深度域嵌入因子分解机(self-attention deep field-embedded factorization machine,Self-AtDFEFM)模型。首先,通过多头自注意力对原始嵌入向量加权,精化出关键低层特征;其次,构建深度域嵌入因子分解机(FEFM)模块,设计域对对称矩阵以提升不同特征域之间的交互强度,为高阶特征交互优选出低阶特征组合;再次,基于低阶特征组合构建深度神经网络(DNN),完成隐式高阶特征交互;然后,围绕精化后的嵌入向量,联合多头自注意力与残差机制堆叠多个显式高阶特征交互层,通过自注意力捕获同一特征在不同子空间上的互补信息,完成显示高阶特征交互;最后,联合显式与隐式高阶特征交互实现点击率预测。在Criteo和Avazu两大公开数据集上,将Self-AtDFEFM模型与主流基线模型在AUC和LogLoss指标上进行对比实验;为Self-AtDFEFM模型调制显式高阶特征交互层层数、注意力头数量、嵌入层维度及隐式高阶特征交互层层数等参数;对Self-AtDFEFM模型进行消融实验。实验结果表明:在两大数据集上,Self-AtDFEFM模型的AUC、LogLoss均优于主流基线模型;Self-AtDFEFM模型的全部参数已调为最佳;各模块形成合力以促使Self-AtDFEFM模型性能达到最优,其中显示高阶特征交互层的作用最大。Self-AtDFEFM模型各模块即插即用,易于构建和部署,且在性能与复杂度之间取得平衡,具备较高实用性。

一种用于多域对话状态追踪的知识增强与自注意力引导的图神经网络

对话状态追踪是对话系统的重要组成部分,旨在从用户与系统的对话中跟踪用户意图,其通常表示为槽位-槽值对序列.近年来,深度神经网络模型在对话状态追踪问题上取得了较大进展.然而,现有模型在槽位相关性建模方面还存在可拓展性差与易引入噪声等问题.针对上述问题,本文提出了一种知识增强与自注意力引导的图神经网络KESA-GNN(Knowledge-Enhanced&Self-Attention Guided Graph Neural Network).首先,KESA-GNN通过外部知识嵌入增强槽的语义表征提升多头自注意力机制对槽位间相关性的辨别能力.其次,为了精确建模槽位间的诸如共指、共现等相关性,提出了一种自注意力引导的图神经网络建模槽位相关性.该网络采用多头注意力机制获得槽位间的注意力矩阵以及槽位表征,通过Max-N Relation算法获得注意力矩阵中强相关关系集,将稠密的注意力矩阵稀疏化,从而引导图神经网络中强相关槽位间的信息传播,降低无关槽位的噪声影响.最后,KESA-GNN采用门控融合机制过滤槽位多头注意力和图神经网络输出的槽位表征,从而获取更准确的槽位表征向量,进一步提升了KESA-GNN的鲁棒性.在多域对话数据集上的实验结果表明,KESA-GNN模型的性能优于最新的基线模型.

基于自注意力机制神经机器翻译的软件缺陷自动修复方法

循环神经网络对于代码序列数据有着良好的处理能力,软件缺陷修复的补丁生成模型大多采用循环神经网络实现.然而,基于循环神经网络的补丁生成模型在处理代码序列中长距离依赖问题时仍然具有局限性,其修复成功率和修复效率较低.针对此问题,提出一种基于自注意力神经机器翻译的软件缺陷自动修复方法(Self-attention Neural machine translation based automatic software Repair,SNRepair).首先,为有效缓解源码中的未登录词问题,对数据集引入子词切分技术进行预处理;其次,为解决源代码中棘手的长距离依赖问题并更充分地利用局部信息,构建融合局部建模的Transformer程序补丁生成模型;然后,采用缺陷自动定位技术定位缺陷语句位置,利用参数优化后的Transformer补丁生成模型生成候选补丁;最后,运行测试用例验证候选补丁.在具有395个真实Java软件缺陷的Defects4J缺陷库上实验评估,结果表明SNRepair方法与对比方法比较,修复成功率和修复效率更高.

基于自注意力机制和改进的K-BiLSTM的水产养殖水体溶解氧含量预测模型

为精确预测水产养殖水体溶解氧含量,本研究提出一种基于自注意力机制(ATTN)和改进的K-means聚类-基于残差和批标准化(BN)的双向长短期记忆网络(BiLSTM)的水产养殖水体溶解氧含量预测模型。首先,根据环境数据的相似性,使用改进的K-means算法将数据划分成若干个类别;然后,在BiLSTM基础上构建残差连接和加入BN完成高层次特征提取,利用BiLSTM的长期记忆能力保存特征信息;最后,引入自注意力机制突出不同时间节点数据特征的重要性,进一步提升模型的性能。试验结果表明,本研究提出的基于自注意力机制和改进的K-BiLSTM模型的平均绝对误差为0.238、均方根误差为0.322、平均绝对百分比误差为0.035,与单一的BP模型、CNN-LSTM模型、传统的K-means-基于残差和BN的BiLSTM-ATTN等模型相比具有更优的预测性能和泛化能力。

融合空洞卷积和自注意力的民航监管文本分类

针对不平衡的短文本数据集的文本分类,提出了一种结合数据增强、空洞卷积和概率稀疏自注意力(ProbSparse SelfAttention)的短文本分类方法。首先,通过Ro Former-Sim解决了样本类别不平衡的问题。其次,在嵌入层中使用Ro BERTa获得字嵌入向量。然后,使用Text RCNN的结构通过特征提取来提取文本中包含的信息。同时,在池化层使用了空洞卷积来防止重要信息的丢失,并使用概率稀疏自注意力来获得不同字嵌入向量的权重。所提出的模型在民航监管事项检查记录数据集上的分类F1值达到96.31%。与其它经典的深度学习算法的对比实验结果表明,上述模型在短文本数据集上应用表现良好。

自注意力机制模型在烟草业务系统运维中的应用

本文针对烟草业务系统日常运维中,对生产异常,特别是物料损耗异常发现难、追溯排查难的问题,设计并实现了一种基于双向长短期记忆模型(bi-directional long short-term memory,Bi-LSTM)和自注意力机制的损耗异常分析模型。以烟丝损耗异常检查为例介绍该模型,以卷包系统的时序剔除数据为输入,判断原材料损耗是否存在异常。该分析模型可用于烟草业务系统日常监控运维,自动识别各生产阶段物料损耗异常,并通过注意力权重从空间和时间维度解释分析结果,为人工排查提供先验,辅助生产管理,提升运维系统的智能化。

融合自注意力机制的多行为图对比学习推荐方法

图卷积网络因其强大的高阶协作信号学习能力被广泛地应用在多行为推荐系统中.然而,目前大多数基于图卷积的多行为推荐方法未能有效建模不同用户/项目节点与各行为间的关系,且目标行为的稀疏性也困扰着多行为推荐算法性能的进一步提升.基于此,提出一种融合自注意力机制的多行为图对比学习推荐模型(Multi-Behavior Graph Contrastive Learning recommendation method with Self-Attention mechanism,SA-MBGCL).该方法将用户/项目节点嵌入与行为嵌入相结合,并使用自注意力机制增强嵌入表示,以有效建模不同节点与各行为间的依赖关系.同时,构建一种图对比学习方式,将同一用户的目标行为与辅助行为视为正例对,而不同用户的视为负例对,以强化不同用户的行为差异,达到缓解目标行为稀疏性的目的.将非采样的推荐任务与多行为图对比学习进行多任务联合优化,在Beibei与Taobao这2个公开数据集上,和6个单行为模型与10个多行为模型进行对比,结果表明,所提模型SA-MBGCL在HR(Hit Ratio)和NDCG(Normalize Discounted Cumulative Gain)这2个指标上分别平均提升5.21%和8.30%,说明本文方法是有效的.

基于纯自注意力机制的毫米波雷达手势识别

在构建智慧控制,万物互联的背景下,通过手势远程控制设备,进行人机交互逐渐成为研究热点。对此,提出了一种以毫米波雷达为传感器,采用基于纯自注意力机制模型实现手势识别的方法。首先,采集正面视角的13类手势的时序回波数据。接着,对数据进行三维快速傅里叶变换(three-dimension fast Fourier transform,3D-FFT)、动目标显示(moving target indication,MTI)、恒虚警率(constant false alarm rate,CFAR)检测操作并进行固定种类特征提取,将这些特征传入基于纯自注意力机制网络的雷达特征变换(radar feature transformer,RFT)网络。最后,基于实测数据完成了数据特征提取、网络训练、手势识别等步骤。实验结果表明,所提方法在测试集上准确率达到95.38%,网络训练时间短,模型复杂度低,泛化性好,为现有研究提供了新的研究思路。

结合极化自注意力和Transformer的结直肠息肉分割方法

针对传统结直肠息肉图像分割方法存在的目标分割不够精确、对比度不足,以及边缘细节模糊等问题,文中结合极化自注意力和Transformer提出了一种新的结直肠息肉图像分割方法。首先,设计了一种改进的相位感知混合模块,通过动态捕捉Transformer结直肠息肉图像的多尺度上下文信息,以使目标分割更加精确。其次,在新方法中引入了极化自注意力机制,实现了图像的自我注意力强化,使得到的图像特征可以直接用于息肉分割任务中,以达到提高病灶区域与正常组织区域对比度的目的。另外,利用线索交叉融合模块加强动态分割时对图像几何结构的捕捉能力,以达到提升结果图像边缘细节的目的。实验结果表明,文中提出的方法不仅能够有效地提升结直肠息肉分割的精确度和对比度,并且还能够较好地克服分割图像细节模糊的问题。在数据集CVC-ClinicDB、Kvasir、CVC-ColonDB和ETIS-LaribPolypDB上的测试结果表明,文中所提新方法能够取得更好的分割效果,其Dice相似性指数分别为0.946、0.927、0.805和0.781。