融合局部特征与两阶段注意力权重学习的面部表情识别

面部的局部细节信息在面部表情识别中扮演重要角色,然而现有的方法大多只关注面部表情的高层语义信息而忽略了局部面部区域的细粒度信息。针对这一问题,提出一种融合局部特征与两阶段注意力权重学习的深度卷积神经网络FLF-TAWL(deep convolutional neural network fusing local feature and two-stage attention weight learning),它能自适应地捕捉重要的面部区域从而提升面部表情识别的有效性。该FLF-TAWL由双分支框架构成,一个分支从图像块中提取局部特征,另一个分支从整个表情图像中提取全局特征。首先提出了两阶段注意力权重学习策略,第一阶段粗略学习全局和局部特征的重要性权重,第二阶段进一步细化注意力权重,并将局部和全局特征进行融合;其次,采用一种区域偏向损失函数鼓励最重要的区域以获得较高的注意力权重。在FERPlus、Cohn-Kanada(CK+)以及JAFFE三个数据集上进行了广泛实验,分别获得90.92%、98.90%、97.39%的准确率,实验结果验证了FLF-TAWL模型的有效性和可行性。

基于对抗性注意力机制的行人再识别攻击方法

针对行人再识别系统鲁棒性的问题,提出一种基于对抗性注意力机制的行人再识别攻击方法。将通道注意力机制嵌入改造过的ResNet50网络,提取整个行人的显著特征;利用重新设计的掩码打破原注意力权重,混淆关注区域,降低行人再识别模型的识别能力;联合对抗三元组损失和对抗ID损失监督网络训练,得到行人图像匹配对错误排序,更适用行人再识别中对抗攻击的排序问题。在Market-1501和DukeMTMC-reID数据集上模拟攻击,实验结果表明,该方法能将主流行人再识别系统的Rank-1和平均精度均值(mAP)降低至0.1%,为设计行人再识别防御方法提高鲁棒性提供新启示。

融合注意力机制与权重聚类学习的行人再识别

行人图像在行人再识别中常通过行人检测器自动检测获得,不仅包含行人主体,还包含一些干扰信息(比如,背景、遮挡等)。在基于注意力机制的行人再识别中,增强了对具有显著性特征行人部件的关注,削弱了对带有干扰信息部件的关注,有利于提取更具辨别力的行人特征表示。在深度学习中,卷积神经网络通过对特征映射重新赋权值,得到注意力特征,提出了一种新颖的基于聚类的全局注意力模块(cluster-based global attention module,CGAM)。在CGAM中,将注意力权重学习过程重新考虑为聚类中心学习过程,将特征映射中的空间位置点视为特征节点,通过聚类算法得到每个特征节点的重要分数并进行归一化后作为注意力权重。利用改进的Resnet50作为基本框架,嵌入注意力模块,得到注意力网络,仅使用了全局分支,具有简单高效特点。综上,基于聚类的注意力设计不仅充分利用了特征节点之间的成对相关性,而且挖掘了丰富的全局结构信息,得到一组更可信的注意力权重。实验结果表明,提出的行人再识别算法在Market-1501和DukeMTMC-reID两个流行数据集上均有显著的效果。

基于注意力的毫米波雷达与视觉融合方法

针对毫米波雷达与视觉传感器融合在数据层融合时对行人和小物体的检测效果不佳,以及特征层融合时权重难以分配的问题,提出一种基于注意力的融合方法,能够有效地解决以上两个问题。首先,在数据层的空间上利用雷达的空间信息确定重点检测区域,并且突出重点检测区域的特征,形成空间上的软注意力;其次,在特征层的通道上用通道注意力权重学习方法,对融合特征权重进行分配。通过在晴天、雨天和夜间等多种光照环境下进行实验,表明该融合方法能够有效地提高检测精度和召回率。

基于出行模式的注意力机制可解释性探索

为了探索深度注意力模型在地铁出行预测任务中的可解释性,提出基于出行模式的注意力权重擦除方法和可解释性评估框架。利用提出的地铁出行深度注意力框架搭建预测模型,使用广州地铁羊城通数据构造三种不同长度出行序列数据集进行模型训练和验证,达到70%以上准确率;通过单一出行模式的注意力权重擦除实验发现,擦除最大注意力权重的出行模式比随机模式更能显著地影响模型预测结果,但大多数样本不发生预测结果的变化。即注意力机制在该条件下提供的可解释性信息是有限的,且该信息量随着序列长度增加而减小;通过一组出行模式注意力权重擦除实验结果表明,按注意力权重降序擦除能最快使模型预测结果发生变化,并且模型能稳定地对重要的出行模式的出行记录分配注意力权重,即注意力机制在该条件下较好地提供了可解释性信息,且该信息量随着序列长度增加而增大。

基于特征重构自愈残差网络的神经元形态分类

针对不同类别神经元之间的形态相似度高、类内区别性大,容易导致神经元分类准确率不高的问题,提出了一种基于特征重构自愈残差网络的神经元形态分类方法。针对传统卷积造成边缘像素弱化和填充策略带来新像素侵蚀特征的问题,在基础网络后端构建特征重构模块来保留重要的中心特征并过滤受损的边缘特征。利用自注意力权重模块和排序正则化损失方法增强对神经元形态特征的关注。自注意力权重模块为每个样本重新分配权重,以此捕获样本重要性进行加权损失;排序正则化模块则将这些权重按降序重新排序,分为高低2组权重,同时通过在2组平均权重之间强制执行边距进行正则化处理。所提方法在大鼠神经元形态数据集上进行实验,实现了较为优良的分类效果,在Img-raw、Img-resample和Img-XYalign数据集上进行十二分类的准确率分别达到了96.7%,86.94%,85.84%。与其他分类方法相比,所提方法具有更高的神经元形态分类准确率,相较于基础网络ResNet18,有效地提升了神经元形态分类准确率。

基于Deeplab V3 Plus的自适应注意力机制图像分割算法

针对Deeplab V3 Plus在下采样操作中图像细节信息和小目标信息过早丢失的问题,提出了一种基于Deeplab V3 Plus网络架构的自适应注意力机制图像语义分割算法。首先,在Deeplab V3 Plus主干网络的输入层、中间层和输出层均嵌入注意力机制模块,并且引入一个权重值与每个注意力机制模块相乘,以达到约束注意力机制模块的目的;其次,在PASCAL VOC2012公共分割数据集上训练嵌入注意力模块的Deeplab V3 Plus,以此手动获取注意力机制模块权重值(经验值);然后,探索输入层、中间层和输出层中注意力机制模块的多种融合方式;最后,将注意力机制模块的权重值更改为反向传播自动更新,从而得到注意力机制模块的最优权值和最优分割模型。实验结果表明,与原始Deeplab V3 Plus网络结构相比,引入自适应注意力机制的Deeplab V3 Plus网络结构在PASCAL VOC2012公共分割据集和植物虫害数据集上的平均交并比(MIOU)分别提高了1.4个百分点和0.7个百分点。

基于图卷积与多头注意力的图文跨模态检索

针对现有跨模态检索方法难以衡量各节点数据权重和模态内局部一致性的问题,提出一种基于多头注意力机制的图文跨模态检索方法。首先在构建模态图时,将单个图文样本作为独立节点,采用图卷积提取各样本间的交互信息,提高不同模态数据内的局部一致性;然后在图卷积中引入注意力机制,自适应学习各个邻居节点的权重系数,从而区分不同邻居节点对中心节点的影响力;最后构建带有权重参数的多头注意力层,充分学习节点间的多组相关特征。与现有8种方法相比,该方法在Wikipedia数据集和Pascal Sentence数据集上进行实验得到的mAP值,分别提升了2.6%—42.5%和3.3%—54.3%。

基于Transformer的多尺度工件编码识别算法

提出了一种基于Transformer结构的多尺度工件编码识别算法,旨在解决当前工件编码识别中存在的挑战与局限性.描述了多尺度特征提取和融合的实现方法,重点介绍了Transformer模块的优化策略.通过卷积和池化操作获得了一组在不同尺度和层级上的特征,针对这些特征引入了一个创新的缩放因子,用于调整Transformer模块中的注意力权重,更精确地捕捉和融合不同尺度的特征信息.提出了缩放因子计算方法,该方法直接依赖于查询(Query)和键(Key)的信息,可以更为直观地反映出不同尺度特征在注意力计算中的重要性.实验结果表明,此方法在处理多尺度工件编码特征时表现出了较高的准确率和稳健性,可有效提升工件编码识别的性能.

基于多维动态卷积的运动想象脑电识别

基于运动想象的脑机接口(Brain Computer Interface, BCI)可以帮助残疾人控制机械手臂等外部设备,其中脑电信号解码是关键所在。但是不同个体间的脑电信号差异很大,使得传统的深度学习模型所采用的静态卷积很难自适应地提取脑电特征。为解决这个问题,本文提出了基于多维动态卷积的深度学习模型(Multidimensional Dynamic Convolution Net, MDconvnet),该模型通过三层多维动态卷积来提取特征,并将提取的特征输入到全连接层来获取分类结果。其中多维动态卷积会依据输入的数据,生成卷积多维度的注意力权重,并将该权重与卷积参数相乘来动态地调节卷积参数,以便更好地挖掘数据时空特征。本文采用2023运动想象数据集RankA和数据集RankB对MDConvnet模型进行了测试,同时与多个经典的运动想象识别模型(FBCSP、EEGnet、EEGTCN、FBCnet、Tesecption、STASCNN、Deepconvnet和VIT)进行性能对比。结果显示MDConvnet模型在RankA和RankB数据集上的平均准确率分别为64.20%和67.04%,超过其他算法模型,展现出了MDConvnet模型在运动想象脑电识别任务上的优异性能,为残疾人通过脑机接口控制外部设备提供了有力的支持。

基于DALSTM和联合分位数损失的海上风电功率概率预测

传统特征关联方法的预设阈值限制及分位数损失中各分位点损失的量级差异,使得海上风电功率概率预测精度受限。为了提高概率预测精度,提出了一种基于多任务联合分位数损失的双重注意力概率预测模型(MT-DALSTM)。首先,引入特征和时序双重注意力机制对特征间的关联关系和时序依赖性进行挖掘,赋予关键特征和时间点信息以注意力权重来提升功率预测的准确性;其次,在模型训练方面,采用一种基于任务不确定性的多任务联合分位数损失,通过动态调整各损失权重占比来提升最终预测结果的综合性能指标;最后,基于东海大桥海上风电场真实数据仿真验证结果表明:相比于现有的风电概率预测研究,所提方法在锐度、可靠性、综合性能指标上均具有明显提升,验证了该模型提高预测精度的有效性。

基于决策场理论的公交出行多阶段动态决策

针对城市公交出行决策问题,采用改进决策场模型从心理微观偏好进化的角度对两阶段出行决策行为进行了研究。提取了不同公交方式的同质属性构建属性矩阵;结合出行者个体特征和交通属性状态的波动构建注意力权重矩阵,同时优化了注意力转移概率的计算方法。通过问卷调查与计算机仿真相结合的方式对偏好进化过程进行分析,结果显示:出行者存在偏好震荡现象,且在短时思考时间内更加明显;在出行过程中进行决策时,换乘行为的触发需要更多的偏好进化时间;同一时刻下,个人对不同的交通方式的属性注意力是独立分布的;反馈矩阵中的记忆效应和方案竞争性对决策的形成时间有显著影响,强记忆效应和弱竞争性下的偏好进化速度更快。决策场模型可对公交出行动态决策行为进行描述。

基于改进四元傅里叶变换的显著性检测及其视频编码应用

针对基于感兴趣区域的有损视频压缩在低码率编码条件下容易产生明显的编码人工痕迹,提出一种基于注意力权重矩阵的四元傅里叶变换的视觉显著性视频编码模型。该方法引入人眼视觉注意力权重矩阵对不同区域图像四元数予以加权,该四元数由图像的亮度、色度和运动特征组成。图像视觉显著图可由其四元数特征的四元傅里叶相位谱获取。结合中心凹恰可觉察失真(FJND)模型将其应用于基于感兴趣区域视频编码,可提高视频编码质量。与五种流行的显著性检测算法在两个大型眼动跟踪数据库上进行对比实验,结果表明提出的算法显著性检测精度明显高于对比算法。此外,与最新的基于显著性视频编码方法在10段标准视频上进行编码视频的主观质量对比,该方法能提高低码率编码视频的主观视觉质量,且优于对比算法。

AM-LSTM网络的北京平原东部地面沉降模拟

基于传统数值方法构建的地面沉降模拟预测模型需要大量的水文地质数据和实测数据,对于地质条件复杂地区的形变模拟预测难度大。本文基于PS-InSAR技术获取的北京平原东部地区的地面沉降信息,综合考虑不同层位地下水水位对沉降的影响,采用基于注意力机制的长短时记忆网络(AM-LSTM)对不同沉降发育地区典型位置处的地面沉降进行模拟。结果表明:(1)研究区地面沉降空间差异性明显,2010年11月—2016年8月最大沉降速率约153 mm/a,累计沉降量达到1063 mm,位于朝阳区三间房乡附近;(2)基于AM-LSTM模型的模拟精度优于传统LSTM模型,本次模拟精度最高提升了22%;(3)AM-LSTM模型注意力权重表明,第二承压含水层水位对地面沉降贡献最大。本次研究能够为地面沉降防控提供可靠的技术支撑。