融合Res3D、BiLSTM和注意力机制的羊只行为识别方法

识别动物行为可以为疾病预防和合理喂养提供重要依据,从而有助于更好地关注动物的健康和福利。本文提出了一种融合三维残差卷积神经网络、双向长短期记忆网络和注意力机制的深度学习网络模型(AdRes3D-BiLSTM)。AdRes3D-BiLSTM模型可以直接针对视频流进行识别,在AdRes3D部分引入了深度可分离卷积和注意力机制,不但减少了浮点运算量,提升了网络轻量化程度,还提高了时间和空间两个维度的特征提取能力;提取的特征被输入BiLSTM模块后,从前后2个方向对时序特征向量进行筛选和更新,最后对羊只行为进行准确识别。试验结果表明,AdRes3D-BiLSTM对羊只站立、躺卧、进食、行走和反刍5种行为的综合识别准确率达到了98.72%,帧速率达到52.79 f/s,模型内存占用量为28.03 MB。研究结果为基于视频流的动物行为识别提供了新的方法和思路。

基于可变形注意力机制的多模态3D目标检测算法

3D目标检测是自动驾驶技术的基础,融合激光点云和图像等模态的信息可以有效地提高目标检测的准确性和鲁棒性。文章改进了现有融合激光点云和图像等模态信息的3D目标检测网络,提出了一种新的并行融合模块,用于同时维护两种模态下的特征信息,减少信息损失。此外,利用掩码特征增强模块,提高受遮挡物体的检测能力。在KITTI(Karlsruhe Institute of Technology and Toyota Technological Institute)数据集上进行了验证,实验结果表明,相比于基准网络,该方法有效提高了3D目标检测的性能,平均精度达到了77.41%,同时优于目前大多数的先进方法。

基于多序列MRI的3D关系注意力网络预测HLA-B27阴性中轴性脊柱关节病

目的建立一种新的3D多序列关系注意力网络,通过探索不同磁共振成像(MRI)序列图像的互补和相关信息,提升对人类白细胞抗原(HLA)-B27阴性中轴性脊柱关节病(axSpA)的诊断性能。方法回顾性收集2010年1月~2021年8月南方医科大学第三附属医院(TAH组)的375例和南海医院(NHH组)的49例HLA-B27阴性参与者(TAH组:164例axSpA,211例非axSpA;NHH组:27例axSpA,22例非axSpA)的两种参数MRI,包括T1加权图像(T1WI)和压脂序列MRI(FS-MRI),以及相关临床数据。提出一个基于多序列MRI的3D关系注意力网络MSFANet,实现对HLA-B27阴性axSpA与非axSpA的自动鉴别诊断。MSFANet由一个浅层共享特征模块和一个类感知特征学习模块组成,其中类感知特征学习模块采用3D多序列关系注意力机制对多序列MRI特征进行细化和融合。提出一种混合损失函数,通过学习不同支路的损失权重系数来提升MSFANet对序列特征的识别能力,从而增强分类性能。结果实验结果表明,MSFANet优于其它几种最先进的多序列融合算法,其中内部验证集上的AUC、准确度、敏感度和特异度分别达到了0.840,77.93%,83.70%和70.29%,独立外部验证集(NHH)上的上述性能分别达到了0.783,74.47%,82.43%和70.40%。各项差异均具有统计学意义(P<0.05)。此外,消融实验显示,相同框架下,MSFANet的性能优于基于单序列MRI的模型,证实了融合多序列MRI的有效性和必要性。深度可视化技术显示MSFANet在分类过程中集中于学习图像异常区域的信息。结论本研究成功构建基于多序列MRI的3D深度神经网络对HLA-B27阴性axSpA和非axSpA进行鉴别诊断,并验证了采用多序列关系注意力机制对提升网络分类性能的有效性。

融合自注意力与残差神经网络的3D打印激光在机测量误差修正方法

激光测量能够实现高效地非接触实时测量,被广泛应用于3D打印领域,但激光测量容易受测量条件、外部环境等多种因素的干扰,这些因素错综复杂,难以量化分析。为此,结合直射式激光三角测量原理,在分析测量精度影响因素的基础上,提出了一种基于融合自注意力和残差神经网络的3D打印在机测量误差修正方法。首先,将影响测量精度的因素作为输入变量,采集激光测量值,得到样本数据集;然后利用残差网络提取出样本数据的深层次特征,并引入自注意力机制建立影响因素之间的联系,得到带权重的提取特征;再通过全连接网络对带权重特征进行学习,得到测量误差的预测值,基于该预测值完成对测量误差的修正。自主搭建了一套激光在机测量系统,采用红、绿、紫3种同材质彩色卡纸进行实验验证。结果表明,所提的方法与卷积神经网络和自注意力神经网络相比,均方误差、均方根误差和平均绝对误差均最小,稳定性最好,修正结果最接近真实值;对激光测量结果进行校正后,使其误差由原来的±28μm减小到±9μm以下,显著提高了3D打印激光在机测量的精度和稳定性。

采用带注意力机制3D U-Net网络的地质模型参数化技术

针对卷积神经网络增强的主成分分析技术(CNN-PCA)这种地质模型参数化技术在油藏复杂地质特征刻画精度和泛化能力方面存在的问题,不使用预训练好的C3D视频动作分析模型来提取三维模型风格特征,而使用新的损失函数并引入一种带注意力机制的3D U-Net网络来补全主成分分析方法(PCA)降维过程中丢失的地质模型细节信息,并以一个复合河道砂体油藏为例进行了应用效果分析。研究表明,与CNN-PCA技术相比,采用带注意力机制的3DU-Net网络能够更好地补全PCA降维过程中丢失的地质模型细节信息,在反映原始地质模型的流动特性方面具有更好的效果,并能改善油藏历史拟合的技术效果。

基于3D卷积和自注意力机制的卫星云图预测研究

卫星云图是气象预报的重要资源之一,可以显示云层的生消变化,对气象分析和预报工作有极大的作用.对云图进行一定时间段的预测有助于及时掌握云层的移动轨迹和变化情况,提高卫星云图资料的实用性.然而,当前卫星云图的预测面临诸多困难,例如,云团的变化大多是非平稳、非线性的;云图数据量小,实时性差等.因此,从时空序列的角度出发,提出一种基于3D卷积和自注意力机制的卫星云图预测模型,该模型在ST-LSTM(Spatiotemporal Long ShortTerm Memory)的基础上,在其单元内部引入3D卷积和自注意力机制,使模型能同时提取时间信息和空间特征,进一步增强云层短期趋势和长期依赖的联系;同时,在其外部框架使用空间和通道注意力机制,促进对云图空间特征的提取.在风云四号的卫星云图上进行评估,实验结果证明,该模型能够较准确地预测云层的形态变化和运动轨迹,各项评价指标均优于现有模型.

基于多尺度边缘分割与混合注意力机制的脊柱CT图像分割

脊柱疾病的前期主要通过计算机断层扫描技术进行筛查与初步判断。为解决脊柱CT图像目前存在的椎骨结构复杂、分割精度不足等问题,提出一种基于3D U-Net框架的脊柱CT图像改进分割网络,通过融合SE残差单元、椎骨边缘分割模型与改进混合通道-空间注意力机制,在VerSe 19、VerSe 20与CTSpine1K脊柱数据集上进行分割训练与测试。多次测试实验结果表明,本文模型在保证分割精度和分割效率有效提高的同时具有较好的泛化性与鲁棒性,在Dice相似系数、豪斯多夫距离与平均表面距离上相较于其他先进网络分割精度更高。本文模型在现有脊柱分割的网络中具有更强的分割性能,可为放射科医生提供有效临床信息。

嵌入注意力机制的并行多尺度点云上采样方法

目前,基于深度学习的点云上采样方法缺失对局部区域特征关联性的关注和对全局特征的多尺度提取,导致输出的密集点云存在异常值过多、细粒度不高等问题。为解决上述问题,提出了嵌入注意力机制的并行多尺度点云上采样网络(Parallel Multi-scale with Attention mechanism for Point cloud Upsampling),网络由特征提取器、特征拓展器、坐标细化器和坐标重建器4个模块级联组成。首先给定一个N×3的稀疏点云作为输入,为了获得点云的全局和局部特征信息,设计了一个嵌入注意力机制的并行多尺度特征提取模块(PMA)用于将三维空间的点云映射到高维特征空间。其次使用边缘卷积特征拓展器拓展点云特征维度,得到高维点云特征,以更好地保留点云特征的边缘信息,将高维点云特征通过坐标重建器转换回三维空间中。最后使用坐标细化器精细调整输出点云细节。在合成数据集PU1K上的对比实验结果表明,PMA-PU生成的密集点云在倒角距离(CD)、豪斯多夫距离(HD)和点面距离(P2F)上都有显著提升,分别比性能次优的网络模型优化了7.863%,21.631%,14.686%。可视化结果证明了PMA-PU具有性能更好的特征提取器,能够生成细粒度更高、形状更接近真实值的密集点云。

联合多注意力和C-ASPP的单目3D目标检测

针对单目3D检测中网络结构复杂、深度估计后得到的目标深度信息不精确的问题,本文提出一种端到端的联合多注意力深度估计的单目3D目标检测网络结构(CDCN-3D)。首先,为获取目标显著特征,引入自适应空间注意力机制,对像素特征进行聚集,以增强局部特征来提升网络表征能力;其次,为改善深度估计时局部信息丢失问题,利用改进C-ASPP使每个深度信息都能够捕获更加精确的方向感知和位置敏感信息;最后,利用精确的P-BEV将得到的目标三维信息映射到二维平面,再用单级目标检测器完成检测输出任务。实验结果证明,CDCN-3D网络在KITTI数据集上,在FPS与现有单目3D检测网络持平情况下,其准确率优于其他网络,在Car、Pedestrian、Cyclist类中,其检测精确度分别提升2.31%、1.48%、1.14%,能够完成3D目标检测任务。

基于SoftLexicon和注意力机制的中文因果关系抽取

针对现有中文因果关系抽取方法对因果事件边界难以识别和文本特征表示不充分的问题,该文提出了一种基于外部词汇信息和注意力机制的中文因果关系抽取模型BiLSTM-TWAM+CRF。该模型使用SoftLexicon方法引入外部词汇信息构建词集,解决了因果事件边界难以识别的问题。通过构建的双路关注模块TWAM(Two Way Attention Module),实现了从局部和全局两个角度充分刻画文本特征。实验结果表明,与当前中文因果关系抽取模型相比较,该文所提方法表现出更优的抽取效果。

3D多重注意力机制下的行为识别

为解决传统3D卷积中难以提取时空信息的缺点,提出一种适用于3D卷积网络的多重注意力机制模块.该模块是由通道结合时间子模块和空间子模块组成的多维度特征调整模块.在通道结合时间模块中,通过调整池化层和卷积层的顺序,保留更多的有效通道信息和时间信息;在空间模块中,压缩冗余时间信息以减少计算量.该模块的整体计算量较少,可嵌入到各3D卷积网络中.为验证多重注意力机制模块的性能,基于3D ResNet网络设计部署了该多重注意力机制模块,并在UCF-101和HMDB-51两个行为识别数据集上分别进行训练.结果表明,改进后的3D ResNet在UCF-101上可提升1.50%的精度,在HMDB-51可提升1.24%的精度,而参数量只增加0.24%.

基于3D倒谱特征和注意力机制的CNN-BiLSTM语音情感识别

为了进一步提升语音情感特征的区别性,提出一种基于3D倒谱特征和注意力机制的语音情感识别方法。在提取典型特征MFCC的基础上,融合其一阶和二阶差分形成动态的3D倒谱特征矢量,然后利用卷积神经网络和双向长短期记忆网络搭建双向循环卷积神经网络(CNN-BiLSTM)进行长时建模,并利用注意力机制,进一步增强语音关键性情感特征的权重。实验结果表明,该方法能聚焦特征的有用信息,从而有效提高语音情感识别的准确率,在汉语情感语料库CASIA上的的准确率达到90.48%。

结合图采样和图注意力的3D目标检测方法

在点云中进行三维目标检测时,小目标和复杂背景下目标的检测精度不足是突出的问题之一。针对该问题,提出了一种基于图采样和图注意力机制的3D点云目标检测方法。减小基准网络下采样体素大小以保持小目标的点云密度;引入图采样降低在点云中构造拓扑图的代价;通过对图采样前后的图分别嵌入自注意力机制,提高网络的特征提取能力。在KITTI数据集上与基准网络Point-GNN相比,对汽车目标在复杂场景上的检测精度提升了1.96%,对行人与骑行者目标在中等难度场景和复杂场景上的检测精度分别提升4.21%和2.57%;与Point-GNN相比,减少了15%的训练时间。实验结果表明,设计的方法对于3D点云中小目标和复杂背景下目标的检测更加有效,图采样方法还能够提升模型的训练效率。

基于注意力机制的3D卷积神经网络孤立词手语识别

手语识别可以使聋哑人与健全人之间的交流更加便捷,随着深度学习领域的快速发展,手语识别领域迎来了新的机遇.本文以孤立词手语识别为研究对象,针对手语数据冗余、信息多的问题,提出了一种基于3D卷积神经网络的手语识别新方法.通过提取手部区域和关键帧去除手语视频中的冗余信息,改进C3D网络模型结构并引入注意力机制,重点关注语义信息丰富的视频帧,使用余弦退火学习率下降算法提高模型的收敛速度.在DEVISIGN-D手语数据集上,与3种手语识别算法做了实验对比,实验结果表明,该方法能很好地识别孤立词手语,top-5准确率达到了98.4%.

三维注意力增强的暴力场景检测算法

为了提升互联网多媒体内容安全检测能力,有效过滤不良信息,提出了一种基于三维注意力增强的视频暴力内容检测算法。该算法以3D-DenseNet为骨干网络,首先利用P3D提取低层次的时空特征信息;其次引入SimAM注意力模块计算通道-空间注意力,增强帧画面重点区域信息;然后设计了时域注意力加强的过渡层突出重点时序信息,如此形成通道-空间-时间三维注意力,提升暴力场景检测性能。实验结果显示,算法在内容单一的小规模暴力行为检测数据集Hockey和Movies上准确率分别达到了98.75%和100%,在内容多样的大规模数据集RWF-2000上达到了89.25%,综合性能优于同类算法,验证了算法的有效性;在长视频的暴力内容定位实验中,算法在VSD2014数据集上相较同类算法也取得了更好的检测效果,证明了算法在暴力内容检测方面的泛化能力。

基于Contextual Transformer的自动驾驶单目3D目标检测

针对当前单目3D目标检测中存在的漏检和多尺度目标检测效果不佳的问题,提出了一种基于Contextual Transformer的自动驾驶单目3D目标检测算法(CM-RTM3D)。在ResNet-50网络中引入Contextual Transformer(CoT),构建ResNet-Transformer架构以提取特征。设计多尺度空间感知模块(MSP),通过尺度空间响应操作改善浅层特征的丢失情况,嵌入沿水平和竖直两个空间方向的坐标注意力机制(CA),使用softmax函数生成各尺度的重要性软权重。在偏移损失中采用Huber损失函数代替L1损失函数。实验结果表明:在KITTI自动驾驶数据集上,相较于RTM3D算法,该算法在简单、中等、困难三个难度级别下,AP3D分别提升了4.84、3.82、5.36个百分点,APBEV分别提升了4.75、6.26、3.56个百分点。

一种多层多模态融合3D目标检测方法

在自动驾驶感知系统中视觉传感器与激光雷达是关键的信息来源,但在目前的3D目标检测任务中大部分纯点云的网络检测能力都优于图像和激光点云融合的网络,现有的研究将其原因总结为图像与雷达信息的视角错位以及异构特征难以匹配,单阶段融合算法难以充分融合二者的特征.为此,本文提出一种新的多层多模态融合的3D目标检测方法:首先,前融合阶段通过在2D检测框形成的锥视区内对点云进行局部顺序的色彩信息(Red Green Blue,RGB)涂抹编码;然后将编码后点云输入融合了自注意力机制上下文感知的通道扩充PointPillars检测网络;后融合阶段将2D候选框与3D候选框在非极大抑制之前编码为两组稀疏张量,利用相机激光雷达对象候选融合网络得出最终的3D目标检测结果.在KITTI数据集上进行的实验表明,本融合检测方法相较于纯点云网络的基线上有了显著的性能提升,平均mAP提高了6.24%.

基于改进Centerfusion的自动驾驶3D目标检测模型

针对自动驾驶路面上目标漏检和错检的问题,提出一种基于改进Centerfusion的自动驾驶3D目标检测模型。该模型通过将相机信息和雷达特征融合,构成多通道特征数据输入,从而增强目标检测网络的鲁棒性,减少漏检问题;为了能够得到更加准确丰富的3D目标检测信息,引入了改进的注意力机制,用于增强视锥网格中的雷达点云和视觉信息融合;使用改进的损失函数优化边框预测的准确度。在Nuscenes数据集上进行模型验证和对比,实验结果表明,相较于传统的Centerfusion模型,提出的模型平均检测精度均值(mean Average Precision,mAP)提高了1.3%,Nuscenes检测分数(Nuscenes Detection Scores,NDS)提高了1.2%。

基于3D-CBAM注意力机制的人体动作识别

针对已有的动作识别方法的特征提取不足、识别率较低等问题,结合双流网络、3D卷积神经网络和卷积LSTM网络的优势,提出一种融合模型.该融合模型为了更好地提取人体动作特征,采用SSD目标检测方法将人体目标分割出作为局部特征和原视频的全局特征共同训练,并采用后期融合进行分类;将3D卷积块注意模块采用shortcut结构的方式融合到3D卷积神经网络中,加强神经网络对视频的通道和空间特征提取;并且通过将神经网络中部分3D卷积层替换为ConvLSTM层的方法,更好地得到视频的时序关系.实验在公开的KTH数据集上进行.结果表明,所提模型具有较高的人体动作识别准确率.

基于3D先验特征的人脸超分辨率重建算法

为有效解决复杂环境下人脸超分辨率特征恢复的问题,提出一种全新的人脸超分辨率网络.该网络通过融合3D渲染先验知识和双重注意力机制,增强了对人脸空间位置和整体结构的理解,同时提高了细节信息的恢复能力.在数据集CelebAMask-HQ上的实验结果表明:对放大4倍下采样的人脸,该算法在峰值信噪比和结构相似性上达到28.76 dB和0.827 5;对放大8倍下采样的人脸,峰值信噪比和结构相似性评价指标达到26.29 dB和0.754 9.与同类的SAM3D算法相比,该算法在处理放大4倍下采样时的峰值信噪比和结构相似性上分别提升了4.09,1.93个百分点,在处理放大8倍下采样时上述两个指标分别提升了2.02,4.54个百分点.从而证明该算法的优越性,也表明在实际应用中人脸的超分辨率恢复能获得更真实和清晰的视觉效果.