基于3D卷积和自注意力机制的卫星云图预测研究

卫星云图是气象预报的重要资源之一,可以显示云层的生消变化,对气象分析和预报工作有极大的作用.对云图进行一定时间段的预测有助于及时掌握云层的移动轨迹和变化情况,提高卫星云图资料的实用性.然而,当前卫星云图的预测面临诸多困难,例如,云团的变化大多是非平稳、非线性的;云图数据量小,实时性差等.因此,从时空序列的角度出发,提出一种基于3D卷积和自注意力机制的卫星云图预测模型,该模型在ST-LSTM(Spatiotemporal Long ShortTerm Memory)的基础上,在其单元内部引入3D卷积和自注意力机制,使模型能同时提取时间信息和空间特征,进一步增强云层短期趋势和长期依赖的联系;同时,在其外部框架使用空间和通道注意力机制,促进对云图空间特征的提取.在风云四号的卫星云图上进行评估,实验结果证明,该模型能够较准确地预测云层的形态变化和运动轨迹,各项评价指标均优于现有模型.

基于3D多尺度卷积的非接触心率估计模型

为了在真实环境下实现更准确的非接触式心率(HR)估计,提出一种远程光电容积描记术(rPPG)和HR信号恢复任务的端到端时空卷积神经网络(CNN)模型。模型使用3D多尺度卷积注意力获取多尺度特征并融合上下文信息。其次引入自注意力卷积长短期记忆(SA-ConvLSTM)提取具有全局依赖和局部依赖的时间空间特征。最后,根据rPPG和HR信号的强关联性,使用多任务学习方法来提高模型性能。在公开的UBFC-rPPG和COHFACE数据集上进行实验测试,结果表明:提出的网络模型在非接触式HR提取中具有更好鲁棒性。

嵌入注意力机制的并行多尺度点云上采样方法

目前,基于深度学习的点云上采样方法缺失对局部区域特征关联性的关注和对全局特征的多尺度提取,导致输出的密集点云存在异常值过多、细粒度不高等问题。为解决上述问题,提出了嵌入注意力机制的并行多尺度点云上采样网络(Parallel Multi-scale with Attention mechanism for Point cloud Upsampling),网络由特征提取器、特征拓展器、坐标细化器和坐标重建器4个模块级联组成。首先给定一个N×3的稀疏点云作为输入,为了获得点云的全局和局部特征信息,设计了一个嵌入注意力机制的并行多尺度特征提取模块(PMA)用于将三维空间的点云映射到高维特征空间。其次使用边缘卷积特征拓展器拓展点云特征维度,得到高维点云特征,以更好地保留点云特征的边缘信息,将高维点云特征通过坐标重建器转换回三维空间中。最后使用坐标细化器精细调整输出点云细节。在合成数据集PU1K上的对比实验结果表明,PMA-PU生成的密集点云在倒角距离(CD)、豪斯多夫距离(HD)和点面距离(P2F)上都有显著提升,分别比性能次优的网络模型优化了7.863%,21.631%,14.686%。可视化结果证明了PMA-PU具有性能更好的特征提取器,能够生成细粒度更高、形状更接近真实值的密集点云。

基于多尺度融合和高阶交互的单目3D检测算法

三维目标检测是三维场景理解的一项基础性和挑战性的任务,基于单目视觉的方法可以作为基于立体或基于雷达方法的经济替代。该文提出了一种基于MonoDLE改进的单目3D检测算法,用于优化由尺寸形状与3D位置偏差产生的精度损失。首先,提出了一个通用的多尺度池化注意力模块用于聚合更精细的多尺度特征并且高效地联系上下文信息。其次,为了增强模型的高阶空间交互能力,还提出了由递归门控卷积和分组归一化构成的递归门控卷积块,用于替代基线架构上采样模块的卷积层,有效提升上采样模块的表征能力。在单目3D检测通用数据集KITTI上的实验表明:经过多尺度池化注意力模块提高网络聚合特征的能力后,在3D视角且交并比大于0.7的标准情况下,该算法的平均检测率指标AP 40从13.66提升到15.10;经过递归门控卷积块增强模型的高阶空间交互能力后,在3D视角且交并比大于0.7的标准情况下,该算法的平均检测率指标AP 40再次从15.10提升到15.53;在两个模块协同作用下,在鸟瞰图视角且交并比大于0.7的标准情况下,该算法的平均检测率指标AP 40同样从19.33提升到21.95。

3D卷积增强的驾驶员人物交互行为识别

驾驶员抽烟和打电话的行为属于典型的人物交互行为,为提高模型在驾驶环境中,对遮挡和光照变化的抵抗能力以及人物交互行为匹配的准确性,研究首先提出一种2D扩张分组注意力机制方法对目标检测网络进行优化,提高人路和物路的小目标检测性能;然后提出一种3D扩张分组注意力机制与3D分组卷积融合的高精度轻量化模块,构建动态视频的行为识别模型,增强时序空间的非线性特征提取能力;最后将图片的帧间交并比统计判断结果与动态视频行为识别模型预测的结果相融合以做出最终的驾驶员人物交互行为判断。实验结果证明,2D和3D扩张分组注意力机制在行为识别中的有效性,驾驶员人物交互行为平均准确率和召回率提高了12.5%及7.72%。尤其在香烟和手机遮挡或光线条件不利的场景下提升明显,并能解决驾驶员与其后排乘客的行为混淆识别问题。

基于改进3D卷积神经网络的疼痛检测

在临床实践中,精确评估疼痛对于疼痛管理和诊断至关重要.但传统的评估方法主观性高且依赖医生经验,迫切需要更可靠客观的替代方法.利用深度学习的方法实现基于面部表情的疼痛检测研究近年已取得显著进展,但复杂的结构和高计算成本制约了其实际应用.因此,本文提出了一个改进的3D卷积神经网络,采用轻量级的3D卷积神经网络L3D作为骨干网络,并结合改进的SE注意力机制,把多个不同尺度的特征进行融合,捕捉疼痛序列中具有较强辨别能力的时空特征.在UNBC-McMaster和BioVid数据集上进行评估,与最新方法相比,该方法在疼痛检测性能以及计算复杂度上取得了优势.

基于跨模块注意力的3D目标检测方法研究

针对三维目标检测任务中利用点云数据在提取和传输目标特征过程中发生的特征丢失问题,提出一种跨模块注意力目标检测方法。该方法结合通道注意力模块和空间注意力模块来增强关键特征信息。通过特征转换,将注意力模块不同阶段的特征连接起来,以减轻提取和传输过程中特征的损失。针对目标检测网络中不同尺度目标检测性能不足的问题,提出了一种跨尺度特征提取和融合方法。该方法通过采用多尺度特征提取和融合技术增强了网络获取多级特征的能力。实验结果表明:所提方法在保持33 Hz实时推理速度的同时获得了先进的性能。

基于注意力机制的3D卷积神经网络孤立词手语识别

手语识别可以使聋哑人与健全人之间的交流更加便捷,随着深度学习领域的快速发展,手语识别领域迎来了新的机遇.本文以孤立词手语识别为研究对象,针对手语数据冗余、信息多的问题,提出了一种基于3D卷积神经网络的手语识别新方法.通过提取手部区域和关键帧去除手语视频中的冗余信息,改进C3D网络模型结构并引入注意力机制,重点关注语义信息丰富的视频帧,使用余弦退火学习率下降算法提高模型的收敛速度.在DEVISIGN-D手语数据集上,与3种手语识别算法做了实验对比,实验结果表明,该方法能很好地识别孤立词手语,top-5准确率达到了98.4%.

结合注意力的3D卷积网络脑胶质瘤分割算法

为了提升脑胶质瘤分割精度,提出一种结合注意力机制的3D卷积神经网络算法。输入3个不同尺度的图像块,经过9个卷积层和1个分类层后得到3个不同的分类结果,将分类结果与注意力学习到的权重相乘并逐体素相加得到输出。此外该算法采用了一种混合Dice损失函数与Focal损失函数的超参数损失函数。实验表明,该算法的Dice系数在整体区域、核心区域以及增强区域分别达到了95.31%、80.12%、82.25%。与已有的一种脑胶质瘤分割算法deepmedic相比,整体区域、核心区域以及增强区域的Dice系数分别提升了3%、2%、6%。在脑胶质瘤分割方面,具有重要的临床意义。

基于Contextual Transformer的自动驾驶单目3D目标检测

针对当前单目3D目标检测中存在的漏检和多尺度目标检测效果不佳的问题,提出了一种基于Contextual Transformer的自动驾驶单目3D目标检测算法(CM-RTM3D)。在ResNet-50网络中引入Contextual Transformer(CoT),构建ResNet-Transformer架构以提取特征。设计多尺度空间感知模块(MSP),通过尺度空间响应操作改善浅层特征的丢失情况,嵌入沿水平和竖直两个空间方向的坐标注意力机制(CA),使用softmax函数生成各尺度的重要性软权重。在偏移损失中采用Huber损失函数代替L1损失函数。实验结果表明:在KITTI自动驾驶数据集上,相较于RTM3D算法,该算法在简单、中等、困难三个难度级别下,AP3D分别提升了4.84、3.82、5.36个百分点,APBEV分别提升了4.75、6.26、3.56个百分点。

基于高深约束与边缘融合的单目3D目标检测

单目3D目标检测旨在通过单目图像完成3D目标检测,现有的单目3D目标检测算法大多基于经典的2D目标检测算法。针对单目3D目标检测算法中通过直接回归的实例深度估计不准,导致检测精度较差的问题,提出了一种基于高深约束与边缘特征融合的单目3D目标检测算法。在实例深度估计方法上采用几何投影关系下的实例3D高度与2D高度计算高深约束,将实例深度的预测转化为对目标的2D高度以及3D高度的预测;针对单目图像存在图像边缘截断目标,采用基于深度可分离卷积的边缘融合模块来加强对边缘目标的特征提取;对于图像中目标的远近造成的目标多尺度问题,设计了基于空洞卷积的多尺度混合注意力模块,增强了对最高层特征图的多尺度特征提取。实验结果表明,所提方法在KITTI数据集上的汽车类别检测精度相比基准模型提升了7.11%,优于当前的方法。

3D多重注意力机制下的行为识别

为解决传统3D卷积中难以提取时空信息的缺点,提出一种适用于3D卷积网络的多重注意力机制模块.该模块是由通道结合时间子模块和空间子模块组成的多维度特征调整模块.在通道结合时间模块中,通过调整池化层和卷积层的顺序,保留更多的有效通道信息和时间信息;在空间模块中,压缩冗余时间信息以减少计算量.该模块的整体计算量较少,可嵌入到各3D卷积网络中.为验证多重注意力机制模块的性能,基于3D ResNet网络设计部署了该多重注意力机制模块,并在UCF-101和HMDB-51两个行为识别数据集上分别进行训练.结果表明,改进后的3D ResNet在UCF-101上可提升1.50%的精度,在HMDB-51可提升1.24%的精度,而参数量只增加0.24%.

基于改进3D卷积网络的人体动作识别

为解决现有多数视频人体动作识别3D卷积方法无法区分信息中各维度的重要和非重要特征问题,提出了通过门控循环单元(Gated Recurrent Unit,GRU)和空间注意力增强模块构建时空特征处理网络的方法,基于多级特征融合和多组通道注意力特征选择构建网络,改进基础网络模型ResNet3D对视频人体动作识别中的网络模型.改进后模型在2个公开数据集UCF101和HMDB51上的准确率分别为96.42%和71.08%,与C3D、Two-stream等网络模型相比,具有更高的识别准确率.

基于S3DD-YOLOv8n的矿工行为检测算法

为防范潜在隐患、保障煤矿安全生产,对矿井作业人员行为进行检测已成为提高矿井安全管理水平的重要方式。鉴于目前常用的智能检测方法精度普遍较低,提出基于S3DD-YOLOv8n的矿工行为检测算法:为提取视频数据的时间信息并保持连续性,在YOLOv8n的骨干网络中引入3D空洞卷积,改进数据增强算法;引入压缩-激励SE(Squeeze&Excitation)注意力机制,提高网络对重点信息的关注程度;引入可变形卷积提高模型对矿工行为的拟合度。经DsLMF+数据集实验验证,该算法的平均精度均值mAP50达到了97.0%,相比YOLOv8n提升了4.0%,同时精确率P和回归率R分别提升了12.9%、7.0%,达到92.5%、90.4%,该算法可高效、精准地检测矿工行为。

多尺度输入3D卷积融合双流模型的行为识别方法

基于视频的行为识别技术在计算机视觉领域有广泛的应用.针对当前存在的网络模型不能有效结合视频数据中的时空信息,并且缺乏对不同尺度数据之间的融合信息进行考虑等问题,提出一种结合双流网络以及3D卷积神经网络的多尺度输入3D卷积融合双流模型.首先利用2D残差网以及多尺度输入3D卷积融合网络获取视频中的时空维度信息;然后将2层网络得到的实验结果进行决策相加,有效地提升网络对视频中时空特征提取的能力;最后通过在多尺度输入3D卷积融合网络对不同尺度的数据进行不同策略的融合,提高了网络对不同尺度数据的泛化能力.实验结果表明,文中模型在数据集UCF-101以及HMDB-51的识别准确率分别为90.5%与66.3%;相比于其他方法,该模型能取得更高的识别精度,体现出文中方法的优越性与鲁棒性.

基于多尺度时域3D卷积的视频超分辨率重建

视频超分辨率是一项很有实用价值的工作。针对超高清产业中高分辨率资源较为匮乏的问题,为了有效利用视频序列帧间丰富的时间相关性信息及空间信息,提出一种基于多尺度时域3D卷积的视频超分辨率重建算法。该算法将输入的低分辨率视频序列帧分别通过不同时间尺度的3D卷积进行时空特征提取,3D卷积能够同时对空间与时间建模,相较于2D卷积更加适用于视频任务的处理,通过不同尺度时域下提取的2种时空特征自适应运动补偿后,由亚像素卷积层执行分辨率的提升并与上采样后的输入帧相加后得到最终重建的高分辨率图像。在标准数据集上的实验结果表明,该算法无论在视觉效果上,还是峰值信噪比与结构相似性等客观质量评价指标上,均有显著地提升,优于FSRCNN和EDSR等算法。

基于3D-CBAM注意力机制的人体动作识别

针对已有的动作识别方法的特征提取不足、识别率较低等问题,结合双流网络、3D卷积神经网络和卷积LSTM网络的优势,提出一种融合模型.该融合模型为了更好地提取人体动作特征,采用SSD目标检测方法将人体目标分割出作为局部特征和原视频的全局特征共同训练,并采用后期融合进行分类;将3D卷积块注意模块采用shortcut结构的方式融合到3D卷积神经网络中,加强神经网络对视频的通道和空间特征提取;并且通过将神经网络中部分3D卷积层替换为ConvLSTM层的方法,更好地得到视频的时序关系.实验在公开的KTH数据集上进行.结果表明,所提模型具有较高的人体动作识别准确率.

基于多尺度3D-2D卷积神经网络的高光谱图像分类

设计提出了1种针对高光谱图像分类任务的3D-MSCNN模型。在PCA降维的基础上,利用3D空谱特征提取网络和2D多尺度特征提取网络实现高光谱图像特征提取,充分发挥高光谱图像空谱信息价值,增强对不同尺度地表覆盖的表达能力。最后,利用Softmax分类损失函数实现高光谱图像分类任务。实验结果表明,本文算法在In⁃dian Pines和Pavia University数据集上都取得了较好的分类效果。与CD-CNN、3D-CNN、SS-Net和HybirdSN等方法相比,本文算法能够有效提升总体精度、平均精度和Kappa系数等客观评价指标。

面向肺部CT影像的双3D-CNN结节诊断模型

为了捕获肺部CT影像中结节的三维不规则性并提高其诊断精度,本文设计了一种由筛到诊的双三维卷积神经网络(d3D-CNN)结节诊断模型.首先,构建了一个轻型3DCNN网络,且将它与全卷积运算相结合,利用卷积运算的高优化性,完成结节筛选并生成疑似区域;然后,利用空间-切片注意力机制自动学习疑似区域在空间和切片序列上的偏移量,设计可变形3D卷积模块,且将它与ResNet101相结合而构造成一个高精度3D-CNN结节诊断网络,用于对筛选出的疑似区域进行最终判决.对比实验结果表明,所提模型在误报率为1的情况下,召回率达到88.9%,有效地提高了肺结节良恶性诊断精度.

时空双路3D残差卷积网络的视频烟雾检测

现有的视频烟雾检测方法大多通过运动检测提取疑似烟区,并依据经验手工设计提取烟雾特征,在复杂场景中检测准确率不高。针对以上问题,提出了一种基于时空双路3D残差卷积网络的视频烟雾检测方法,基于混合高斯背景模型与原始视频帧的小波低频分量差进行疑似烟区提取,其次构造时空双路3D残差卷积神经网络,并引入注意力机制加权融合烟雾时空域特征,实现端对端的烟雾识别。实验结果表明,该方法可以得到更为完整的疑似烟区,尤其对于过于稀薄和浓厚的烟雾分割效果较好,且相比于传统的烟雾检测方法和2D的烟雾检测卷积网络,在烟雾检测准确率上得到了提高。