面向图像分类的视觉Transformer研究进展

Transformer是一种基于自注意力机制的深度学习模型,在计算机视觉中展现出巨大的潜力。而在图像分类任务中,关键的挑战是高效而准确地捕捉输入图片的局部和全局特征。传统方法使用卷积神经网络的底层提取其局部特征,并通过卷积层堆叠扩大感受野以获取图像的全局特征。但这种策略在相对短的距离内聚合信息,难以建立长期依赖关系。相比之下,Transformer的自注意力机制通过直接比较特征在所有空间位置上的相关性,捕捉了局部和全局的长距离依赖关系,具备更强的全局建模能力。因此,深入探讨Transformer在图像分类任务中的问题是非常有必要的。首先以Vision Transformer为例,详细介绍了Transformer的核心原理和架构。然后以图像分类任务为切入点,围绕与视觉Transformer研究中的性能提升、计算成本和训练优化相关的三个重要方面,总结了视觉Transformer研究中的关键问题和最新进展。此外,总结了Transformer在医学图像、遥感图像和农业图像等多个特定领域的应用情况。这些领域中的应用展示了Transformer的多功能性和通用性。最后,通过综合分析视觉Transformer在图像分类方面的研究进展,对视觉Transformer的未来发展方向进行了展望。

预加权调制密集图卷积网络三维人体姿态估计

图卷积网络(GCN)日益成为三维人体姿态估计(3D HPE)的主要研究热点之一,使用GCN对人体关节点之间的关系建模的方法使三维人体姿态估计获得了良好的性能。然而,基于GCN的三维人体姿态估计方法存在过平滑和未区分关节点与相邻关节点重要性的问题。为解决这些问题,设计了调制密集连接模块(MDC)和预加权图卷积模块,并基于这两个模块提出了预加权调制密集图卷积网络的三维人体姿态估计方法(WMDGCN)。针对过平滑问题,调制密集连接通过超参数α和β更好地实现特征重用(超参数α表示第l层和之前各层总特征的权重比例,超参数β表示之前各层特征到第l层的传播策略),从而有效地提高特征的表达能力。针对未区分关节点与相邻关节点重要性的问题,使用预加权图卷积为当前关节点赋予更高的权重,并对当前关节点及其相邻关节点使用不同的权重矩阵,更有效地捕获人体关节点特征。Human3.6M数据集上的对比实验结果表明,该方法在参数量和性能上均取得了最佳性能,WMDGCN的参数量、MPJPE和P-MPJPE值分别为0.27 MB、37.46 mm和28.85 mm。

HSKDLR:同类自知识蒸馏的轻量化唇语识别方法

针对唇语识别模型的识别率较低和计算量较大的问题,提出一种同类自知识蒸馏的轻量化唇语识别模型(HSKDLR)。首先,提出关注唇部图像空间特征的S-SE注意力模块,用其构建提取唇部图像通道特征和空间特征的i-Ghost Bottleneck模块,以提升唇语识别模型的准确率;其次,基于i-Ghost Bottleneck构建唇语识别模型,该模型通过优化瓶颈结构的组合方式降低模型计算量;然后,为提升模型准确率,减少模型运行时间,提出同类自知识蒸馏(HSKD)的模型训练方法;最后,使用同类自知识蒸馏方法训练唇语识别模型,并检验其识别性能。实验结果表明:与其他方法相比,HSKDLR具有更高的识别准确率和更低的计算量,在LRW数据集上的准确率达87.3%,浮点数运算量低至2.564 GFLOPs,参数量低至3.8723×107;同类自知识蒸馏可被应用于大多数唇语识别模型,帮助其有效提升识别准确率,减少训练时间。

新型冠状病毒肺炎的深度学习诊断方法综述

新型冠状病毒肺炎的高感染率导致其在全球范围内迅速传播,常用的逆转录-聚合酶反应(RT-PCR)检测方法存在耗时、假阴性率偏高和医学用具不足的缺陷,因此开发高效、准确、低成本的影像检测技术对新型冠状病毒肺炎的诊断和治疗至关重要。随着人工智能在医学领域的成功应用,深度学习技术成为辅助检验和识别新型冠状病毒肺炎的有效方法。对近年来涌现的新型冠状病毒肺炎的深度学习诊断方法进行了研究和总结:介绍了深度学习方法使用的两种新型冠状病毒肺炎数据集;介绍了基于VGGNet、Inception、ResNet、DenseNet、EfficientNet和CapsNet模型的六种深度学习诊断方法;介绍了三种深度学习与其他机器学习方法结合的诊断方法;对基于深度学习的新型冠状病毒肺炎诊断方法的研究趋势进行了展望。

唇语识别的深度学习方法综述

随着深度学习的不断发展,唇语识别领域的研究取得了重大进展,涌现了许多唇语识别的深度学习算法。依据识别对象的连续性,将唇语识别分为孤立唇语识别和连续唇语识别,并对各识别任务的深度学习方法进行了详细和深入的分析总结。从孤立唇语识别的深度学习方法和连续唇语识别的深度方法两个方面介绍了主流唇语识别方法,并对各方法的优缺点和性能进行比较;对不同数据集下代表性方法的特点和性能进行比较,对两类方法的优缺点和适用范围进行阐述;讨论了唇语识别方法存在的问题和挑战,并对唇语识别方法的研究趋势进行了展望。