结合沙漏注意力与渐进式混合Transformer的图像分类方法

Transformer在图像分类任务中具有广泛应用,但在小数据集分类任务中,Transformer受到数据量较少、模型参数量过大等因素的影响,导致分类精度低、收敛速度缓慢。本文提出了一种融合沙漏注意力的渐进式混合Transformer模型。首先,通过下-上采样的沙漏自注意力建模全局特征关系,利用上采样补充下采样操作丢失的信息,同时采用可学习温度参数和负对角掩码锐化注意力的分数分布,避免因层数过多产生过度平滑的现象;其次,设计渐进式下采样模块获得细粒度多尺度特征图,有效捕获低维特征信息;最后,使用混合架构,在顶层阶段使用设计的沙漏注意力,底层阶段使用池化层替代注意力模块,并引入带有深度卷积的层归一化,增加网络局部性。所提方法在T-ImageNet、CIFAR10、CIFAR100、SVHN数据集上进行实验,分类精度可以达到97.42%,计算量和参数量分别为3.41G和25M。实验结果表明,与对比算法相比,该方法的分类精度有明显提升,计算量和参数量有明显降低,提高了Transformer模型在小数据集上的性能表现。

基于改进沙漏的攀岩运动关键点检测算法

针对关键点检测中目标尺度多变以及不同特征适应性等难题,为进一步提升现有的姿态估计方法在实现姿态估计任务时的性能,验证单阶段和多阶段姿态估计方法各自的有效性,提出一种基于改进沙漏的攀岩运动关键点检测算法。首先设计一个多路池化残差结构,改善由于沙漏网络多次上下采样带来的信息损失和上下文信息提取不足的局限性,提升浅层特征在关键点检测中的表现;其次在沙漏网络中引入沙漏注意力结构,通过利用特征映射将输入信息划分为不同大小的特征块序列,在特征编码和特征解码两个过程中,充分挖掘图像有效信息,使得在特征匹配过程中不仅考虑本身的拟合程度,更考虑到关节位置之间的关联信息。实验表明,提出的算法在公开数据集MPII、COCO和针对攀岩运动的数据集上表现良好,且算法泛化能力较好,能够应用于多种运动场景中的人体关键点检测任务。