Rmcvit:一种融合卷积与自注意力的轻量级图像识别算法

为了解决目前基于Transformer的模型需要较大的参数量而无法有效应用在资源受限的移动端设备中,提出一种融合卷积与Transformer两者优势的轻量级混合模型.模型中Rmcvit Block将输入张量分成多个通道组,利用深度可分离卷积和跨通道维度的互协方差注意力来增加感受野并融合多尺度特征,并融合unflod模块在保证其空间顺序的前提下,降低每个向量序列(token)送入自注意力模块后的计算消耗.基于整理后的Imagenet数据集的对比实验,RmcVit-M以5.81M的参数量大小达到了85.2%的准确率,其模型相关变体性能超过了参数量相似的Transformer模型和卷积神经网络.结果表明,Rmcvit能够有效结合卷积神经网络与Transformer的优势,达到了以较少的模型参数获得更高准确率的目的.

基于双分支点流语义先验的路面病害分割模型

针对基于深度学习的真实路面病害图像识别算法主要面临的复杂道路背景与病害前景比例不同、病害尺度小等导致的类别严重不平衡、路面病害与道路的几何结构特征对比不明显导致其不易识别等问题,本文提出一种基于双分支语义先验网络,用于指导自注意力骨干特征网络挖掘背景与病害前景的复杂关系,运用高效自注意力机制和互协方差自注意力机制分别对二维空间和特征通道进行语义特征提取,并引入语义局部增强模块提高局部特征聚合能力。本文提出了一种新的稀疏主体点流模块,并与传统特征金字塔网络相结合,进一步缓解路面病害的类别不平衡问题;构建了一个真实场景的道路病害分割数据集,并在该数据集和公开数据集上与多个基线模型进行对比实验,实验结果验证了本模型的有效性。