基于协作注意力和图神经网络的轻量化车位检测算法

为提高自动泊车过程车位检测的实时性和准确性,提出一种基于协作注意力和图神经网络的轻量化车位检测算法。首先,采用轻量化的网络结构,以改进的MobileNetV3作为特征提取网络,通过深度可分离卷积获得车位标记点的位置信息和特征信息,并将二者结合得到标记点的融合特征,然后构建图神经网络结构以增强车位标记点之间的内在联系,并结合协作注意力机制实现对多头注意力的整合,最后,通过公共车位数据集PS2.0对所提出的算法进行测试,结果表明,该算法的检测精度优于当前主流算法,平均每帧图像推理时间可缩短至10.1ms,具备良好的准确性和实时性。

一种基于双重语义协作网络的图像描述方法

CLIP(contrastive language-image pre-training)视觉编码器提取的网格特征作为一种更加靠近文本域的视觉特征,具有易转化为对应语义自然语言的特点,可以缓解语义鸿沟问题,因而未来可能成为图像描述任务中视觉特征的重要来源.但该方法中未考虑图像内容的划分,可能使一个完整的目标被划分到若干个网格中,目标被切割势必会导致特征提取结果中缺少对目标信息的完整表达,进而导致生成的描述语句中缺少对目标及目标间关系的准确表述.针对CLIP视觉编码器提取网格特征这一现象,提出一种基于双重语义协作网络(dual semantic collaborative network,DSC-Net)的图像描述方法.具体来说:首先提出双重语义协作自注意力(dual semantic collaborative self-attention,DSCS)模块增强CLIP网格特征对目标信息的表达能力;接着提出双重语义协作交叉注意力(dual semantic collaborative cross-attention,DSCC)模块,综合网格和目标2个层面的语义构造与文本相关的视觉特征,进行描述语句预测;最后提出双重语义融合(dual semantic fusion,DSF)模块,为上述的2个语义协作模块提供以区域为主导的融合特征,解决在语义协作过程中可能出现的相关性冲突问题.经过在COCO数据集上的大量实验,提出的模型在Karpathy等人划分的离线测试集上取得了138.5%的CIDEr分数,在官方在线测试中取得了137.6%的CIDEr分数,与目前主流的图像描述方法相比具有显著优势.

基于改进YOLOv7的输电线路异物检测模型

针对输电线路异物检测中存在背景干扰、图像分辨率低且异物尺度变化大等问题,提出了一种基于改进YOLOv7的输电线路异物检测模型。首先,通过空间深度卷积(space to depth conconvolution,SPD-Conv)和多维协作注意力(multidimensional collaborative attention,MCA)机制构造新的骨干网络,加强模型对低分辨率图像特征提取及抑制背景干扰的能力,同时增加对小目标异物的关注度。其次,使用幻影卷积(ghost convolution,Ghost-Conv)改进高效分层聚合网络(efficient layer aggregation network,ELAN)的输出部分,大幅降低模型的计算量。最后,基于可伸缩交并比(scalable intersection over union,SIoU)优化损失函数,进一步提高模型的训练速度和鲁棒性。实验结果表明,所提模型在输电线路异物检测数据集上平均精度均值(mean average precision,mAP)达到95.98%,高于其他主流对比模型,同时每秒帧数(frames per second,FPS)达到64,满足输电线路异物的实时性检测。

基于改进YOLOv8的人体跌倒检测算法

人口老龄化是我国目前面临的重要社会问题。针对跌倒对老年人安全性问题造成的影响,以及现有目标检测模型在人物跌倒时检测精度低、鲁棒性和泛化能力差等问题,对YOLOv8算法进行优化。引入了一种轻量级且高效的多维协作注意力机制(multidimensional collaborative attention,MCA),在Neck端上采样阶段中的Upsample结构后面以及每个C2F模块后面添加MCA,以捕获局部特征交互,克服性能和计算开销权衡的悖论。优化损失函数,利用Alpha-SIoU损失函数,为边界框提供更准确的位置信息,提高了目标检测效率和模型收敛速度。通过实验结果分析,优化后的模型在多项性能指标上都有显著提高,与传统的YOLOv8模型相比,检测准确率提高了4.7%,能够满足现实中不同场景跌倒行为的检测需求。

基于Transformer架构和B样条平滑约束的机器人面部情感迁移网络

为提高类人机器人面部情感迁移的时空一致性并降低机械运动约束的影响,提出一种基于Transformer架构和B样条平滑约束的机器人面部情感迁移网络RFEFormer。该网络由面部形变编码子网和驱动序列生成子网组成。在面部形变编码子网中,为表征帧内不同层次、不同粒度的空间信息,基于域内形变注意力和域间协作注意力双重机制构建帧内空间注意力模块并嵌入到Transformer编码器中;在驱动序列生成子网中,利用Transformer解码器实现面部时空序列和历史电机驱动序列的交叉注意以及未来电机驱动序列的多步预测,并引入三次B样条平滑约束实现预测序列的规整。实验结果表明:RFEFormer网络的电机驱动偏差、面部形变逼真度和电机运动平滑度分别为3.21%、89.48%和90.63%,且实时面部情感迁移帧率大于25帧!/!秒。与相关方法相比,RFEFormer网络在满足实时性的同时提升了逼真度、平滑度等时序指标性能,而人类感官对这些指标更为敏感、也更为关注。