基于特征增强和语义相关性匹配的图像文本检索方法

为实现图像文本检索中图像与文本的精确语义连接,提出一种基于特征增强和语义相关性匹配(FESCM)的图像文本检索方法。首先,通过特征增强表示模块,引入多头自注意力机制增强图像区域特征和文本单词特征,以减少冗余信息对图像区域和文本单词对齐的干扰;其次,通过语义相关性匹配模块,不仅利用局部匹配捕获局部显著对象之间的对应相关性,还把图像背景信息融入图像全局特征,利用全局匹配实现精确的全局语义相关性;最后,通过局部匹配分数和全局匹配分数获取图像和文本的最终匹配分数。实验结果表明,基于FESCM的图像文本检索方法在Flickr8k和Flickr30k基准数据集上的召回率总值比扩展的视觉语义嵌入方法分别提升了5.7和7.5个百分点,在MS-COCO数据集比双流层次相似度推理方法提升了3.7个百分点。因此该方法可以有效提高图像文本检索的准确度,实现图像与文本的语义连接。

基于增强特征表示的语义分割神经网络

语义分割是计算机视觉领域中一个基础而重要的话题,针对语义分割中边界分割困难的问题,提出了一种利用类别整体特征以增强模型表征能力的语义分割神经网络结构。通过分析同类别内各像素特征应具有相似性、不同类别内的特征应具有可分性的特点,利用区域提议汇聚各类别区域内的特征,并使用关注特征的方法建立像素点与类别之间的联系,从而增强模型表征能力。通过在公开数据集上的实验分析比较,上述结构能有效提升像素点特征表示能力。

改进YOLOv5s的航拍图像车辆检测研究

无人机视角下的航拍图像车辆检测任务存在场景复杂容易误检漏检,小尺度目标多的问题,兼顾车辆检测实时性要求,基于轻量高效的YOLOv5s网络提出一种改进网络。首先引入轻量化特征增强表示模块,特征增强表示模块基于特征内容在更大的感受野聚合上下文信息,降低了网络的误检率与漏检率;然后根据车辆目标的尺度分布,重新设计特征融合网络,使用特征增强表示模块进一步提取有利于小目标检测的更高分辨率的特征图,同时裁剪无效检测分支;最后使用Kmeans++算法聚类anchor,得到更优的锚框参数。改进后的网络均值平均检测精度(mAP)达到67.3%,相比YOLOv5s网络提升了5.5%,参数量减少20.4%,速度达81FPS。网络保持了YOLOv5s网络的轻量高效,得到了优于YOLOv5s的检测精度,能够实现更准确的实时车辆检测。