现有无监督哈希检索算法的关注点在于哈希映射过程中的信息损失以及生成哈希的质量问题,忽略了图像特征本身对检索精度的影响。为进一步提高检索的精度,提出一种改进的基于特征共现的无监督哈希检索算法(Unsupervised Hash retrieval al...现有无监督哈希检索算法的关注点在于哈希映射过程中的信息损失以及生成哈希的质量问题,忽略了图像特征本身对检索精度的影响。为进一步提高检索的精度,提出一种改进的基于特征共现的无监督哈希检索算法(Unsupervised Hash retrieval algorithm based on Feature Co-occurrence,UHFC)。该算法共分为两个阶段:深度特征提取和无监督哈希生成。为提高图像特征的质量,UHFC在卷积神经网络(Convolutional Neural Network,CNN)结构的最后一层卷积后引入了共现层,用来提取特征之间的依赖关系。并用共现激活值的均值来表示共现程度,解决原共现操作存在相同两个通道的共现值不一致的问题;接着,在特征融合部分UHFC设计一种适用于共现特征融合的,结合空间注意力机制的注意特征融合方法(Attention Feature Fusion method based on Spatial attention,AFF-S)。通过注意力机制自主学习共现特征与深度特征融合的权重,降低特征融合过程中背景因素的干扰,提高最终图像特征的表达能力。最后,根据最优传输策略,UHFC采用双半分布哈希编码对图像特征到哈希码的映射过程进行监督,并在哈希层后添加一层分类层通过KL损失进一步提高哈希码所包含的图片信息,整个训练过程中无需数据集的标注,实现无监督哈希的生成。实验表明,UHFC对哈希编码质量改善较好,在Flickr25k和Nus-wide数据集上其平均均值精度(mean Average Precision,mAP)分别达到了87.8%和82.8%,相比于baseline方法分别提高了2.1%与1.2%,效果明显。展开更多
针对3D目标检测点云处理方法存在下采样目标点少,小目标特征信息丢失的问题,提出改进的PointVoxel特征提取方法.首先,以当前先进3D目标检测PV-RCNN(Point-Voxel Feature Set Abstraction for 3D Object Detection)模型为基础,就point-ba...针对3D目标检测点云处理方法存在下采样目标点少,小目标特征信息丢失的问题,提出改进的PointVoxel特征提取方法.首先,以当前先进3D目标检测PV-RCNN(Point-Voxel Feature Set Abstraction for 3D Object Detection)模型为基础,就point-based (基于纯点云)采样后目标点数量较少的问题,提出C-FPS (基于中心最远点采样)算法,即通过图像筛选点云范围,根据标签设置对X增加一个归一化乘以中心点的偏移量,优化点云分布,提高下采样目标点数量;然后,针对voxel-based (基于体素)需要划分体素大小与特征提取平衡的问题,提出体素图像特征融合方法,通过多通道卷积神经网络提取目标图像特征,将多通道特征与voxel-based提取的点云特征进行融合,弥补划分大小导致的特征信息丢失;最后,在KITTI数据集上进行验证.实验表明,与PV-RCNN模型相比,在当前困扰计算机视觉中的小目标检测上,该特征提取方法有效地提升了对小目标的检测能力,对于小目标行人和骑行者,其平均识别精度均优于PV-RCNN模型,提升幅度分别达到了1.62%,1.81%.展开更多
文摘现有无监督哈希检索算法的关注点在于哈希映射过程中的信息损失以及生成哈希的质量问题,忽略了图像特征本身对检索精度的影响。为进一步提高检索的精度,提出一种改进的基于特征共现的无监督哈希检索算法(Unsupervised Hash retrieval algorithm based on Feature Co-occurrence,UHFC)。该算法共分为两个阶段:深度特征提取和无监督哈希生成。为提高图像特征的质量,UHFC在卷积神经网络(Convolutional Neural Network,CNN)结构的最后一层卷积后引入了共现层,用来提取特征之间的依赖关系。并用共现激活值的均值来表示共现程度,解决原共现操作存在相同两个通道的共现值不一致的问题;接着,在特征融合部分UHFC设计一种适用于共现特征融合的,结合空间注意力机制的注意特征融合方法(Attention Feature Fusion method based on Spatial attention,AFF-S)。通过注意力机制自主学习共现特征与深度特征融合的权重,降低特征融合过程中背景因素的干扰,提高最终图像特征的表达能力。最后,根据最优传输策略,UHFC采用双半分布哈希编码对图像特征到哈希码的映射过程进行监督,并在哈希层后添加一层分类层通过KL损失进一步提高哈希码所包含的图片信息,整个训练过程中无需数据集的标注,实现无监督哈希的生成。实验表明,UHFC对哈希编码质量改善较好,在Flickr25k和Nus-wide数据集上其平均均值精度(mean Average Precision,mAP)分别达到了87.8%和82.8%,相比于baseline方法分别提高了2.1%与1.2%,效果明显。
文摘针对3D目标检测点云处理方法存在下采样目标点少,小目标特征信息丢失的问题,提出改进的PointVoxel特征提取方法.首先,以当前先进3D目标检测PV-RCNN(Point-Voxel Feature Set Abstraction for 3D Object Detection)模型为基础,就point-based (基于纯点云)采样后目标点数量较少的问题,提出C-FPS (基于中心最远点采样)算法,即通过图像筛选点云范围,根据标签设置对X增加一个归一化乘以中心点的偏移量,优化点云分布,提高下采样目标点数量;然后,针对voxel-based (基于体素)需要划分体素大小与特征提取平衡的问题,提出体素图像特征融合方法,通过多通道卷积神经网络提取目标图像特征,将多通道特征与voxel-based提取的点云特征进行融合,弥补划分大小导致的特征信息丢失;最后,在KITTI数据集上进行验证.实验表明,与PV-RCNN模型相比,在当前困扰计算机视觉中的小目标检测上,该特征提取方法有效地提升了对小目标的检测能力,对于小目标行人和骑行者,其平均识别精度均优于PV-RCNN模型,提升幅度分别达到了1.62%,1.81%.
