一种基于域适应的动态商品视觉识别方法

由于变形、遮挡、运动模糊、商品之间外观的相似性及真实场景中未知的分布偏差,商品动态视觉识别在实际应用中仍存在巨大的挑战。本文提出了一种面向智能零售的动态商品视觉识别方法,即首先通过目标检测网络实时检测商品的外接矩形框,然后在此基础上识别商品的类别并给予推荐,辅助完成消费结算。针对商品拿取视频与商品库图像、训练图像之间的跨域差异,引入邻域风格自适应模型(IBN)和卷积注意力模块(CBAM),提升模型的域适应能力。为了验证该方法的有效性,构建了一个真实的场景数据集Commodity247,数据由智能货柜的顶视摄像头采集,包含247类常见的零售商品,以及37 050张带标注框和商品类别的图片。试验结果表明,在Commodity247数据集上,商品识别的准确率(mAP)可达96.84%,第一推荐正确率(Rank1)可达98.41%,最难样本检索准确率(mINP)可达85.24%;与基于ResNet搭建的基础模型相比,mAP提升了2.91%,Rank1提升了0.60%,mINP提升了10.86%,有效降低了多角度、多光线、多背景的影响。