基于交互实例推荐网络的人-物交互检测方法研究

人-物交互检测任务的目标是定位并且识别图像中人与其周围物体的交互关系。该任务的挑战在于机器无法知道人具体和哪些物体存在交互关系,现有方法大多对人和物进行完全配对来解决这个问题。与他们不同,本文提出了一种基于关系推理的交互实例推荐网络来适应人-物交互检测任务,主要想法是利用人和物体的视觉关系中潜在的交互关系来推荐人-物对。此外,本文还设计了一个跨模态信息融合模块,对不同的上下文信息根据其对检测结果的影响程度进行融合,以此提高检测精度。本文在HICO-DET和V-COCO数据集上进行了充分的实验来验证所提出的方法,结果表明,本文方法在HICO-DET和V-COCO数据集上的mAP达到了19.90%和50.3%,分别比基准网络高了4.5%和2.8%。

基于改进CDN的便利店收银台人-物交互检测

为了提升便利店在收银过程中的规范性和安全性,收集整理了多个在便利店收银台场景下的数据集,通过加入基于HRNet的人体姿势关键点对人-物交互检测方法CDN进行改进,完成了对不同人、物的检测和分类以及人-物之间的交互行为检测,在原有的检测结果上有较大的提升。通过多组对比实验,可以看出增加Transformer编码器内部层数和ResNet结构的复杂度可以获取到更多的图像特征,加入人体姿势关键点能更准确地判断人-物之间是否存在交互关系。此外,将该任务应用实际中,能为便利店的管理提供更加智能化的方法。