基于HBase的监控视频中目标图片的存储系统

目标图片作为监控视频中重要的信息,在视频检索应用中起到重要的作用,同时随着监控视频数量的增长,目标图片的数量也是海量的,如何有效地存储这些目标图片成为研究热点。HBase是一种面向列的非关系型数据库,主要提供对海量数据的实时和随机的读写访问。文中通过分析监控视频中海量目标图片的特点和存储需求,以及对HBase的存储架构进行研究的基础上,提出一种基于HBase的海量监控视频中目标图片的高效存储方案。该方案完成了海量监控视频中目标图片的存储表和检索方案设计;同时,通过设置系统参数、预建Region、多线程并发写入实现了存储系统的写入优化。实验结果表明,该存储架构满足监控视频中海量目标图片的存储和检索要求,具有良好的水平扩展性,同时提高了写入效率。

基于先验知识图谱的多代理被遮挡目标类别推理模型

目标检测(Object Detection)是计算机视觉中最为热门的方向之一,在军事、医疗等重要领域都有广泛运用。然而,大多数目标检测模型都只能对可见物体进行识别,日常生活中的图片往往存在被遮挡(不可见)的目标物体,现有目标检测模型对图片中的被遮挡目标难以表现出较理想的检测性能。为此,文中提出了一种基于图库先验知识图谱的多代理协作式图片被遮挡目标类别推理模型(IMG-KGR-MAC)。具体而言,1)IMG-KGR-MAC根据给定图库中所有图片的可见目标及其之间的位置关系构建全局先验知识图谱;同时,根据图片自身所含目标及其位置关系,为各图片分别建立图片知识图谱;各图片内被遮挡目标的信息均不计入全局先验知识图谱和图片自身知识图谱;2)采用DDPG(Deep Deterministic Policy Gradient)深度强化学习思想,构建两个相互协作的代理;代理1根据当前图片语义信息从全局先验知识图谱挑选出与被遮挡目标最为适配的“类别标签”,将其作为新实体节点加入到给定图片自身的知识图谱中;代理2根据代理1新加入的实体,从全局先验知识图谱中进一步挑选〈实体,关系〉,扩展与新实体节点相关联的图谱结构;3)代理1与代理2通过共享任务环境和在奖励值上建立通信,相互协作地按“图片被遮挡目标(实体)→关联图谱结构”以及“关联图谱结构→图片被遮挡目标(实体)”原理,开展正向与反向推理,从而有效估计出给定图片被遮挡目标最为可能的类别标签。实验结果表明,与现有相关方法相比,所提出的IMG-KGR-MAC模型可以学习到给定图片被遮挡目标与全局先验知识图谱之间的语义关系,有效克服了现有模型对被遮挡目标难以检测的弊端,对于被遮挡目标有良好的推理能力,在MR(Mean Rank)以及mAP(Mean Average Precision)等多项指标上都有超过20%的提升。

基于深度学习的入境物品自动化核酸采样系统

本研究提出了一套基于深度学习的图像目标检测以及机械臂抓取技术的自动化核酸采样系统,采用“机械臂+摄像头”的方式对入境物品及其包装进行图像目标检测并进行拭子采样。本研究的目标检测框架以基于YOLOv5框架为蓝本,使用深度可分离卷积以及逐点卷积融合的方式作为新的主干网络,设计了更加轻量级的幻影卷积进行Neck结构中的特征提取,以此来改进检测速度。最后,通过比例-积分-微分(Proportion Integral Differential,PID)来控制机械臂进行对应物体的抓取或涂抹操作,以此保证机械臂在运行过程中的稳定性。在自建数据集上本研究修改后的模型检测指标达到了99.18%,在CPU上使用ONNX框架部署的速度达到了25 FPS,能够满足实时检测的需求。