轻量化CNN及其在煤矿智能视频监控中的应用

煤矿井下海量的监控视频通过以太网传输至云计算中心进行集中处理,存在高延迟、高成本、高网络带宽占用等问题。针对上述问题,以深度可分离卷积为核心构建了轻量化卷积神经网络(CNN)模型,并通过引入残差结构对轻量化CNN模型进行优化,以提升模型对图像的特征提取能力。针对煤矿井下复杂的光照环境导致监控视频图像对比度低、影响模型识别准确率的问题,采用限制对比度直方图均衡化(CLAHE)算法提高图像的亮度和对比度,以提升模型的识别效果。将轻量化CNN模型经STM32Cube AI压缩后部署在嵌入式平台上,设计了基于轻量化CNN模型的视频监控终端,对煤矿井下监控视频在本地进行实时智能处理,实现井下违章行为实时识别和报警。实验结果表明,通过引入残差结构对轻量化CNN模型进行优化,以及采用CLAHE算法进行图像增强后,模型对煤矿井下各种违章行为的识别准确率能够达到95%以上,提升了对违章行为响应的实时性。

基于SEI的煤矿智能监控视频传输方法

目前煤矿视频监控数据传输存在高延迟问题,而视频传输延迟的主要成因是编码延迟。针对该问题,提出了一种无视频编码的基于媒体补充增强信息(SEI)的煤矿智能监控视频传输方法。该方法在解复用视频流得到视频压缩帧后缓存一份副本,解码视频压缩帧得到视频解码帧,通过SEI存储视频解码帧中AI模型分析结果,根据时间戳对应关系将自定义SEI写入该视频解码帧对应视频压缩帧副本的网络提取层单元,并复用视频压缩帧副本,实现煤矿智能监控视频实时传输。在24核CPU上对该方法进行实验测试,结果表明:对于1280×720分辨率的视频,采用该方法处理视频时CPU整体使用率由采用传统方法时的24.7%~36.6%降至20.3%~23.9%,端到端延迟由1946 ms降至345 ms;对于1920×1080分辨率的视频,采用该方法处理视频时CPU整体使用率由采用传统方法时的29.2%~41.8%降至18.5%~26.3%,端到端延迟由6204 ms降至479 ms。该方法通过规避视频编码环节,降低了煤矿智能监控视频传输延迟,且节省了视频编码所需的CPU或GPU资源,降低了智能视频监控系统硬件成本。