基于边云协同框架的煤矿井下实时视频处理系统

目前煤矿井下智能视频监控主要采用云计算方式处理实时视频,视频传输占用的网络资源多,时延高,无法实时响应监控区域发生的紧急事件。针对该问题,提出了基于边云协同框架的煤矿井下实时视频处理系统,将实时性强的目标识别任务下放至边缘端,将计算量大且实时性弱的边缘设备整合等任务放至云端处理。在视频监控现场,利用部署在边缘设备上的神经网络模型对视频监控图像进行本地处理;通过井下异构融合网络将不同网络环境中边缘设备的处理结果和模型参数等信息发送给云服务器;云服务器针对性地对各场景中的边缘设备进行模型更新、推送,最终实现边云数据实时交互和边缘端服务的在线优化。针对目标检测模型Tiny-YOLOv3无法提取到图片的深层特征、易出现梯度消失和过拟合现象等问题,依据残差结构设计了下采样残差模块,对Tiny-YOLOv3进行改进,以提高模型的深度特征提取和泛化能力。在边云数据交互的基础上,对边缘设备上的目标检测模型进行针对性场景优化,以提高边缘设备端模型检测的准确率。测试结果表明:改进型Tiny-YOLOv3模型的稳定性与数据泛化能力优于YOLO和Tiny-YOLOv3;经过单一场景的特化训练后,改进型Tiny-YOLOv3模型的目标识别更加精准;与云计算相比,边云协同框架可显著降低监控视频处理时延。