基于时空信息辅助监督的语言-视频对比学习模型

同时使用语言和图像两种模态信息的神经网络模型在计算机视觉领域取得了很大进展.一些将其用于视频识别任务的工作,存在未考虑视频中丰富的时间-空间信息、用于描述类别的文本过于简单等不足.对此,本文提出了基于时空辅助信息监督的语言-视频对比学习模型.对于视频编码,提出了基于类别词元的时序加权位移模块进行时序建模,使得时序信息在网络从底层到高层的各个层次传播;而且还提出了时空信息辅助监督模块,深入挖掘视觉词元中蕴含的丰富时空信息.对于语言编码,提出了一种基于大语言模型的提示学习方法,对行为类别文本描述进行扩展,生成具有丰富上下文语义信息的文本描述.实验部分,本文提出的模型在4个视频行为识别数据集mini-Kinetics-200、Kinetics-400、UCF101和HMDB51上,达到了优于当前最先进方法或与当前最先进方法识别准确率相当的水平,比基线方法的识别准确率分别提升了2.5%、0.3%、0.6%和2.4%.

基于多源信息检测的道路辅助设施智能预警监测管理系统

为解决当前道路尤其是事故多发路段的道路辅助设施普遍存在被盗或者被毁坏,而引发道路交通安全隐患和财产损失问题,提出并设计了基于多信息监测的道路辅助设施智能化预警监管系统.该系统通过边端状态监测模块、预警监管模块和信息管控中心模块,实现对道路辅助设施的状态进行实时的智能化预警和监管功能,同时对设备被盗或毁坏现场进行取证,从而避免大量的财产损失,提高道路交通运行安全性.