基于多路光流信息的微光视频增强算法

图像和视频是记录真实场景信息的重要媒介,它们包含丰富而详细的视觉内容,可以开发各种智能系统来执行各种任务。特别是对于低照度条件下的视频,提升其清晰度和细节可以更好地表现和还原真实场景。针对在夜间低照度环境条件下对周围环境感知的需求,提出一种基于多路光流信息时间一致性的微光视频增强算法。通过引入预测的光流与真实的光流信息,构建三分支孪生网络对微光视频进行增强;同时针对微光视频存在的低信噪比以及模糊化问题,设计一种基于双尺度注意力机制的微光视频去噪模块(CA-Swin模块),以提升网络的去噪性能。通过在DAVIS数据集上进行对比实验和评估,得出所提网络在增强微光视频方面更高效,鲁棒性显著;且该策略还具有通用性,可以直接扩展到大规模数据集。

基于域特定特征的CLIP提示优化算法

当测试数据与训练数据遵循不同的分布时,神经网络会经历领域转移。领域泛化(DG)的目标是学习一个可处理未知域的通用模型,以此来解决这个问题。以往的方法通过数据增强或者特征空间对齐的方式来提取域不变特征,但在提取的过程中又会产生新的域特定特征,导致模型泛化的性能较差。针对这些问题,提出一个简单而有效的框架——ERCLIP,通过ERCLIP来实现大规模预训练模型CLIP在DG中的应用。ERCLIP通过主动提取域特定特征,并将其融入文本提示,实现图像语义的精准描述。并且提出一个文本提示优化器,动态地优化提示向量。在公开数据集OfficeHome、VLCS与PACS上的实验结果表明,ERCLIP在OfficeHome上的平均准确率为83.4%,在VLCS上为83.5%,在PACS上为96.5%,在所有算法里取得最优结果。