基于多通道多步融合的生成式视觉对话模型

当前视觉对话任务在多模态信息融合和推理方面取得了较大进展,但是,在回答一些涉及具有比较明确语义属性和位置空间关系的问题时,主流模型的能力依然有限。比较少的主流模型在正式响应之前能够显式地提供有关图像内容的、语义充分的细粒度表达。视觉特征表示与对话历史、当前问句等文本语义之间缺少必要的、缓解语义鸿沟的桥梁,因此提出一种基于多通道多步融合的视觉对话模型MCMI。该模型显式提供一组关于视觉内容的细粒度语义描述信息,并通过“视觉−语义−对话”历史三者相互作用和多步融合,能够丰富问题的语义表示,实现较为准确的答案解码。在VisDial v0.9/VisDial v1.0数据集中,MCMI模型较基准模型双通道多跳推理模型(DMRM),平均倒数排名(MRR)分别提升了1.95和2.12个百分点,召回率(R@1)分别提升了2.62和3.09个百分点,正确答案平均排名(Mean)分别提升了0.88和0.99;在VisDial v1.0数据集中,较最新模型UTC(Unified Transformer Contrastive learning model),MRR、R@1、Mean分别提升了0.06百分点,0.68百分点和1.47。为了进一步评估生成对话的质量,提出类图灵测试响应通过比例M1和对话质量分数(五分制)M2两个人工评价指标。在VisDial v0.9数据集中,相较于基准模型DMRM,MCMI模型的M1和M2指标分别提高了9.00百分点和0.70。

单幅图像去雾的多步融合自适应特征注意网络

雾天天气严重影响了人类户外活动的进行,学术界针对图像去雾的计算机视觉任务已经进行了广泛研究,但仍然面临着诸如真实雾图像去雾能力有限等严峻挑战.为此,提出了一种基于多步融合的端到端自适应特征注意网络.其中的自适应特征注意模块可以自适应扩展接收域,获取空间中的关键结构信息,提取更复杂的特征.此外,考虑到网络中获取的低层次和高层次特征之间缺乏连接,还完成了多步融合模块,该模块能使网络中不同层次的特征在图像恢复过程中有效互补.另外,通过减少网络参数,优化后的网络结构使得其所需的计算资源也大幅度减少.对于具有真实雾霾的Dense-Haze和NH-HAZE数据集,该方法得到了较高的峰值信噪比(PSNR)和结构相似度(SSIM),分别为16.23 dB,0.5213和21.38 dB,0.7144;同时,其实际视觉效果也优于其他所选先进技术.

多传感器检测系统的多步反馈融合算法

通过分析分布式检测系统的工作原理 ,提出了一种新的局部检测器融合方法 ,该方法利用检测器局部判决结果与融合中心融合结果的误差多步累积平均值对检测器下一步判决进行修正 ,从而达到提高检测器检测概率的目的。分析表明 ,该算法能有效提高系统的性能。