基于异质信息对齐和重排序的跨模态行人重识别方法

可见光图像和红外图像成像原理不同,面向可见光和红外光的跨模态行人重识别面临较大的跨模态差异,行人异质信息对齐和挖掘异常困难。为此,提出基于异质信息对齐和重排序的跨模态行人重识别方法。在异质信息对齐方面,提出一种新的异质局部信息对齐算法,通过求取行人异质局部信息距离矩阵的最短路径,实现同一行人异质局部信息的动态匹配,解决行人异质信息对齐问题;在重排序方面,提出拓展k近邻重排序算法,通过动态地拓展查询图像k近邻异质信息,实现同一行人异质信息的融合,解决行人异质信息挖掘困难问题。实验结果表明,在SYSU数据集全场景查询模式上,所提方法与AGW模型结合k近邻重排序算法相比,在评价指标mAP和Rank-1上分别提升了10.12%和8.6%。

基于信息对齐的半监督少样本学习方法

针对深度学习中遇到数据样本不足,数据获取难度大的问题,提出一种基于信息对齐的半监督少样本学习方法。将支持集和查询集输入到特征提取网络得到特征向量,通过类原型计算查询集与支持集的每个局部区域对的距离用于信息对齐;采用注意力机制得到重新加权后的联合关系矩阵,利用关系模块将联合关系矩阵映射成类别的相似度分数;采用伪标签的半监督训练方法,辅助模型训练。理论和实验分析结果表明,与主流少样本学习方法相比,该方法具有更强的区分差异性的能力和更好的泛化能力。

高频信息对齐的多尺度融合去雾网络

目前,在去雾领域鲜有将先验信息引入到以数据驱动的深度学习方法中的工作,且大多数基于深度学习的去雾网络通常对计算机内存和算力有较高要求。为解决上述问题,本文提出一个高频信息对齐的多尺度融合去雾网络(HFMS-Net)。网络框架采用循环模式:对于生成器,通过在轻量卷积神经网络的不同深度引入残差连接,以充分利用网络的中间层特征,实现多尺度特征融合;对于判别器,网络需对其输入进行纹理信息提取,逼近去雾图像和有雾图像之间的高频信息,使基于数据驱动的网络更具物理解释性。与PFDN相比,HFMS-Net在相同设置下以约1/5的内存占用取得了更优越的性能,PSNR和SSIM分别提升了0.71、0.016。通过大量的对比实验和消融实验证明本网络的去雾性能与现有算法相比有一定的提升,对纹理信息具有更高的保真度。

基于正反上下文语义对齐融合的多模态文本摘要模型

该文基于序列到序列的神经网络,提出了使用文本语义信息和图片语义信息对多模态文本摘要生成任务进行建模。具体而言,使用文本一级编码器和带有图片信息指导的二级门控编码器对多模态语义信息进行编码,对齐文本与图片的语义信息。通过多模态正向注意力机制与反向注意力机制多方面观察对齐后的源文本与图片内容,分别得到各自模态语义信息的正相关和不相关特征表示。使用正向滤波器过滤正向注意力机制中的不相关信息,使用反向滤波器过滤反向注意力机制中的相关信息,达到分别从正向与反向两个方面选择性地融合文本语义信息和图片语义信息的目的。最后基于指针生成网络,使用正相关信息搭建正向指针、使用不相关信息搭建反向指针,生成带有多模态语义信息补偿的文本摘要内容。在京东中文电子商务数据集上,所提模型生成的多模态文本摘要在ROUGE-1、ROUGE-2、ROUGE-L指标上分别取得了38.40、16.71、28.01的结果。

基于归一化点向互信息的低资源平行语料过滤方法

神经机器翻译的效果严重依赖于平行语料的规模和质量,而当前的平行语料抽取方法和生成方法只能提供规模足够但质量不佳的平行语料。因此,要在这些大规模低质平行语料上训练高质量的神经机器翻译系统,需要对这些平行语料进行有效过滤。针对这一问题,引入了归一化点向互信息算法来抽取噪声语料中的对齐信息,利用其中可靠性高的对齐信息来过滤噪声语料。利用该方法在OpenSubtitles的泰语—汉语翻译方向上提高了5.8个双语评估替补(Bilingual Evaluation Understudy,BLEU)值,汉语—泰语翻译方向上提高了10个BLEU值。此外,该方法在2020年国际机器翻译大赛给出的柬埔寨语—英语单向翻译任务中实验,得到的结果比基线高了0.4个BLEU值。

面向实兵交战训练的时间统一技术研究

实兵交战训练是以参训装备为基础平台,模拟武器攻击、命中毁伤过程的实战化军事训练,其本质是多平台分布式实时仿真,时间统一是其首要基础。针对实兵交战训练时间统一需求,充分考虑训练运行流程、信息传输情况,以及参训平台时间基础,开展时间统一技术研究;主要从参训平台时间同步与训练信息时间对齐2个层面进行时间统一设计,并周期进行时间一致性校验以增强鲁棒性,从而形成实兵交战训练应用层时间统一技术方案,高可靠满足实兵交战训练全流程时间统一需求。