基于多模态共享网络的自监督语音-人脸跨模态关联学习方法

现有的语音-人脸跨模态关联学习方法在语义关联和监督信息方面仍然面临挑战,尚未充分考虑语音与人脸之间的语义信息交互。为解决这些问题,提出一种基于多模态共享网络的自监督关联学习方法。首先,将语音和人脸模态的特征映射到单位球面,构建一个公共的特征空间;接着,通过多模态共享网络的残差块来挖掘复杂的非线性数据关系,并利用其中权重共享的全连接层来增强语音与人脸特征向量之间的关联性;最后,使用K均值聚类算法生成的伪标签作为监督信号来指导度量学习,从而完成4种跨模态关联学习任务。实验结果表明,本文提出的方法在语音-人脸跨模态验证、匹配和检索任务上均取得了良好的效果,多项评价指标相较于现有基线方法提升1%~4%的准确率。

基于预训练和多模态融合的假新闻检测

现有的多模态检测模型通常对每个模态的特征进行简单拼接,不能对模态之间的相关性进行有效建模,而且很难迁移到标签稀少的领域。提出一种基于预训练和多模态融合的假新闻检测模型PMFD。提取新闻附带图像不同区域的特征作为图像原始向量,合并图像原始向量作为图像引导向量,设计早期融合、中期融合、后期融合3种不同的多模态融合方式。在早期融合阶段,通过图像引导向量初始化文本特征提取器,获取文本原始向量,合并文本原始向量作为文本引导向量。在中期融合阶段,使用模态的原始向量集合与其他模态的引导向量构造模态的特征表示。在后期融合阶段,融合不同模态的特征表示,构造新闻的特征表示。为提高模型的泛化能力,在标签丰富的数据上对PMFD进行预训练,然后再在标签稀少的数据上对PMFD进行微调。在公开数据集上的实验结果表明,PMFD能有效检测假新闻结果,相对传统模型CNN、LSTM、BERT等有10%以上的提升,相对EANN、M_model多模态假新闻检测模型有2%~3%的提升。

基于共享经验模态分解的短期用电量预测研究

针对单特征用电量预测精度较低的问题,提出了一种基于CEEMD-BiLSTM神经网络预测模型,通过CEEMD(共享经验模态分解)算法将原始用电量序列分解为IMFS分量及残差余量,并分别利用BiLSTM(双向长短期记忆网络)模型对CEEMD得到的分量进行预测,通过相加得到预测值。试验结果表明:利用CEEMD-BiLSTM相较于EEMD(集合经验模态分解)-BiLstm、EMD(经验模态分解)-BiLSTM以及BiLSTM模型,预测精度均有了显著提高。

基于多模态融合的人脸反欺骗算法研究

人脸反欺骗技术可以准确判断捕获的人脸图像是真实人脸还是虚假人脸,是人脸识别系统安全的重要保障。传统的人脸反欺骗方法主要是利用手工设计的特征,如LBP、HoG、SIFT、SURF和DoG来刻画真实人脸和虚假人脸之间的不同特征分布,但人工设计的特征难以适应无约束环境下(如光照、背景的变化)的人脸反欺骗问题。鉴于此,该文提出一种多模态融合卷积神经网络模型,通过融合不同模态上的人脸特征来实现鲁棒的人脸反欺骗。首先根据通道注意力网络设计了多模态共享分支网络来实现特征提取过程中不同模态间的信息交互,然后在通道注意力融合网络的基础上提出了多模态通道注意力融合网络来融合不同模态的特征,最后利用融合后的多模态特征进行分类。在CASIA-SURF数据集上的大量实验结果表明,与主流的多模态人脸反欺骗方法(multi-scale fusion)相比,该方法在APCER和ACER指标上分别降低了1.1%和0.4%,充分证明该方法可以有效融合不同模态的特征,提高模型的鲁棒性。

深度共性保持哈希

由于现有的大多数跨模态哈希方法未能有效地探究不同模态数据之间的相关性以及多样性,导致检索性能不尽如人意。为了克服该问题,提出一种简单而有效的深度跨模态哈希方法——深度共性保持哈希,可以在简单的端到端网络中同时学到模态共享表示和模态私有表示,并生成对应模态的判别性紧凑哈希码。与现有的基于深度的跨模态哈希方法相比,所提出的方法的模型复杂度和计算量几乎可以忽略不计,但是获得了显著的性能提升。在三个跨模态数据集上的大量实验结果表明,该方法优于其他当前最先进的跨模态哈希方法。

基于特征学习的双路径红外-可见光行人重识别算法

由于拍摄视角、行人姿态的变化以及不同的相机光谱造成的额外跨模态差异,RGB图像和红外图像之间存在着明显的差异,提取有效的模态共享特征是红外-可见光行人重识别中的难点。本研究提出一种双路径学习算法来识别特征,利用改进的BNNeck模块来提取RGB和红外图像的特征信息,改善算法的识别性能。该算法首先将注意力机制引入双路径特征学习网络,获取RGB图像在空间维度和通道维度上的特征信息,实现红外特征信息匹配;然后,将BNNeck模块引入至跨模态行人重识别算法,减少模态特征信息差异,加快算法收敛速度;最后,在异质中心损失函数和交叉熵损失函数的基础上,引入跨模态下行人身份损失函数,提高行人识别的准确性。SYSU-MM01和RegDB数据集的实验结果表明,相对于目前大多数已有算法,所提算法具有更好的泛化能力和鲁棒性,Rank-1/mAP分别达到59.39%/85.44%和57.81%/73.19%,比最新算法分别提高2.43%/2.86%和2.44%/1.19%。