基于文本引导图像语义融合的跨模态哈希检索

基于哈希的跨模态检索算法具有存储消耗低和搜索效率高的特点,跨模态哈希检索在多媒体数据中的应用成为当前的研究热点。目前对于跨模态哈希检索的主流方法是研究模态间哈希码的学习能力,忽视了不同模态之间的特征学习能力以及语义融合能力。将Clip中的图像-文本匹配问题转换为像素-文本匹配问题,文本特征经过Transformer解码器查询图片特征,鼓励文本特征学习到最相关的图片像素级信息,并将像素-文本匹配得分引导图片模态的特征学习,挖掘出不同模态之间的更深层次的相关联的语义信息,并引入二元交叉熵损失函数来提升模态之间的语义融合能力,在高维特征映射到低维的汉明空间时能够得到高质量的二值哈希码。在MIRFLICKR-25K和NUS-WIDE数据集上进行对比实验,实验结果表明所提算法模型在不同长度的哈希码条件下的检索效果均优于目前主流的算法。

基于CHF-CNN的语音分离

深度神经网络已经在语音分离方面取得很好的表现,但是卷积神经网络获取的语音信息会更全面。经常用来评估预测目标好坏的分类准确率和命中率-错误率(HIT-FA)之间存在不平衡现象。为了解决这种不平衡,对卷积神经网络的损失函数进行了改进,提出使用二元交叉熵及命中率-错误率混合(CHF)损失函数,构成CHF-CNN模型。实验证明,使用CHF-CNN模型可以同时提高分类准确率和命中率-错误率(HIT-FA)来避免不平衡现象。此外,还验证了不同信噪比下的语音分离成果,发现当信噪比匹配时效果比不匹配时明显好,同时随着信噪比的增大效果会越来越好。