基于双层特征融合的生物识别

多模态生物识别可以弥补单模态生物识别存在的缺陷,已成为目前生物识别研究的主流趋势.现有的多模态生物识别大都使用传统的机器学习方法,而以深度学习为代表的新一代人工智能方法在该领域的应用研究相对较少.因此,提出了一种端到端、可训练的卷积神经网络(Convolutional Neural Network,CNN)模型用于多模态生物特征识别,并从单模态和多模态两方面研究模型结构和融合方式对识别性能的影响.在单模态识别中,研究不同网络层数和卷积核对识别性能的影响,并利用单模态识别的结果确定多模态识别的网络结构;在多模态识别中,为研究不同阶段特征融合对识别性能的影响,设计了两种不同的CNN结构;基于3种不同的融合方法,探索单层特征融合和双层特征融合机制对识别性能的影响,并通过组合优化给出一种最优的深度模型结构.为了评估本文方法的性能,分别在AR、Yale、Extended YaleB、LFW、PolyU和CASIA V1.0等6个标准数据库上进行验证.试验结果表明,基于CNN的单模态识别方法优于传统机器学习方法,本文提出的方法能够胜任单模态或多模态生物识别任务.

基于双层DCT-Mask特征融合算法的堆叠垃圾实例分割

复杂堆叠场景下的垃圾实例分割受到严重遮挡和高密集性特点的影响,具有更大的检测难度。针对该问题,提出了一种结合DCT-Mask和双层特征融合网络思想的实例分割方法,用于高度堆叠场景下的垃圾实例分割。在网络结构层面,首先在数据预处理环节对特征数据进行解耦,并通过双分支特征融合降低堆叠对遮挡物体特征的影响,从而解决复杂堆叠遮挡下的实例分割问题。针对该场景下的密集混淆问题,在候选框分类回归部分融入了级联分类器,并优化了分割网络分支的损失函数。实验采用堆叠垃圾分类实例分割数据集进行实验验证,实验结果表明,该方法的AP_(50)、平均准确率mAP等指标有较大提升,且具有较好的分割效果和一定的可解释性。

基于双层特征的彝语数据情感自动标注方法

现有的情感自动标注方法大多仅从声学层或语言层提取单一识别特征,而彝语受分支方言多、复杂性高等因素的影响,对其使用单层情感特征进行自动标注的正确率较低。利用彝语情感词缀丰富等特点,提出一种双层特征融合方法,分别从声学层和语言层提取情感特征,采用生成序列和按需加入单元的方法完成特征序列对齐,最后通过相应的特征融合和自动标注算法来实现情感自动标注过程。以某扶贫日志数据库中的彝语语音和文本数据为样本,分别采用三种不同分类器进行对比实验。结果表明分类器对自动标注结果影响不明显,而双层特征融合后的自动标注正确率明显提高,正确率从声学层的48.1%和语言层的34.4%提高到双层融合的64.2%。