基于宽度学习方法的多模态信息融合

多模态机器学习通过有效学习各个模态的丰富特征来解决不同模态数据的融合问题。考虑到模态间的差异性,基于宽度学习方法提出了一个能够学习和融合两种模态特征的框架,首先利用宽度学习方法分别提取不同模态的抽象特征,然后将高维特征表示在同一个特征空间进行相关性学习,并通过非线性融合得到最后的特征表达,输入分类器进行目标识别。相关实验建立在康奈尔大学抓取数据集和华盛顿大学RGB-D数据集上,实验结果验证了相比于传统的融合方法,所提出的方法具有更好的稳定性和快速性。

基于级联宽度学习的多模态材质识别

材质识别在机器人与周围环境的相互作用中起着至关重要的作用,视觉、触觉和听觉模式可以提供不同材质的不同特性,如何利用不同模态的信号快速、高效地完成材质识别任务是亟待解决的问题。并且在现实应用中,传感器收集的数据量不大,无法为深度神经网络提供足够的数据进行学习训练。为此,本文将级联宽度学习这种泛化性能好的算法应用在小样本的材质识别任务上。首先,将两组同构多模态数据进行特征融合,之后使用级联特征节点的宽度学习进行特征学习,最终得到材质分类结果。最后,针对公开数据开展实验评估。结果表明,本文提出的方法与其他算法相比,在完成材质识别任务的同时,降低了训练时间,提高了分类性能。