基于全连接张量网络的多模态与多样性推荐算法

在全媒体时代下,基于多模态数据的推荐具有重要意义.本文使用文本、音频、图像3种模态数据进行推荐,通过两个阶段进行张量融合:第1阶段通过3个平行分支对任意两个模式的相关性进行建模和融合,第2阶段再将3个分支的结果进行融合,不仅考虑了两模态之间的局部交互作用,并且消除了模态融合顺序对结果的影响;在推荐模块中,将融合特征通过堆叠降噪自编码器作为协同过滤的辅助特征进行推荐.本文所构建的推荐系统中模态融合与推荐采用端到端的训练过程.同时,为了解决推荐结果中存在的相似度高、多样性差的问题,我们基于二阶段的张量模态融合特征构建相似度矩阵,在已有推荐结果的基础上进一步精化结果,实现快速的多样性推荐.实验证明,基于本文提出的多模态融合特征的推荐模型不仅能够有效地提升推荐性能,并且能够增强推荐结果的多样性.

基于语义关系图的跨模态张量融合网络的图像文本检索

跨模态图像文本检索的难点是如何有效地学习图像和文本间的语义相关性。现有的大多数方法都是学习图像区域特征和文本特征的全局语义相关性或模态间对象间的局部语义相关性,而忽略了模态内对象之间的关系和模态间对象关系的关联。针对上述问题,提出了一种基于语义关系图的跨模态张量融合网络(CMTFN-SRG)的图像文本检索方法。首先,采用图卷积网络(GCN)学习图像区域间的关系并使用双向门控循环单元(Bi-GRU)构建文本单词间的关系;然后,将所学习到的图像区域和文本单词间的语义关系图通过张量融合网络进行匹配以学习两种不同模态数据间的细粒度语义关联;同时,采用门控循环单元(GRU)学习图像的全局特征,并将图像和文本的全局特征进行匹配以捕获模态间的全局语义相关性。将所提方法在Flickr30K和MS-COCO两个基准数据集上与多模态交叉注意力(MMCA)方法进行了对比分析。实验结果表明,所提方法在Flickr30K测试集、MS-COCO1K测试集以及MS-COCO5K测试集上文本检索图像任务的Recall@1分别提升了2.6%、9.0%和4.1%,召回率均值(mR)分别提升了0.4、1.3和0.1个百分点,可见该方法能有效提升图像文本检索的精度。

一种自动的高分辨率遥感影像道路提取方法

从高分辨率遥感影像中提取道路有着非常重要的意义,但是受到遥感影像噪声、复杂的自然场景和已有算法的局限性的影响,道路提取有待于进一步研究.近些年来水平集方法被用于提取道路,但是初始水平演化曲线的确定却是一个大的难点.笔者提出一种自动的水平集分割方法,并将其用于道路检测中.首先,将卷积神经网络用于道路的粗分类.然后,利用形状特征和孔洞填充方法得到比较准确的道路区域.在此基础上,利用张量投票来提取道路的交叉口,并将其轮廓作为水平集演化的初始曲线进行水平集分割.最后,结合卷积神经网络分类和水平集分割的优势,得到比较完整的道路区域,并保持了道路的边缘.实验结果表明,该方法能自动地提取准确完整的道路区域.

基于张量分解融合RGB-D图像的物体识别

为了充分利用RGB-D图像的深度图像信息,提出了基于张量分解的物体识别方法。首先将RGB-D图像构造成一个四阶张量,然后将该四阶张量分解为一个核心张量和四个因子矩阵,再利用相应的因子矩阵将原张量进行投影,获得融合后的RGB-D数据,最后输入到卷积神经网络中进行识别。RGB-D数据集中三组相似物体的识别结果表明,利用张量分解融合RGB-D图像的物体识别准确率高于未采用张量分解的物体识别准确率,并且单一错分实例的准确率最高可提升99%。

基于高分辨率遥感影像数据的道路网络提取算法

为了能从高分辨率遥感影像数据中有效提取道路中心线,满足地理信息库建设等方面的数据需求,本文提出了基于高分辨率遥感影像数据的多特征融合道路中心线提取算法。首先,基于影像分割提取道路的空间特征与光谱特征;其次,通过多特征融合算法融合空间特征与光谱特征,通过对面向对象角度构建的形状特征进行网络优化,获取精细化道路网络;最后,引入计算机视觉中的张量投票算法准确提取道路中心线。将本文算法与已有道路网络提取算法进行对比,结果表明,本文算法提取结果在检测质量、正确率和完整率3个评价指标方面均优于已有算法,验证了其有效性与优越性。

多模态网络融合在轻度认知障碍分类中的应用

针对早期轻度认知障碍(MCI)根据医学诊断认知量表评估极有可能无法判断的问题,提出了一种多模态网络融合的MCI辅助诊断分类方法。基于图论的复杂网络分析方法在神经影像领域的应用已得到广泛认可,但采用不同模态的成像技术研究脑部疾病对大脑网络拓扑结构属性的影响会产生不同结果。首先,使用弥散张量成像(DTI)与静息态功能磁共振成像(rs-fMRI)数据构建大脑结构和功能连接的融合网络。然后,融合网络的拓扑属性被施以单因素方差分析(ANOVA),选择具有显著差异的属性作为分类特征。最后,利用支持向量机(SVM)留一法交叉验证对健康组和MCI组分类,估算准确率。实验结果表明,所提方法的分类结果准确率达到94.44%,相较单一模态数据法的分类结果有明显提高。所提方法诊断出的MCI患者在扣带回、颞上回以及额叶和顶叶部分区域等许多脑区表现出显著异常,与已有研究结果基本一致。