基于全连接张量网络的多模态与多样性推荐算法

在全媒体时代下,基于多模态数据的推荐具有重要意义.本文使用文本、音频、图像3种模态数据进行推荐,通过两个阶段进行张量融合:第1阶段通过3个平行分支对任意两个模式的相关性进行建模和融合,第2阶段再将3个分支的结果进行融合,不仅考虑了两模态之间的局部交互作用,并且消除了模态融合顺序对结果的影响;在推荐模块中,将融合特征通过堆叠降噪自编码器作为协同过滤的辅助特征进行推荐.本文所构建的推荐系统中模态融合与推荐采用端到端的训练过程.同时,为了解决推荐结果中存在的相似度高、多样性差的问题,我们基于二阶段的张量模态融合特征构建相似度矩阵,在已有推荐结果的基础上进一步精化结果,实现快速的多样性推荐.实验证明,基于本文提出的多模态融合特征的推荐模型不仅能够有效地提升推荐性能,并且能够增强推荐结果的多样性.

基于双路分段注意力神经张量网络的临床文本关系抽取

目前,生物医学领域的关系提取工作已经取得了长足的发展,但是在面对句式复杂的临床医学文本时,由于存在大量长句以及句中实体对的高密度分布,限制了当前关系抽取模型性能的进一步提升.本文提出了一种基于张量权重矩阵的双向门控循环单元网络(Tensor-based Bidirectional Gated Recurrent Unit,Tensor-BiGRU)和分段注意力机制的关系抽取模型,基于张量权重矩阵改进BiGRU网络的编码方式,提升神经网络捕获底层特征的能力,而后提出了两种分段注意力机制,以提高模型捕获长句特征的性能.此外,当句子中有多个实体对时,引入实体对的语义信息特征来克服模型的性能下降.本文进一步提出一种权重自适应的交叉熵损失函数,用于提升模型面对数据集中不同关系类别的样本分布不平衡问题的泛化性.实验结果表明,在不依赖任何特征工程和高性能运算环境的情况下,本文模型在2010 i2b2/VA临床关系抽取数据集上实现了先进的性能.

基于神经网络和改进TuckER分解的链路预测模型张量网络

知识图谱是指知识库中存储大量的三元组,通过三元组(头实体、关系实体、尾实体)描述物质之间的联系,从而提供大量真实和有价值的信息。在一般情况下,由于信息的不完全性,它的建立只能依靠全部事实中的一小部分,而大量的实体间隐性关联却没有得到充分利用。可以利用预测中缺失的部分信息进行处理。所有的知识图谱,都需要不断地完善,甚至推论出新的知识。基于此,本文提出一种基于神经张量网络的改进TuckER分解算法。

拓扑激发驱动的热力学相变及其张量网络研究方法

对热力学相及相变的认知构成了我们理解整个物质世界的物理基础,从朗道对称破缺相变范式到拓扑激发驱动的热力学相变,相变理论的研究发展在物质科学进步之路上树立起了一座座丰碑.一个著名的例子就是Berezinskii-Kosterlitz-Thouless相变,它是在从低温到高温的演变过程中,U(1)旋转对称性没有自发破缺情形下,成对涡旋的解耦合所致.近期,人们利用张量网络表示理论和数值计算方法,将统计模型的转移矩阵对应为一维量子模型.再根据量子模型纠缠熵的奇异性,在热力学极限下可以精确确定系统的相图,并准确计算各种物理量,该研究方法为研究具有连续对称性的二维系统的拓扑相变注入了新活力.

基于张量网络的多标签学习方法

利用关系分类模型,将标签之间的相关性以及特征对标签相关性的影响形式化为分数模型,通过要求模型能够区分真实数据和噪声数据的得分建立了基于张量网络的多标签分类模型.多个数据集上的实验表明,相较于传统多标签学习方法和已有考察标签相关性的多标签学习方法,本文方法在平均精确度和错误率等多标签评价指标上提升近一倍,且拥有更低的计算成本.

分布式张量网络随机化技术的大数据隐私保护

针对数据加密在密钥管理和分发方面比较复杂,现有的安全计算技术在计算或通信成本方面非常昂贵,无法扩展到大数据计算,提出一种随机算法将大数据分解为随机张量网络表示,并分析1D到3D数据张量的隐私泄漏,通过在序列矩阵分解过程中应用大而可控的扰动,将大数据的复杂结构信息随机分散到张量核中,与随机投影算法相比,该算法的时间消耗也很少。实验结果表明,所提张量网络随机化技术有助于大数据的隐私保护。

基于张量网络算法的自旋梯子系统的弦序参量的研究

通过基于矩阵乘积态(MPS)的强关联电子量子自旋梯子格点系统的张量网络(TN)算法,摸索研究自旋梯子量子多体系统的弦序参量,探测系统的量子相变点,刻画系统的量子临界现象,获取系统的量子相图,这为我们提供了一个研究自旋梯子系统的量子多体物理性质强有力的工具和方法:在不知道系统是否缺乏Landau对称性破缺序或者系统是否存在相关的拓扑弦序的情况下,可以先得到系统的基态波函数,如果基态缺乏Landau对称性破缺序,或可以通过其它方式找出系统存在若干非局域的弦序参量,来完整地描述一些拓扑量子相变点,获得系统的量子相图,从而丰富和发展了传统的Landau对称性破缺的相变理论.

基于张量网络算法对二维t-J模型的研究

高温超导问题是当前凝聚态物理学研究的最重要的问题之一。应用基于二维强关联电子无限费米子系统的投影纠缠对(gPEPS)表示下建立的虚时间演化的张量网络算法[arXiv:0907.5520],对高温超导的相关的最小模型——二维t-J模型进行了数值模拟研究,得出二维t-J模型在半占据状态与小于半占据状态时的基态;并最终得到了海森堡反铁磁无空穴的态与有空穴的态之间的相分离线,以及二维正方格子t-J模型的单位格点基态能量。研究结果表明,二维t-J模型的相分离线上临界点为J c=0.95t和下临界点为J c=3.45t;随后模拟J/t=0.4,发现不同的掺杂会导致出现四个超导相。一个是由电荷密度波、自旋密度波与p波共存的超导相,一个是自旋单态的d+s波超导配对与反铁磁背景下自旋三态p波超导配对超导相,一个是扩展s波配对超导相,一个是铁磁背景下p波的配对超导相。

融合知识图谱与神经张量网络的需求响应智能推荐

针对现有协同过滤智能推荐算法在海量数据和复杂电网结构下存在数据稀疏性和冷启动问题,提出一种融合知识图谱与神经张量网络的需求响应智能推荐模型。该模型核心是一个知识驱动的神经张量网络(neural tensor network,NTN)表示学习模型。通过用电数据集抽取用户用电行为知识三元组,与预先抽取的结构化先验知识融合构建知识图谱,利用NTN表示学习模型将知识图谱中实体嵌入低维稠密向量空间解决数据稀疏性问题;基于知识图谱中的先验知识实现新用户需求响应智能推荐,有效解决冷启动问题;为了减少推荐时延问题,文章通过偏好传播(RippleNet)算法缩小候选用户实体集,提高了模型效率。基于用电公共数据集对模型进行算例验证,结果表明基于NTN模型的需求响应推荐算法可以有效克服数据稀疏性和冷启动问题,相对于现有基于协同过滤的需求响应智能推荐算法在推荐准确率、召回率等指标上有显著提升。

基于深度张量投影网络的机械故障诊断方法研究

针对现有的、基于深度卷积神经网络的故障诊断方法利用池化层对高阶输入张量降维时容易破坏张量数据,造成数据信息丢失,以及网络结构相对复杂的不足,构造了一种深度张量投影网络。该网络利用张量投影层代替传统卷积神经网络中的池化层,在对输入的高阶张量数据进行降维时,不会对张量数据造成破坏,避免了特征信息的丢失,提高了模型对故障的识别准确率;并且张量投影层是一种维度可变的降维层,可以简化网络结构。在此基础上,结合高阶谱和深度张量投影网络各自的优点,提出了基于深度张量投影网络的机械故障诊断方法。在提出的方法中,利用高阶谱提取故障信号特征,将得到的高阶张量谱图输入到构建的深度张量投影网络模型中进行高阶张量降维和识别。提出的方法成功应用到齿轮箱故障诊断中。实验结果表明,所提方法能够更好地保留原始故障信息,有效识别不同类型的故障,准确率优于传统深度卷积神经网络故障诊断方法。

Grassmann代数与张量网络——研究强关联费米模型的崭新数值方法

文章介绍了把Grassmann代数与张量网络/张量矩阵乘积态类数值方法相结合所发展出的崭新的处理强关联费米/电子模型的严格数值模拟方法。该类方法普适、高效、严格,是具有广阔发展前景的研究手段。文章还介绍了GMERA(Grassmann multi-scale entanglement renormalization ansatz)方法的一些验证结果以及对t-J模型进行模拟的最新进展。

基于广义等距张量的压缩多光子纠缠态量子密钥分发

等距张量(即张量ω满足ω† ω=I)为实现张量网络态(tensor network states,TNSs)中确定纠缠态的压缩提供了一种新颖而强大的数学构造算法.结合等距张量,本文发现在量子密钥分发(quantum key distribution,QKD)中可能采取完全不同的密钥生成方法,即在不改变纠缠态结构和性质的情况下,将任意多光子纠缠态压缩成单光子态或者Bell态.在提出的QKD协议中,输入态由任意纠缠态组成,这些输入态首先被发送方Alice压缩成单光子态|0>或|1>或Bell态,使得提出的协议同时达到了多模存储和确定性传输的要求,且减少了需要传输和存储的量子比特数量,从而提高了QKD协议的编码能力.然后再添加诱骗态在这些单光子态|0>和|1>中,再通过量子信道一起发送给接收方Bob,以制备密钥.最后,Alice和Bob利用筛选出来的压缩态|0>和|1>以及他们对应的等距张量的共轭转置来协商出共享密钥.本文提出的协议比一般协议中的单光子能编码更多的经典比特,显著提高了编码效率,减少了量子资源的使用.本文提出的QKD协议还保持了生成密钥的完美安全性.

有限温度量子多体系统与热态张量网络

量子多体系统热力学性质的精确模拟在理论和实验方面都具有重要的价值。局域相互作用量子多体系统的热态满足互信息(mutual information)面积律,对于这样的系统,热态张量网络可以提供满足面积律的精确"波函数"拟设,提供了模拟有限温度系统的有力手段。文章介绍了关联格点模型在有限温度下的热态张量网络刻画及相关模拟方法。作者按照世界线热态张量网络和级数展开热态张量网络来分别介绍,并讨论了自由能极小变分原理与重正化群剪裁的优化原则。世界线框架内,人们发展了转移矩阵重正化群,基于纯化策略的有限温度密度矩阵重正化群,以及张量网络的线性重正化群等方法。在此基础上,介绍作者新近提出的级数展开热态张量网络方法,该方法受随机级数展开量子蒙特卡罗方法的启发,突破了世界线方法的局限,提高了有限温度计算重正化群模拟的精度标准,并且在计算阻挫量子自旋链模型时不会有负符号问题。此外,文章讨论了在两维格点系统上推广有限温度张量网络计算的进展和未来展望。

基于语义关系图的跨模态张量融合网络的图像文本检索

跨模态图像文本检索的难点是如何有效地学习图像和文本间的语义相关性。现有的大多数方法都是学习图像区域特征和文本特征的全局语义相关性或模态间对象间的局部语义相关性,而忽略了模态内对象之间的关系和模态间对象关系的关联。针对上述问题,提出了一种基于语义关系图的跨模态张量融合网络(CMTFN-SRG)的图像文本检索方法。首先,采用图卷积网络(GCN)学习图像区域间的关系并使用双向门控循环单元(Bi-GRU)构建文本单词间的关系;然后,将所学习到的图像区域和文本单词间的语义关系图通过张量融合网络进行匹配以学习两种不同模态数据间的细粒度语义关联;同时,采用门控循环单元(GRU)学习图像的全局特征,并将图像和文本的全局特征进行匹配以捕获模态间的全局语义相关性。将所提方法在Flickr30K和MS-COCO两个基准数据集上与多模态交叉注意力(MMCA)方法进行了对比分析。实验结果表明,所提方法在Flickr30K测试集、MS-COCO1K测试集以及MS-COCO5K测试集上文本检索图像任务的Recall@1分别提升了2.6%、9.0%和4.1%,召回率均值(mR)分别提升了0.4、1.3和0.1个百分点,可见该方法能有效提升图像文本检索的精度。

张量网络与神经网络在物理学中的应用和交融

基于张量网络的数值重正化群方法,被广泛地应用到物理学的研究中,已经成为量子多体计算方法大家庭的重要一员。近年来,基于神经网络的机器学习方法也逐渐渗透到物理学领域,并被成功应用在量子多体等问题的研究中。文章简要综述了近年来张量网络和神经网络在凝聚态物理和统计物理学的应用,并讨论了两者的相互交叉和结合。

基于神经张量网络的事件相关关系识别

针对中文事件相关关系识别问题,提出了一种基于神经张量网络的事件相关关系识别方法,将对事件对关系的抽取问题转化为对事件对关系的二分类问题。首先,基于事件的结构特征,抽取包括事件对类型、子类型、论元相似度、触发词依存关系以及论元依存关系共2项事件对结构特征;其次,基于神经张量网络捕获事件对语义特征;并将事件对语义特征与2项事件对结构特征相融合,构建事件对相关关系的二分类模型ECR_NTN,进而完成事件相关关系的识别。实验结果表明所提出的方法和模型具有良好的事件相关关系识别能力,ECR_NTN模型的准确率、召回率、F1值达到75.98%、75.86%、75.92%,与多种主流机器学习方法和深度神经网络模型对比其具有更加优异的性能。

基于深度张量神经网络预测有机分子的相互作用能

分子的相互作用在分子动力学模拟过程中起着关键的作用.受限于计算资源,大分子的长时间尺度的相互作用能无法通过量化计算实现.本文采用一种深度学习框架-深度张量神经网络来预测三个有机分子相关体系中量化精度的相互作用能.其中,分子的几何结构和原子类型作为网络的输入用于预测相互作用能.通过分层生成的数据集合实现了网络中隐层参数的优化和训练.相互作用能的预测结果显示,深度张量神经网络可以在较短的时间内,在1kcal/mol的平均绝对误差的范围内准确预测分子间的相互作用能.这一过程提高了计算效率,并为计算相互作用能提供了可靠的计算框架.

融合特征编码和短语交互感知的隐式篇章关系识别

隐式篇章关系识别难度大、普遍性高.从论元编码和论元交互角度入手,提出了一种融合特征编码和短语交互感知的隐式篇章关系识别模型.该模型兼顾了论元本身特征和论元间交互特征的作用,并分别进行了优化.论元编码部分整合了双向长短时记忆网络和循环注意力卷积神经网络,能够更全面地捕获论元全局和局部特征;论元交互部分从短语层级考虑论元间的语义关系建模,构建了短语级交互注意力机制,并利用神经张量网络深入挖掘其中的关系模式,更能体现出论元间潜在的更深层次的关联关系.在宾州篇章树库数据集上的实验结果表明,该模型F1值均优于其他模型.

面向一致性对话生成的对抗匹配网络与目标侧注意力机制研究

序列到序列(seq2seq)方法在开放域对话生成领域中备受研究学者的关注。然而,标准的序列到序列模型容易产生语义冲突和不连贯的对话回复,这种不一致性是现有系统生成的回复显著有别于人类真实对话的重要原因之一。对话生成中的一致性既包括回复内部的语义一致性,也包括上文与其回复之间的外部关联性。本文提出了一个新的对话生成框架,称为基于张量匹配的生成式对抗网络(MatchGAN),以提高对话回复与其上文之间的外部关联性。与传统的基于最大似然估计的方法不同,该框架通过基于序列到序列模型的生成器和基于张量匹配网络的判别器之间的对抗学习来生成与上文相关的回复。通过使用匹配网络对上文与回复之间的多维关系进行建模,该模型所产生的回复更加符合人类对话的特点。此外,本研究进一步引入了目标侧注意力机制来增强所产生回复的内部语义一致性。实验结果表明,本文提出的框架能够产生高质量的对话回复,在量化指标评价和人工评测方面均优于其他基线方法。

基于矩阵乘积态的机械故障诊断方法研究

在机械故障诊断中,针对传统神经网络处理高阶数据难度大、网络参数多、耗费大量计算资源的不足,提出了一种基于矩阵乘积态的张量网络故障诊断方法。通过输入高阶张量故障数据到矩阵乘积态故障诊断模型中,将高阶张量表示为多个低阶张量,从而简化数据结构和参数量。为了验证该方法的有效性,将其应用在齿轮的故障诊断中,并与传统的卷积神经网络故障诊断模型进行对比。同时,验证了键维度对模型准确率的影响。结果表明:所提模型的键维度会影响模型准确率,键维度为16的模型准确率高于键维度为8的模型准确率;该模型在减小数据复杂度的同时,还可以识别不同故障类型,准确率达到90%,比传统的卷积神经网络故障诊断模型性能更好。