基于功能划分图的Web服务组合规划和最优选择

扩展Web服务类型的组合方式、实现服务的无缝组合和提高服务组合的可靠性是当今Web服务组合的研究热点。针对Web服务类型组合方式多样性和无缝服务组合问题,根据请求服务的功能划分图来计算可用于服务组合的候选服务类型,动态规划各种服务类型的组合方式,并提出第一级服务类型的装配算法。针对服务组合的可靠性问题,将Web服务自身对运行环境的要求和自身的优先条件表示为上下文,并提出相应的局部最优选择算法和全局最优选择算法,以找到真实的、具有高可靠性的服务组合。最后,通过仿真实验验证了第一级服务类型装配算法、局部最优和全局最优选择算法的性能。

基于顶点组重分配的动态增量图划分算法

图划分是分布式图计算中的一项基础工作,其作用是将大规模图进行划分并分配到集群中的不同机器上.图划分的质量对分布式图计算的性能有很大的影响,其目标是降低负载平衡和最小化边割.如今,现实中的图数据通常呈动态增长态势,这就需要一种能够处理动态增量图的划分方法,在图数据动态增长的过程中确保划分的质量不受影响.目前虽然有一些动态图划分算法被提出,但它们不能同时专注于实时处理动态变化和获得高质量的划分结果.提出基于顶点组重分配的动态增量图划分算法(ED-IDGP)来解决大规模动态增量图的划分问题.在ED-IDGP算法中,设计实时处理4种不同单元更新类型的动态处理器,并在每次处理完单元更新后通过在分区发生动态变化的附近执行局部优化器进一步提高图划分的质量.在ED-IDGP的局部优化器中,利用基于改进标签传播算法的顶点组搜索策略搜索顶点组,并利用提出的顶点组移动增益公式衡量最有益的顶点组,将该顶点组移动到目标分区中做优化.在真实数据集上从不同的角度和度量指标评估了ED-IDGP算法的性能和效率.

基于图划分的分布式推荐系统

【目的】设计一个数据处理效率高的推荐系统具有重要的意义。【方法】使用图结构来模拟推荐系统中的用户偏好关系,将其通过图划分算法处理,可以更深层次地挖掘推荐系统中数据的信息价值,并将得到的负载均衡的子图数据作为分布式系统的输入,最终经过一个自适应聚合模块的融合实现了一个分布式推荐系统。【结果】该系统可以提高推荐算法对于大规模数据的处理效率,在预测精度不下降的前提下,算法在一个由16个CPU构成的集群训练相比于单个CPU训练可提高6.4倍的效率。【结论】实验结果证明了该系统于推荐效率方面的有效性。

动态图划分算法研究综述

图划分是大规模分布式图处理的首要工作,对图应用的存储、查询、处理和挖掘起基础支撑作用.随着图数据规模的不断扩大,真实世界中的图表现出动态性.如何对动态图进行划分,已成为目前图划分研究的热点问题.从不同动态图划分算法的关注点和特点出发,系统性地介绍当前可用于解决动态图划分问题的各类算法,包括流式图划分算法、增量式图划分算法和图重划分算法.首先介绍图划分的3种不同的划分策略及问题定义、图的两种不同的动态性来源以及动态图划分问题;然后介绍3种不同的流式图划分算法,包括基于Hash的划分算法、基于邻居分布的划分算法以及基于流的优化划分算法;其次介绍单元素增量式划分和批量增量式划分这两种不同的增量式图划分算法;再次,分别介绍针对图结构动态的重划分算法和针对图计算动态的重划分算法;最后,在对已有方法分析和比较的基础上,总结目前动态图划分面临的主要挑战,提出相应的研究问题.

基于半定规划的多约束图划分问题

提出一种递归的二分算法,用于求解带顶点权重约束的图划分问题.首先利用内点法求解不加顶点权重约束的半定规划松弛模型,然后利用超平面舍入算法得到满足顶点权重约束的初始可行解,再进一步设计启发式算法对初始可行划分进行局部改进,以得到更优的划分结果.实验结果表明,所设计的算法可在较短时间内得到多约束图划分问题的高质量解.

面向异质图的在线图划分算法

图划分算法是分布式图计算系统里的重要组成部分,它将一个图划分为若干子图以便在分布式系统中运行,并将子图上的点和边数据及子图上的计算任务分配到各分区.异质图是现实世界中广泛存在的一种图,它是指具有多种节点类型或边类型的图,在针对异质图的计算过程中,现有的图划分算法对于异质图的处理没有考虑到以下问题:在图计算过程中,不同类型的节点和边携带的数据量可能不同;不同的节点和边类型,可能会采用不同的处理算法,其计算时间也会不同.针对现有图划分方法的不足,本文提出一种面向异质图的在线图划分算法OGP-HG算法,并对现有的Graph X图计算引擎进行改进,将OGP-HG算法在改进后的图计算引擎中实现.本文提出的OGP-HG算法通过计算节点划分到不同分区上的负载均衡得分和边划分到不同分区上的数据均衡得分,得到使异质图负载和内存占用均衡的划分结果.实验表明,与传统图划分算法相比,该算法提高异质图计算效率1.05–1.4倍.

基于子图划分的多尺度节点分类方法

为了解决深度图神经网络中存在的过平滑问题,提出一种基于子图划分的多尺度节点分类方法。该方法以Graph-Inception网络结构为核心,采用一种基于子图划分的数据预处理方法,通过改变图中的网络结构,优化特征聚集方式,有效地抑制了冗余搜索带来的过平滑问题;利用不同尺寸卷积核的组合来提取目标节点多尺度邻域的特征信息,以实现对图神经网络深度扩展的等效,一定程度上抑制了深层网络结构带来的过平滑问题。实验结果表明,该方法能够有效地抑制图神经网络中出现的过平滑问题,在基准数据集PPI、Reddit和Amazon上的分类准确率都得到了不同程度的提高。

带有顶点权重约束的图划分问题研究

研究了带有顶点权重约束的图划分问题.首先基于矩阵的提升将原问题转化为半定规划松弛模型,利用半定规划内点法求解该模型,并在求解过程中给出了具体的初始点选取策略和步长选取策略.随后利用改进的随机超平面舍入算法和2opt启发式算法求得原问题的近似最优解.数值实验表明该文的算法可有效求解带有顶点权重约束的图划分问题,且对于稀疏图的求解表现出了良好的性能.

基于坐标映射及多重图划分的图相似查询研究

图相似查询是图数据库资源管理最重要的操作之一。目前的相似性查询算法几乎都是采用对整个图数据库进行过滤得到候选集的方式,没有考虑在实际图数据库中各数据图规模之间存在着一定的差距,没有必要对整个图数据库进行计算。因此,提出了一种基于坐标映射的批量处理方式,从规模上对数据图进行剔除,使得后续需要计算的数据图数量大大减少。同时给出了一个参数化的、基于选择性划分的GED下界,使得图划分方式具有约束性,而不是随机的,并在此基础上给出了一个多层索引结构,用于GED下限交叉检查。模拟实验结果表明,所提出的处理方法在通过坐标映射来尽量缩减计算时间的同时,较好地提升了过滤精度,甚至能在过滤阶段就得到相似查询的结果。

异构集群下基于标签传播的大规模图划分算法

近年来,大规模图数据处理在众多领域得到广泛应用,图划分算法是分布式图计算系统的基础,但大规模图在异构集群中的划分尚未得到充分研究。为此,针对异构集群,提出基于标签传播的大规模图划分算法(heterogeneous label propagation, HLP),根据计算节点负载能力进行图划分,以实现负载均衡和边割率最小化为目标。HLP算法规避了传统标签传播中顶点迁移的步骤,提高了算法效率。实验结果表明,HLP算法在分区质量以及划分效率方面均有较好表现。

大规模知识图谱数据的分布式存储与检索系统

知识图谱已经广泛应用于各个领域。针对传统集中式查询的效率低和硬件压力大等问题,对大规模知识图谱的分布式检索与查询进行了研究。采用基于查询负载优化的轻量级重划分算法,通过设置不同权重实现了服务器间的查询负载均衡,从而在查询速度和系统性能上都有了显著的提高。同时,设计了基于查询代价的子图分解查询算法,以查询图的结构信息为基础,加快了系统的查询速度。在分布式微服务管理系统中,采用Spring Cloud的分布式微服务架构和Nginx的负载均衡技术,保证了系统在高并发情况下的可靠性和高可用性。实验结果表明,这些算法在查询效率和系统性能方面都优于传统算法,具有实际应用价值。

基于图划分的个性化轨迹隐私保护方法

针对用户对轨迹匿名数据的个性化需求,提出一种基于轨迹间夹角和位置重合的(s,λ)-覆盖个性化轨迹间关联构建方法,并根据轨迹间距离和方向度量轨迹间边权,以构造规模可变的个性化轨迹图模型。同时,将轨迹k-匿名集的构建转化为轨迹图划分问题,提出了一种基于贪心策略寻找近似最优的k条轨迹构建轨迹k-匿名集的方法。通过对比实验,在合成轨迹数据集上验证了所提算法的有效性和合理性。

OnFlyP:基于定向边交换的分布式在线大图划分算法

随着大数据时代的到来,基于云环境的大图迭代计算已经成为新的研究热点,其中提高图划分算法的执行效率和降低划分后子图之间的通信边规模是改善计算性能的关键.已有工作主要分为离线划分和在线划分两大类,无法在执行效率和通信边规模方面同时满足迭代处理需求.文中针对真实世界的大图,提出了聚簇系数概念,定量分析了顶点分布的局部性,以此为基础设计了一种基于定向边交换模型的分布式在线图划分算法(OnFlyP),可在迭代计算的数据加载阶段快速完成图划分,同时通过出边的交换有效降低通信边规模,以满足迭代计算需求.OnFlyP采用实时控制和最小对称矩阵控制实现负载均衡,前者具有较高的执行效率,而后者对降低通信边规模有较好的优化效果,可根据实际应用的处理需求灵活选择.最后,作者使用多种真实数据验证了OnFlyP算法的有效性.

知识图谱划分算法研究综述

知识图谱是人工智能的重要基石,因其包含丰富的图结构和属性信息而受到广泛关注.知识图谱可以精确语义描述现实世界中的各种实体及其联系,其中顶点表示实体,边表示实体间的联系.知识图谱划分是大规模知识图谱分布式处理的首要工作,对知识图谱分布式存储、查询、推理和挖掘起基础支撑作用.随着知识图谱数据规模及分布式处理需求的不断增长,如何对其进行划分已成为目前知识图谱研究的热点问题.从知识图谱和图划分的定义出发,系统性地介绍当前知识图谱数据划分的各类算法,包括基本、多级、流式、分布式和其他类型图划分算法.首先,介绍4种基本图划分算法:谱划分算法、几何划分算法、分支定界算法、KL及其衍生算法,这类算法通常用于小规模图数据或作为其他划分算法的一部分;然后,介绍多级图划分算法,这类算法对图粗糙化后进行划分再投射回原始图,根据粗糙化过程分为基于匹配的算法和基于聚合的算法;其次,描述3种流式图划分算法,这类算法将顶点或边加载为序列后进行划分,包括Hash算法、贪心算法、Fennel算法,以及这3种算法的衍生算法;再次,介绍以KaPPa、JA-BE-JA和轻量级重划分为代表的分布式图划分算法及它们的衍生算法;同时,在其他类型图划分算法中,介绍近年来新兴的2种图划分算法:标签传播算法和基于查询负载的算法.通过在合成与真实知识图谱数据集上的丰富实验,比较了5类知识图谱代表性划分算法在划分效果、查询处理与图数据挖掘方面的性能差异,分析实验结果并推广到推理层面,获得了基于实验的知识图谱划分算法性能评价结论.最后,在对已有方法分析和比较的基础上,总结目前知识图谱数据划分面临的主要挑战,提出相应的研究问题,并展望未来的研究方向.

BSP模型下基于边聚簇的大图划分与迭代处理

近年来随着互联网的普及和相关技术的日益成熟,大规模图数据处理成为新的研究热点.由于传统的如Hadoop等通用云平台不适合迭代式地处理图数据,研究人员基于BSP模型提出了新的处理方案,如Pregel,Hama,Giraph等.然而,图处理算法需要按照图的拓扑结构频繁交换中间计算结果而导致巨大的通信开销,这严重地影响了基于BSP模型的系统的处理性能.首先从降低消息通信的角度分析当前主流BSP系统的处理方案,然后提出了一种基于边聚簇的垂直混合划分策略(EC-VHP),并建立代价收益模型分析其消息通信优化的效果.在EC-VHP的基础上,提出了一个点-边计算模型,并设计了简单Hash索引和多队列并行顺序索引机制,进一步提高消息通信的处理效率.最后,在真实数据集和模拟数据集上的大量实验,验证了EC-VHP策略和索引机制的正确性和有效性.

基于图划分的谱聚类方法的研究

谱聚类算法已得到机器学习领域的广泛关注,其算法思想来源于谱图理论,通过矩阵的特征分解获得数据的低维嵌入,并用于后续聚类中。介绍了谱聚类方法的基本原理和算法思想,指出现有的谱聚类算法中存在初始化敏感、如何自动确定聚类分组数以及如何降低问题复杂度等问题,并针对存在的问题提出了相应的解决方法。

Storm启发式均衡图划分调度优化方法

针对现有Storm调度器未考虑通信代价,负载不均、无法动态重调度等缺陷,提出了基于启发式均衡图划分算法的调度策略.通过对Storm建立调度模型,将负载检测作为调度器的输入实现动态并行参数优化和重调度优化,最终减少集群节点间的数据发送率,并且保持节点间负载均衡.实验表明本文算法建立的动态调度器能够有效减少数据处理延时,提升集群吞吐量,实现对集群性能的整体优化.

基于图划分的全基因组并行拼接算法

提出了一种基于图划分的全基因组并行拼接算法·该算法巧妙地将数据划分问题转化成图划分的问题,解决了传统数据划分算法中存在的节点负载不平衡的问题·同时,算法在建立关系图时有效地利用了WGS测序中所提供reads之间的长度信息和配对信息,使reads关系图能更准确地反映出数据之间的关系特性,从而提高了数据划分的准确性·实验结果表明,该算法可以准确地划分各种模拟数据、真实数据的数据集,相对于传统数据划分算法划分质量有了明显改善·