基于多层次随机梯度下降的大规模图布局算法

大规模图布局问题是图可视化领域研究热点之一。应力布局模型在保持全局布局结构方面表现出色,然而其求解速度却不及弹簧电荷模型,且局部布局质量也有所欠缺。在维持全局结构稳定条件下,为提高应力模型求解大规模图时的布局速度、改进布局局部结构表达,提出了一个新的多层次随机梯度下降图布局模型。首先利用基于邻居结构的图压缩合并算法生成层次图结构,再使用节点最优放置算法初始化节点坐标。最后利用融合了节点正负样本的随机梯度下降算法细化布局,改进局部布局质量。同时多层次方法也有效提高了布局速度。在30个不同规模的数据集上与现有布局模型进行对比实验,从布局计算效率、布局质量以及可视化效果三个方面证明了该方法的有效性。

大规模图数据处理系统的分布式算法设计与性能优化

随着图数据规模的不断增大,大规模图数据处理系统成为当前研究的热点之一。本文围绕分布式算法设计与性能优化展开研究,旨在解决图数据处理中的挑战与问题。通过深入探讨图数据的特点、分布式系统的应用以及分布式算法设计的原理,结合性能优化策略,旨在提高大规模图数据处理系统的效率与可扩展性。

大规模图的分布式核分解算法

随着互联网信息技术的发展,社交网络、计算机网络及生物信息网络等领域涌现海量大规模图数据.鉴于传统图数据管理技术在处理大规模图时存在存储及性能方面的局限,大规模图的分布式处理技术已成为图数据库领域的研究热点,并得到工业界和学术界的广泛关注.图的核分解用于计算图中所有顶点的核值,有助于挖掘重要图结构信息,在社区搜索、蛋白质结构分析和网络结构可视化等诸多应用中发挥着关键作用.当前以顶点为中心计算模式的分布式核分解算法中采用一种广播的消息传递机制,一方面,存在大量的冗余通信及计算开销;另一方面,处理大规模图核分解过程中易产生内存溢出问题.为此,分别提出基于全局激活和层次剥离计算框架,并提出分布式核分解新算法,通过引入基于顶点核值局部性特点的消息剪枝策略和以计算节点为中心的计算新模式,保证算法有效性的同时提升其性能.在国家超级计算长沙中心分布式集群上,分别针对大规模真实和合成数据集,算法总耗时性能提升比例为37%–98%,验证所提模型和算法的有效性和高效性.

云计算环境下的大规模图状数据处理任务调度算法

针对云计算环境下调度算法必须考虑资源租赁成本的问题,提出一种新的基于粒子群优化的大规模图状数据处理任务调度算法(LGPPSO).首先,该算法将图状数据处理任务调度方案编码为粒子群中粒子的位置,并利用任务的调度长度和资源租赁成本建立适应度函数来评价当前粒子的优劣程度,然后重新定义粒子群的参数和相关操作,最后在算法的每一次迭代过程中,粒子不断更新自身的速度和位置,以获得任务调度的近似最优解.模拟实验结果表明:在仅以调度长度为目标时,LGPPSO算法的调度长度比异构最早完成时间任务调度算法(HEFT)平均降低约12.3%;在以调度长度和资源租赁成本为目标时,与成本感知任务调度算法(CCSH)相比,在资源租赁成本基本一致的情况下,LGPPSO算法的调度长度平均降低约9.97%.

基于Multi-GPU平台的大规模图数据处理

在GPU高性能节点上构建高效的大规模图数据的算法和系统已经日益成为研究热点,以GPU协处理器为计算核心不仅能够提供大规模线程的并行环境,也能提供高吞吐的内存和缓存访问机制.随着图的规模增大,相对大小局限的GPU的设备访存空间逐渐不能满足缓存整个图数据的应用需求,也催生了大量以单节点上外存I/O优化(out-of-core graph)为主要研究方向的大规模图数据处理系统.为了应对这一瓶颈,现有的算法和系统研究采用对图切分的压缩数据形式(即shards)用以数据传输和迭代计算.然而,这类研究扩展到Multi-GPU平台上往往性能的局限性表现在对PCI-E带宽的高依赖性,同时也由于Multi-GPU上任务负载不均衡而缺乏一定的可扩展性.为了应对上述挑战,提出并设计了基于Multi-GPU平台的支持高效、可扩展的大规模图数据处理系统GFlow.GFlow提出了全新的适用于Multi-GPU下的图数据Grid切分策略和双层滑动窗口算法,在将图的属性数据(点的状态集合、点/边权重值)缓存于各GPU设备之后,顺序加载图的拓扑结构数据(点/边集合)值各GPU中.通过双层滑动窗口,GFlow动态地加载数据分块从SSD存储至GPU设备内存,并顺序化聚合并应用处理过程中各GPU所生成的Updates.通过在9个现实图数据集上的实验结果可以看出,GFlow在Multi-GPU平台下相比其他支持外存图(out-of-core graph)处理的相关系统性能表现更为优异,对比CPU下的GraphChi和X-Stream分别提升25.6X和20.3X,对比GPU下支持外存图数据处理的GraphReduce系统单GPU提升1.3~2.5X.同时GFlow可扩展性在Multi-GPU上也表现良好.

基于线积分卷积的大规模图可视化

传统的基于边-节点的大规模图可视化方法存在边交叉和节点覆盖等问题,其可视化结果不易于理解,为此提出一种基于线积分卷积的大规模图可视化方法.首先根据图的布局结果对每个节点的连接关系进行聚类,并提取其主要连接方向,以此重建出一个可近似描述原始图中节点之间连接关系的向量场;然后采用线积分卷积可视化该向量场,得到最终的可视化结果.实验结果表明,该方法不仅可避免大规模图中因边交叉和节点覆盖所带来的视觉混乱,还可以显式地揭示埋没于边中的节点连接细节信息.

基于采样的大规模图聚类分析算法

针对当前聚类方法(例如经典的GN算法)计算复杂度过高、难以适用于大规模图的聚类问题,本文首先对大规模图的采样算法展开研究,提出了能够有效保持原始图聚类结构的图采样算法(Clustering-structure Representative Sampling,CRS),它能在采样图中产生高质量的聚类代表点,并根据相应的扩张准则进行采样扩张.此采样算法能够很好地保持原始图的内在聚类结构.其次,提出快速的整体样本聚类推断(Population Clustering Inference,PCI)算法,它利用采样子图的聚类标签对整体图的聚类结构进行推断.实验结果表明本文算法对大规模图数据具有较高的聚类质量和处理效率,能够很好地完成大规模图的聚类任务.

面向大规模图数据的分布式可达性索引与查询策略

针对构建大规模图数据可达性索引时的构建时间长、存储代价高和响应时间长等问题,提出一种分布式可达性索引与查询策略(DRIQ)。在不破坏原图中节点可达性的前提下,将大规模图划分成若干小规模子图,并对每个子图分布式并行地创建可达性索引,从而提高可达性索引创建效率。给出保持图划分后各子图内节点间以及子图间节点可达性的方法,从而保证基于DRIQ进行可达性查询的正确性。实验结果表明,与传统可达性查询方法相比,该策略具有高效性和可扩展性。

探究云计算环境下的大规模图数据处理技术

随着科技的发展,以及信息技术时代的来临,我国的网络社交分析等的新兴的应用得到了快速的增长,尤其是对亿万个定点级别的大规模图的处理能力的需求量急剧增加。从而使得我国的高性能计算领域的研究和开发出现了新的热点,该文中主要是对云计算环境下的大规模图数据数理技术进行了分析,主要是分析的云技术的图数据模型与管理、分割策略等。

大规模图挖掘算法并行化研究

目前大规模图挖掘算法的思路是基于MapReduce将矩阵与向量相乘的过程并行化,但却没有针对MapReduce特点对图数据进行划分,会产生大量中间结果,算法代价较高。针对这些问题,提出了GIM-V LI算法。该算法采用数据划分思想,将图矩阵横向划分,结合MapReduce特点以行为单位替代点或块的数据组织方式,并设计出<key,value>结构,使一个单位数据仅产生一个中间结果,从而大大减少了中间结果,提高了算法的性能。通过大量实验分析验证了该改进算法的正确性与有效性。

折叠树编码索引的大规模图可达查询处理

可达查询作为图查询中一类基本查询,在众多领域得到广泛应用.研究发现,图规模的不断增长导致传统单机环境下的查询算法已无法满足大规模图的查询需求.为此,提出一种折叠树编码索引的大规模图可达查询方法,该方法由离线预处理和在线查询两阶段构成.预处理阶段,提出一种折叠树编码索引方法 FTCI,该方法建立了基于B+树的标记机制对分割子图进行标记,并通过标记子图上的折叠树创建及相应类哈夫曼编码,良好地保存了子图内部及子图间的可达信息;在线查询阶段,采用分布式技术,设计了基于FTCI的可达查询方法,根据查询节点隶属子图情况,给出子图内、子图间查询策略.实验证明提出的方法在保证高效查询的同时降低了索引的存储开销,提高了可达查询的处理效率.

基于云计算的大规模图数据处理技术研究

云计算是一种新型的互联网应用模式,更新了传统的IT产业,为IT产业的带来更大的发展空间,随着云计算的应用,对大规模图数据处理的要求越来越高,在这一背景下,需要在云计算的环境下进行大规模图数据处理技术的研究,从而提升大规模图数据的处理能力,该文通过对云计算的概述,在大规模图数据处理技术中应用云计算的优势,大规模图数据处理技术中云计算的应用三个方面进行具体的阐述,希望对未来我国基于云计算的大规模图数据处理技术更好的发展提供可参考性建议。

LGP-SA:分布式环境下基于模拟退火的大规模图划分算法

针对大规模图数据的分布式计算,首先需要进行图划分。当前大规模图划分方法采用顶点转移策略来减少分区间的边割数以降低通信开销,但容易陷入局部最优,引入模拟退火的方法进行顶点转移后,极大地避免了局部最优的陷阱,也极大地防止了顶点无效转移,更好地降低了通信开销。对比实验显示,本算法划分大规模图的边割率有了极大的改进,并用PageRank算法验证了算法的有效性和可行性。

基于正则化方向失真的大规模图数据压缩质量评价

为了提高大规模图数据压缩质量,提出基于正则化方向失真的大规模图数据压缩质量评价方法.以多聚焦图像为研究对象,建立大规模多聚焦图像数据采样模型,对采集到的图像进行分块融合匹配处理,提取图像各聚焦区域的细节信息,采用模糊信息融合方法进行大规模多聚焦图像边缘轮廓特征检测,根据图像边缘细节的保持程度进行大规模图数据压缩.采用正则化方向失真反馈补偿方法进行大规模图数据压缩过程的自适应寻优,建立大规模图数据空间压缩和多分辨信息融合模型,根据信息融合结果实现大规模图数据压缩质量评价.仿真结果表明,采用该方法进行大规模图数据压缩质量评价的自适应性较好,精度较高,提高了大规模图数据压缩质量.

浅谈云计算环境下的大规模图数据处理技术

本文着手于大规模图数据处理技术在云计算环境下的应用优势,通过对大规模图数据处理技术的实践应用情况进行分析,结合云计算环境心爱的大规模图数据处理问题情况进行研究,总结出大规模图数据处理技术在云计算环境下的关键性技术实施情况,为我国今后的大规模图数据处理技术创新提供可行性参考。

试论云计算环境下的大规模图数据处理技术

互联网基础建设和普及的时代已经过去,云计算的产生使得一个平台多种应用成为可能。近年来,随着网络带宽等网络技术的发展,通过网络访问非本地计算服务的条件越来越成熟,对大规模数据的处理应用实践,更加促进了云计算技术往更加广阔的方向发展。研究的主要内容是云计算环境下的大规模图数据处理技术及其在实际应用的意义,旨在通过构建基于云计算虚拟机集群来解决图数据计算难题,提高大规模图数据处理效率,促进云计算技术的发展和推广。

基于模块分析的大规模图数据可视化方法

图数据的可视化增强了人们对网络中实体间关系的直观理解力。然而随着图数据规模和密度的不断增加,传统可视化结果的可读性迅速减小。提出一种基于模块分析的大规模图数据可视化方法,通过改进的LPA社团发现算法将大规模图数据划分为不同模块,然后再对各个模块的结构模式进行分析,最后使用力引导算法对抽象为节点的模块进行布局,并在布局结果中同时展示模块的结构模式信息。实验表明,可视化方法能够快速有效地支持大规模图数据的可视化需求。

利用多级社区中心标签实现大规模图上距离查询

距离查询是图数据挖掘应用中的最基本的操作之一,但是目前的现存查询算法均无法高效处理大规模图数据.针对这个问题,提出建立多级社区中心的标签机制,即首先在原图中将结点按社区划分为多个集合,然后再将各集合中的中心结点建成带权查询子图,经过多次递归操作,最终为各结点建立一个基于社区中心的树状结构标签集,该标签集可以实现利用较短的创建时间和较小的存储代价大幅度提高距离查询的效率.从实验结果可以看出,该方法综合效率明显优于现存的高效算法.

一种基于Hadoop的大规模图直径算法

为提高具有百万个节点以上的大规模图处理效率,通过研究大规模图和分布式框架Hadoop,提出了GDH大规模图直径算法。算法通过每次计算出半径相同的图节点,直到最后一次迭代求出所有节点的半径,然后用节点半径之和除以节点数算出大规模图直径。算法的时空复杂度不大,并且与经典的直径算法相比,GDH算法的效率高些。经测试雅虎网站和脸谱网站的网页数据,发现该算法可清晰地分析Web图的网页节点和社交图的人际关系。

大规模图神经网络系统综述

图神经网络(GNN)是一类基于深度学习的处理图域信息的方法,它通过将图广播操作和深度学习算法结合,可以让图的结构信息和顶点属性信息都参与到学习中,在顶点分类、图分类、链接预测等应用中表现出良好的效果和可解释性,已成为一种广泛应用的图分析方法.然而现有主流的深度学习框架(如TensorFlow、PyTorch等)没有为图神经网络计算提供高效的存储支持和图上的消息传递支持,这限制了图神经网络算法在大规模图数据上的应用.目前已有诸多工作针对图结构的数据特点和图神经网络的计算特点,探索了大规模图神经网络系统的设计和实现方案.首先对图神经网络的发展进行简要概述,总结了设计图神经网络系统需要面对的挑战;随后对目前图神经网络系统的工作进行介绍,从系统架构、编程模型、消息传递优化、图分区策略、通信优化等多个方面对系统进行分析;最后使用部分已开源的图神经网络系统进行实验评估,从精确度、性能、扩展性等多个方面验证这些系统的有效性.