基于Graphlab的网络图关键节点发现算法研究

针对桥接中心度的计算特点设计了一种分布式的网络图关键节点发现算法(DABC),并基于Graphlab进行了实现。算法具有良好的扩展性,由于能够利用集群的内存资源,算法能处理的图规模与集群的大小成正比,并且该算法利用并行处理大幅度提升了计算速度。实验表明,与传统的基于单机实现的关键节点发现算法相比,算法可以获得高达4倍的性能提升。

基于GraphLab的分布式近邻传播聚类算法

为有效实现海量数据的非线性聚类,提出基于GraphLab的分布式流式近邻传播算法——GStrAP(GraphLab based stream affinity propagation)。该算法将数据抽象为有向无环图模型,采用"Gather-Apply-Scatter"的模式完成数据同步和算法迭代。在人工合成流形数据3D Clusters、Aggregation、Flame和Pathbased数据集上分别采用不同数据规模以及与传统K-means的聚类性能做对比,实验表明:基于GraphLab的近邻传播算法对数据规模具有良好的拓展性,在保持算法聚类效果的同时,有效降低时间复杂度。

几种并行编程框架在数据挖掘领域的比较

将机器学习并行化是进行海量数据挖掘的重要方式,但由于并行计算框架、机器学习算法的多样性,导致计算框架的选取及算法并行化存在着困难。本文对几种常见的并行计算框架的模型结构和工作机理进行了分析,根据算法中变量的依存关系将其分类,并将这几类算法进行了实验对比。实验结果表明,算法中变量的依存关系对其在并行化后的性能有巨大的影响。

大规模复杂网络下重叠社区的识别

随着网络规模的不断扩大,经典的复杂网络重叠社识别算法已不能高效处理现有的大规模网络图数据.本文在GraphLab并行计算模型上提出了基于重要节点扩展的重叠社区识别算法DOCVN(Detecting the Overlapping Community algorithm based on Vital Node Expanding in GraphLab).算法选取网络中PageRank值大的节点作为重要节点,计算其他节点归属于重要节点的节点归属度,并以重要节点为中心形成核心社区及扩展社区,最后根据重要节点间的连接紧密度合并核心社区及扩展社区,并计算出每个节点在所属社区里的节点重要度,实现了大规模网络的重叠社区识别.实验表明该算法与PD(Propinquity Dynamics)等现有并行算法相比更能有效地识别大规模网络的重叠社区结构.

基于语义数据的药物网络模型构建与分析

针对传统生物数据分析方法无法高效处理规模不断增大的生物语义数据集的现状,将基于属性共现的节点相似度算法应用于Ch EMBL数据集,构建基于药物天然产物-活性的二部图模型,应用Graphlab框架计算基于活性特征的药物天然产物相似度,并对相似度较高的药物天然产物进行活性推荐。实验结果表明,该方法能有效利用生物数据集的语义信息发现药物天然产物潜在的活性特征,从而指导药物研发早期的活性探测以及药物靶标的发现和选择过程。

Researching the Research: Applying Machine Learning Techniques to Dissertation Classification

This research examines industry-based dissertation research in a doctoralcomputing program through the lens of machine learning algorithms todetermine if natural language processing-based categorization on abstractsalone is adequate for classification. This research categorizes dissertationby both their abstracts and by their full-text using the GraphLabCreate library from Apple’s Turi to identify if abstract analysis is anadequate measure of content categorization, which we found was not. Wealso compare the dissertation categorizations using IBM’s Watson Discoverydeep machine learning tool. Our research provides perspectiveson the practicality of the manual classification of technical documents;and, it provides insights into the: (1) categories of academic work createdby experienced fulltime working professionals in a Computing doctoralprogram, (2) viability and performance of automated categorization of theabstract analysis against the fulltext dissertation analysis, and (3) natuallanguage processing versus human manual text classification abstraction.