基于分布式图计算框架的好友推荐算法研究

随着社交网络的兴起与发展,用户数目规模呈现出指数级增长的趋势。这些大规模数据里蕴含着许多有价值的信息,挖掘其中有用的信息已经成为学者研究的重点,好友推荐就是数据挖掘里的一个重要应用。为了获得更优的性能、更高的可扩展性,采用分布式平台解决大规模好友推荐成为学术界和工业界的一个发展趋势。目前使用得较广泛的为基于MapReduce框架的好友推荐算法,该方法有较高的可扩展性,但是受限于MapReduce低效的中间数据传输,存在性能缺陷。针对上述问题,提出一种基于分布式图计算框架的好友推荐算法。最后,在多个真实的社交网络数据集上评测了该方法。实验结果表明,该方法要优于业界先进的好友推荐算法,在准确率相当的情况下,性能大约为其他算法的7倍。

面向多样应用和异构集群的约束调度机制

针对传统集群调度器在异构环境中无法处理约束的问题,提出了一种约束调度机制,包括约束描述方法和约束调度算法。该描述方法通过易拓展的属性集合方式,描述异构化的任务需求和机器属性,进而描述各种约束;该调度算法将硬约束作为过滤标准,软约束作为选择标准,综合考虑软硬约束,为任务分配最优机器。实验表明,提出的约束调度机制不仅具有良好的易用性、较短的调度响应延迟,而且可以显著提高任务执行效率。因此,该调度机制可以较好地用于异构环境的集群调度中。

面向多应用的文件同步方法

容灾系统保证了核心数据的可用性和关键业务的持续性,而文件同步是容灾系统的基础。但在同一系统下多个应用的文件需要同步时,现有的同步算法没有考虑应用间文件的关联关系、应用启动依赖关系和优先级关系以及应用产生的中间型文件和临时文件,导致同步了大量重复文件,紧急应用的文件无法优先同步,不必要的同步文件占用了珍贵的网络资源。针对此问题,提出了面向多应用的文件同步方法,通过对应用间文件去重,减少重复文件同步;利用优先级同步队列保证文件同步的优先级,提出自适应优先级策略保证对中间文件和临时文件的过滤。实验结果表明,该策略在电网基础平台系统应用和分布式Hadoop生态系统应用上分别减少了同步过程中的文件传输数量6%和30%,系统的平均响应时间分别减少了16%和55%,过滤了文件数量40%,减少同步文件大小44%。