面向大数据场景的系统性能优化实践

在现有大规模分布式环境中,大数据应用的性能与计算效率仍有较大的提升空间。然而,在大规模环境中进行性能分析与优化需要大量领域专家。针对大数据应用中的性能优化问题,提出了一个通用的低效查询语句检测与优化流程,总结了4类显著影响大数据应用性能的低效行为,并针对每一类低效行为,提出了具体的优化策略。最后,通过实验评估验证了提出的优化方案在实际大规模集群中的有效性。

面向广域分布式计算环境的任务与资源动态双向匹配方法

广域分布式计算环境可提供大规模的计算和存储资源,是支持算力互联和数据流转的重要基础设施。在广域分布式计算环境中,任务与资源的匹配对于提高系统性能具有重要意义。然而,任务与资源的多样性、地理位置分散的资源会增加二者匹配的复杂性。针对响应延迟高、匹配效率低等问题,提出了面向广域分布式计算环境的任务与资源动态匹配方法,通过建立统一的任务需求模型和资源能力模型来简化匹配过程,降低响应延迟。此外,定义了任务向匹配度和资源向匹配度以刻画任务视角和资源视角的偏好,并权衡二者;定义了任务和资源的双向综合匹配度以量化任务需求和资源能力的适配程度。最后通过动态计算每一组任务与资源间的双向综合匹配度以优化匹配效果。实验结果表明,与现有的方法相比,该方法可提升匹配效果,并大幅降低平均响应延迟。

基于图神经网络的权益推荐技术方案研究

推荐系统是实现海量互联网权益产品智能化推荐的重要手段。为了提升个性化推荐的准确率,提出了基于图计算方法的深度学习推荐系统。针对用户行为数据存在多源异质的特性,基于深度学习图表示技术,对用户多维特征及权益产品之间的多种交互方式进行图结构化信息抽取及异质图建模,构建用户权益多元关系图谱,实现了各类交互信息(如用户—App、App—套餐、用户—套餐)的有效聚合。通过构建异质图卷积神经网络,学习各类异质性节点的高维特征向量,挖掘用户潜在偏好行为,提供具有较强可解释性的推荐链路,进而大幅提升推荐成功率并产生经济价值。