大数据下的典型机器学习平台综述

由于大数据海量、复杂多样、变化快,传统的机器学习平台已不再适用,因此,设计一个高效的、通用的大数据机器学习平台成为目前的研究热点。通过介绍和分析机器学习算法的特点以及大规模机器学习的数据和模型并行化,引出常见的并行计算模型。简单介绍了整体同步并行模型(BSP)、SSP并行计算模型以及BSP、SSP模型与AP模型的区别,主要介绍了基于这些并行模型的典型的机器学习平台和这些平台的优缺点,并指出各个平台最适合处理何种大数据问题。最后从采用的抽象数据结构、并行计算模型、容错机制等方面对典型的机器学习平台进行了总结,并提出一些建议和展望。

基于TensorFlow机器学习平台的综合接入机房规划方法研究

提出一种基于TensorFlow机器学习平台的综合接入机房规划工具,通过对综合业务接入区的现网数据进行学习,进而评估未来三年广州地区的综合接入机房数,并与传统经验法得出的综合接入机房数进行比较。对比结果可以发现两种方法的结果差异小于5%,因此可以应用在实际生产经营中。

Angel^+:基于Angel的分布式机器学习平台

【目的】随着大數据时代的来临,数据变得高维、稀疏,机器学习模型也变得复杂、高维,因此也给分布式机器学习系统带来了很多挑战。尽管研究人员已经开发了很多高性能的机器学习系统,比如TensorFlow、PyTorch、XGBoost等,但是这些系统存在以下两个问题:(1)不能与现有的大数据系统很好的结合;(2)不够通用,这些系统往往是为了某一类机器学习算法设计。【方法】为了解决以上两个挑战,本文介绍Angel^+:—个基于参数服务器架构的分布式机器学习平台。【结果】Angel^+能够高效的支持现有的大数据系统以及机器学习系统——浪赖于参数服务器处理高维模型的能力,Angel^+能够以无侵入的方式为大数据系统(比如Apache Spark)提供高效训练超大机器学习模型的能力,并且高效的运行已有的分布式机器学习系统(比如PyTorch)。此外,针对分布式机器学习中通信开销大和掉队者问题,Angel^+也提供了模型平均、梯度压缩和异构感知的随机梯度下降解法等。【结论】笔者结合Angel^+开发了很多高效、易用的机器学习模型,并且通过实验验证了Angel^+平台的高效性。

大数据下云计算的人工智能创新分析

大数据技术正逐渐普及,云计算技术和人工智能技术也在持续发展,这些技术在各个领域的应用中都发挥着引领作用。科技企业高度重视这些技术,并根据不同领域的需求不断进行创新。在这种背景下,许多行业希望利用大数据技术、云计算技术和人工智能技术降低成本,提高生产效率,以实现最大化的经济效益。如今,各类信息技术正在迅速升级,尤其是大数据,已经成为人们生产和生活中不可或缺的一部分。企业通过应用大数据来获取用户需求信息,提炼有价值的信息,并结合云计算和人工智能技术的应用提高行业竞争力。本文着重研究大数据下云计算的人工智能创新策略。

基于Kubernetes的工业AI项目开发平台

随着人工智能(AI)成为改变世界的前沿技术,企业也迫切需要系统地开发和实现人工智能来升级新一代工业系统的基础。考虑到将人工智能应用开发集成到工业开发中存在开发流程环节多、AI项目开发人员能力背景不一等问题,以企业实际需求为背景设计实现了一个AI项目开发平台。探讨了人工智能项目开发平台的概念和实现,并且基于企业实际需求对其进行定制化。在传统开发流程基础上完善更多开发工作流环节。在企业内部成功进行部署和测试。结果表明:项目开发平台的功能合理、运行正常、管理便捷对AI项目开发效率、体验、规范化有积极影响,提高了计算加速部件利用率。