智能算力网络中算力资源调度与分配算法研究

随着人工智能技术的发展,智算中心网络规模越来越大,复杂性越来越高,如何有效调度与配置AI算力资源已成为智算中心网络管理中的一个重要课题。针对这一问题,本文提出了一种基于深度强化学习的AI算力资源调度与分配算法,并给出了算法的具体实现过程。该算法可根据任务特点及网络负载情况动态分配算力资源以对智算中心网络进行有效管理。该算法具有从状态表示,动作空间,奖励函数,策略函数以及训练过程等方面对资源进行优化配置,从而提高任务执行效率以及资源利用率等优势。同时本算法既可利用现有深度强化学习算法也可设计新算法在真实数据集上训练测试,适用范围较广。

算力网络中高效算力资源度量方法

随着新型网络业务的不断发展和对算力需求的不断提高,算力网络技术逐渐走进人们的视野并不断发展壮大.而算力度量,作为度量各类算力平台中计算和存储能力的方法,在算力网络业务感知和算力资源高效调度中扮演着重要的角色.目前算力度量的研究尚处于起步阶段,已有的度量方法相对单一,只考虑了部分静态或动态指标,难以保证算力资源利用率和算力资源匹配准确率.设计了一种先静后动的混合式度量方法(hybrid metric method,HMM),该方法结合静态和动态指标来度量算力资源,考虑了算力节点的基础性能及其动态工作状态的变化,并且在静动态的度量指标的选取上也进行了全面的考量.通过实验和数据分析证明,所提度量方法HMM能有效提升算力资源利用率和算力资源匹配准确率.

USPS:面向算力资源高效协同的用户态跨协议代理系统

随着算力网络的快速发展,通用算力、人工智能算力、超算等算力资源分布广泛。算力资源协同服务是算力网络研究的关键问题。在算力资源协同过程中,一方面,算力网络面临海量终端算力服务的高并发请求和低时延响应需求;另一方面,其难以充分发挥数据中心算力资源的高吞吐和低时延优势,进而难以为用户提供高效的算力服务。针对上述挑战,提出一种基于用户态协议栈和远程直接内存访问(Remote Direct Memory Access,RDMA)的用户态代理系统(User-Space Proxy System,USPS),通过用户态协议栈响应客户高并发算力请求,在动态批处理策略协调下实现基于RDMA的数据中心算力高吞吐、低时延服务。在通信方面,USPS实现了一个高效的远程过程调用(Remote Procedure Call,RPC)通信机制,能够充分利用RDMA网卡带宽提供高速消息通信;在请求处理方面,提出了一个动态批处理调度方法,能够在满足用户时延要求的前提下最大化批处理效率。实验结果表明,USPS的服务响应时延仅是传统内核态Nginx代理系统的7.8%~23.1%,是其他用户态代理系统的17.3%~24.7%;吞吐量比传统内核态的Nginx代理系统提升了3.4~8.9倍,比其他用户态代理系统提升了3.2~4.2倍。

气象大数据算力资源管理系统的设计与实现

随着气象大数据云平台“天擎”正式业务化运行,提升大数据算法的运行效率和加强算力资源的优化配置已成为亟需解决的问题。从系统的建设需求、总体架构以及实现方式等问题出发,探讨了气象大数据算力资源优化管理系统的设计思路和若干关键技术,得出以下结论:系统基于B/S架构,以“天擎”为数据中台,以容器作为算力资源供给和优化管理对象,包括加工容器调度和容器平台管理两个子系统;加工容器调度子系统包括账户创建、资源授权、镜像制作、算法注册、算法加载、任务定义、任务启动、任务日志收集等功能,用户可以在调度平台上灵活地实现任务的触发;任务被触发后,加工容器调度子系统在容器平台中创建容器、执行任务并实时监控任务执行期间容器的使用情况;容器平台管理子系统基于Kubernetes的容器编排引擎,将算法配置的资源与可分配资源进行对比,完成配置文件拼装、资源部署脚本下发、节点预选优选,最终获取算法的运行结果;综合运用多节点均衡调度、算法资源精细化匹配、容器运行资源隔离、镜像存储故障恢复、容器和算法故障监控等关键技术,有效提升了容器算力资源调度能力、可靠性和资源利用率。

5G移动边缘计算一体化设备及算力资源分配方法研究

5G移动边缘计算一体化设备采用通用服务器硬件,基于移动边缘计算平台以移动边缘应用形式集中部署5G基站软件、5G核心网软件以及5G网管软件。移动边缘计算一体化系统根据时延敏感性要求将移动边缘应用分为敏感性应用软件和非敏感性应用软件,预先为这些移动边缘应用定义性能等级及对应的算力需求,移动边缘计算一体化系统通过算力资源分配算法,平衡系统中部署的应用软件的性能。

异构多云环境下的算力资源调度技术研究

本文提出了基于云原生和Kubernetes的异构多云调度方法。该方法包括资源调度和编排两个部分,在全方位监测资源运行和调度评价指标的技术上,设计学习算法不断优化调度策略,最终实现异构多云场景下的高效资源调度。基于此技术方法,本文设计并实现了资源调度系统和资源编排系统,期中,资源调度系统由采集、分析和调度模块组成,解决资源缺口问题;资源编排系统将资源编排和配置纳入应用开发环境,建立应用和资源的关联关系,实现调度业务流程中所需的资源编排和应用部署,实现资源调度与应用部署的业务流程闭环。

天津市算力资源创新应用发展战略研究

数字经济时代,算力作为一种新的生产力,广泛融合到社会生产生活的各个方面,为千行百业数字化转型提供基础动力。总结分析了当前天津市算力资源创新应用的基础,提出了下一步天津市算力资源创新应用的方向及建议。建议天津市积极抓住算力发展新机遇,充分挖掘算力资源优势,围绕算力资源创新应用赋能产业发展、科技创新、社会治理、城市建设,通过统筹兼顾多层算力、构建云边端协同架构、加速算力融合创新、完善算力产业生态和优化算力服务体系等举措,逐步打造成为全国算力资源创新应用高地。

一种基于域名解析机制的算力网络实现方案

新型数字化技术和业务的兴起,以及信息数据的爆炸式增长,对云—边—端多级算力资源提出了巨大的应用需求,算力基础设施泛在化成为一大发展趋势。算力网络将算力等资源与网络协同统一,结合用户需求提供最优的资源配置策略,同时提高多级算力资源的协同工作效率,成为网络技术发展的新方向。分析了当前算力网络的技术路线,提出了一种基于域名解析机制的算力网络实现方案。该方案引入域名解析机制,使用URL语言对多种算力资源进行统一标识,由集中式的算力资源管理平台对算力资源进行统一的分配调度。用户在收到分配的算力资源标识时,通过域名解析系统解析出相应资源的网络位置信息,并通过算力网关与资源池建立网络连接。此方案满足灵活扩展算力资源标识的需求,具有很好的实用性和通用性。

加快推进算力网络建设与数据安全技术研究

算力逐渐成为新时代的重要生产力,在很大程度上关系到数字经济的未来。中国移动作为信息通信行业的领头羊之一,在加快推进算力网络建设的过程中将更好地发挥主力军作用,充分贯彻东数西算工程建设要求,打造以算力为核心的现代化信息基础设施。本文结合笔者实际工作研究,探讨了算力网络建设相关问题,并针对数据安全技术进一步展开。

“东数西算”赋能智慧交通行业发展

“东数西算”是在国家数字经济和“新基建”的大背景下,从国家战略、技术变革、能源政策、区域发展等多重政策考量下启动的一项至关重要的国家工程,将数字经济社会中的核心要素算力资源基础设施化,如水、电、燃气等传统社会经济要素,从国家层面进行统筹布局,建设国家级算力网络全国一体化枢纽节点,全面推进算力资源基础设施化。“东数西算”战略从国家层面将算力基础设施化,促进“超算+”生态的快速发展。智慧交通作为数字经济社会的重要发展领域,算力基础设施化将全面加速智慧交通场景的落地和应用推广。

“东数西算”赋能数字化经济高质量发展的耦合路径研究

在数字技术不断普及的趋势下,传统的产业体系已无法适应现有的经济水平,通过“东数西算”工程构建一体化的新型算力网络体系将作为协调东西部经济高质量发展的重要立足点。从国家战略、产业体系和技术创新三个角度解释“东数西算”推动数字经济高质量发展的理论框架。通过分析“东数西算”实施的现状,指出其发展中存在的不足。最后阐释“东数西算”协调数字经济高质量发展的耦合机理,提出促进数字化经济高质量发展的耦合路径。

“东数西算”工程的实施背景、意义与推进路径

2022年2月正式启动的“东数西算”工程,是我国为推动数字经济发展、实现算力资源跨域调配的一项重大战略工程。在阐明其实施背景以及对我国未来经济发展的深远影响基础上,本文重点分析指出,为有效推进“东数西算”工程:一要着力构建网络基础联通,打造全国算力“一张网”;二要强化能源布局联动,提高数据中心能源利用率;三要推进数据产业强链、延链和补链,完善数据中心产业生态体系;四要探索形成与“东数西算”工程相适应的多元投资模式,规避重复投资的陷阱;五要着力夯实西部地区发展根基,打通数字经济大动脉。

一种支持自适应联邦学习任务的可信公平区块链框架

共识机制是区块链技术的重要组成部分,但是主流的共识机制尤其是工作量证明共识机制都存在算力过度耗费和吞吐量低等问题.而联邦学习作为一种分布式机器学习方法,学习模型的本地训练和最终的参与方贡献度计算都需要消耗大量算力资源.因此,提出了一种支持自适应联邦学习任务的可信公平区块链框架TFchain,探索如何利用原本共识机制中耗费的大量算力来提高联邦学习的效率.首先,设计了基于区块链和联邦学习的全新共识机制PoTF(proof of trust and fair),该共识机制将区块链的节点设置为联邦学习的参与方,将原本共识机制中用于哈希计算的大量无效算力转移到联邦学习中,进行本地模型的训练和参与方贡献度的评估;其次,在提高区块链交易吞吐量的同时,对联邦学习的参与方进行了合理的贡献度评估和激励;最后,设计了防止节点作恶的算法.实验结果表明,提出的TFchain能够在回收算力的同时有效提升区块链的交易处理性能,对积极参与联邦学习的参与方进行有效正向的激励.

大规模语言模型的跨云联合训练关键技术

模型参数规模的不断增加使模型训练所需的算力资源变得更加庞大,导致很多情况下单个算力集群难以满足大规模语言模型的训练需求。大规模语言模型的跨云联合训练成为解决这一问题的有效方式。以自然语言处理大模型的跨云预训练和微调为例,介绍了大规模语言模型跨云训练的主要挑战和关键技术,并探讨了这些技术在跨云训练过程中的具体应用、实际效果和未来场景。这些技术将为智能化应用和人机交互等提供有力支持。

云原生架构的融媒体平台建设

本文介绍了如何利用云原生架构理念,构建全媒体生产发布系统,在业务层面有效打通公有云、私有云,实现基础资源的统一化调配,协同工作,实现业务层的按需资源配比和调整,为传统广电行业快速搭建稳定高效的互联网入口提供了思路。

面向异构环境的算网智能编排调度技术探讨

随着计算技术的飞速发展,面向异构环境的算网智能编排调度技术成为实现资源优化利用的关键.本文首先介绍了算网智能编排调度的背景与意义,强调了其在提升计算效率、降低能耗等方面的重要性.接着,分析了算网智能编排调度技术的关键要素:算力资源管理、网络资源管理、任务调度策略及智能优化算法.在此基础上,探讨了面向异构环境的算网智能编排调度技术,包括异构环境的挑战、算网融合技术、自适应调度算法以及跨域协同调度等关键技术.最后,文章阐述了该技术在科学计算、大数据处理、人工智能及物联网等领域的应用场景,展望了其在未来信息社会中的应用前景.

车载信息娱乐系统软件优化与改进

随着智能网联汽车的发展和自身品牌发展的需求,智能座舱的科技感和体验感已成为客户体验重点项目。智能多媒体系统是智能座舱交互中重点零部件,与车联网、智能驾驶、车辆设置等均有复杂、频繁的功能交互。文章重点讨论了智能多媒体系统中针对各类场景的内存资源占比、CPU使用率、网络及交互等方面所做的深度定制及优化等方面。