一种IaaS模式“云训练”系统设计

针对网络化模拟训练真实感不强,训练效率低等问题,提出了一种Iaa S(Infrastructure as a Service)模式的"云训练"。阐述了"云训练"的体系结构和运行模式,研究了"云训练"的3项核心技术。通过GPU虚拟化技术解决云环境中终端用户3D图形图像处理能力弱的问题。根据模拟训练特点,建立用户需求模型,将模糊理论引入资源调度技术中,实现虚拟资源的动态调度;结合检查点回滚、虚拟机备份和虚拟机迁移技术,实现系统高效动态容错,保证了系统的稳定性与可靠性。实验证明,"云训练"系统改善了传统模拟训练系统中资源的按需共享能力,提升了资源利用率,保证了模拟训练效果。

IaaS模式“云训练”资源预测-调度方法

基础设施即服务(infrastructure as a service,IaaS)模式"云训练"是基于IaaS云计算提出的武器装备系统模拟训练的模式,根据用户需求对训练资源进行预测调度是提高训练效果的重要保证。分析了"云训练"中用户任务、资源需求特点,采用阈值法进行预处理,通过动态权值系综模型得到预处理结果。在此基础上,提出基于减法-模糊聚类的模糊神经网络的资源需求预测方法(subtractive-fuzzy clustering based fuzzy neural network,SFCFNN),并引入自适应学习率和动量项以提升收敛速度和稳定性。调度器根据预测结果实现用户需求与资源之间的动态匹配。实验表明该方法可精确预测用户资源需求,实现资源动态调度,有效提高资源利用率与训练效果。

基于改进免疫算法的云训练虚拟机放置优化

IaaS(infrastructure as a service,基础设施即服务)模式云训练是一种以云计算为基础的新型装备模拟训练.云训练中,虚拟机的优化放置是提高资源利用效率、降低运行时资源调度工作量的基础.阐述了云训练的内涵,并对云训练中的虚拟机放置进行了数学描述.提出了一种改进的免疫克隆优化算法(MICOA),采用反向优化算法对初始抗体进行优化,通过变异概率与范围的自适应控制,保证算法演化初期抗体群的多样性与搜索空间的完备性,以及演化后期的局部寻优与最优解质量.引入抗体-抗体亲和度筛选最优抗体,保证抗体群的多样性.通过对虚拟机放置进行仿真实验,表明该方法可以有效提升资源利用率,实现系统综合优化目标.

云训练中基于自适应副本策略的容错研究

为提升系统容错能力,降低容错开销,提出一种适应于云训练系统的自适应副本容错策略.首先分析了云训练系统内涵以及容错结构.通过分析确定自适应副本策略待解决的三个问题:节点选择,副本数量以及位置分布.引入节点活跃度评价节点是否需要生成副本;结合容错需求,得到需要生成的副本数量;通过加权升序匹配算法,实现位置分布的确定.实验中,引入容错度等概念对策略进行评价,数据表明自适应副本容错策略可以有效保证云训练的容错能力,降低容错开销.

大规模语言模型的跨云联合训练关键技术

模型参数规模的不断增加使模型训练所需的算力资源变得更加庞大,导致很多情况下单个算力集群难以满足大规模语言模型的训练需求。大规模语言模型的跨云联合训练成为解决这一问题的有效方式。以自然语言处理大模型的跨云预训练和微调为例,介绍了大规模语言模型跨云训练的主要挑战和关键技术,并探讨了这些技术在跨云训练过程中的具体应用、实际效果和未来场景。这些技术将为智能化应用和人机交互等提供有力支持。

支持隐私保护的端云协同训练

我国在数据资源上具有规模化和多样化的优势,在移动互联网数据应用上具有后发优势,在丰富的应用场景下产生了海量数据,推荐系统可以从大规模数据中挖掘有价值的信息,缓解信息过载问题.已有的工作聚焦于集中式推荐,数据在云侧训练.随着数据安全和隐私保护问题的日益突出,从端侧设备收集用户数据变得越发困难,这使得集中式推荐变得不可行.以去中心化的方式,利用端侧设备和云服务器的优势,充分考虑数据安全与隐私保护问题,面向推荐系统,提出了一个基于联邦机器学习(federated machine learning, FedML)与移动神经网络(mobile neural network, MNN)的端云协同训练方法 FedMNN(federated machine learning and mobile neural network).具体分为3部分:首先,将多种深度学习框架实现的云侧模型以ONNX (open neural network exchange)作为中间框架通过MNN模型转换工具转换成通用MNN模型供端侧设备训练;然后,云侧将模型下发给端侧设备,端侧初始化后,获取本地数据进行训练并计算损失,再执行梯度反向传播;最后,端侧训练后的模型反馈给云侧,通过联邦学习框架进行模型聚合与更新,再根据不同需求,将云侧模型按需部署到端侧设备上,实现端云协同.实验通过对比FedMNN和FLTFlite (flower and TensorFlow lite)框架在基准任务上的功耗,发现FedMNN比FLTFlite低32%~51%,并以DSSM (deep structured semantic model)和Deep and Wide这2个推荐模型为例,实验验证了端云协同训练的有效性.

Cloudless-Training:基于serverless的高效跨地域分布式ML训练框架

跨地域分布式机器学习(ML)训练能够联合多区域的云资源协作训练,可满足许多新兴ML场景(比如大型模型训练、联邦学习)的训练需求。但其训练效率仍受2方面挑战的制约。首先,多区域云资源缺乏有效的弹性调度,这会影响训练的资源利用率和性能;其次,模型跨地域同步需要在广域网(WAN)上高频通信,受WAN的低带宽和高波动的影响,会产生巨大通信开销。本文提出Cloudless-Training,从3个方面实现高效的跨地域分布式ML训练。首先,它基于serverless计算模式实现,使用控制层和训练执行层的2层架构,支持多云区域的弹性调度和通信。其次,它提供一种弹性调度策略,根据可用云资源的异构性和训练数据集的分布自适应地部署训练工作流。最后,它提供了2种高效的跨云同步策略,包括基于梯度累积的异步随机梯度下降(ASGD-GA)和跨云参数服务器(PS)间的模型平均(MA)。Cloudless-Training是基于OpenFaaS实现的,并被部署在腾讯云上评估,实验结果表明Cloudless-Training可显著地提高跨地域分布式ML训练的资源利用率(训练成本降低了9.2%~24.0%)和同步效率(训练速度最多比基线快1.7倍),并能保证模型的收敛精度。

“云手”视觉反馈训练联合头针治疗脑卒中后平衡功能障碍45例

笔者对脑卒中后平衡功能障碍患者采取“云手”视觉反馈训练联合头针治疗,疗效满意,报道如下。1一般资料.选取2019年7月~2020年7月本院脑卒中后平衡功能障碍患者90例,均分为两组,各45例。观察组中男27例,女18例;平均年龄69.26±5.47岁;偏瘫侧:左28例,右17例;脑梗死26例,脑出血19例;平均病程29.34±7.12月。

云计算在军事仿真中的应用研究

云计算是一种新兴的共享基础架构的方法，它以公开的标准和服务为基础，以互联网为中心，提供安全、快速、便捷的数据存储和网络计算服务。在介绍云计算概念、特点、应用模式以及云计算研究现状的基础上，借鉴云计算应用模式，分析现阶段我军训练模拟仿真系统的不足之处，结合国外云计算在军事仿真领域的应用实例，探讨了云计算技术在军事仿真中的应用前景。在此基础上将云计算的理念融入到训练模拟仿真系统之中，提出了一种新的训练模拟云仿真平台的体系结构。

“双一流”建设背景下工程训练课程建设研究与探索

贯彻落实《教育部关于一流本科课程建设的实施意见》,湖南大学现代工程训练中心以立德树人为根本,坚持“学生中心、产出导向、持续改进”的基本理念,规划性、系统性全面开展一流工程训练课程建设。搭建以“云工训”为平台,以线上线下混合、虚实结合、泛在化学习为特点的“一流”实践教学生态系统,逐步形成以精品课程为龙头,引领量大面广的常规课程,辅以独具特色的通识课程的现代工程训练课程体系。