跨云环境下任务调度综述

随着云计算技术的不断发展,越来越多的企业和组织开始采用跨云的方式进行IT交付.跨云环境可以更有效地应对传统单云环境资源利用率低、资源受限以及供应商锁定等问题,并对云资源进行统一管理.由于跨云环境中资源具有异构性,导致跨云任务调度变得更为复杂.基于此,如何合理地调度用户任务并将其分配到最佳的跨云资源上执行,成为了跨云环境中需要解决的重要问题.拟从跨云环境的角度出发,探讨该环境下任务调度算法研究的进展及挑战.首先,结合跨云环境特征将云计算分为联盟云、多云环境并进行详细介绍,同时回顾已有的任务调度类型并分析其优缺点;其次,根据研究现状选取代表性文献对跨云环境下任务调度算法进行整理、分析;最后探讨了跨云环境下任务调度算法研究中的不足和未来的研究趋势,为跨云环境下任务调度算法的进一步研究提供了参考.

低跨云数据中心修复流量的纠删码的快速构造方法

近年来,云数据中心故障频发,因而各大机构纷纷采用跨云数据中心多副本技术对数据进行容灾存储.与跨云数据中心多副本技术相比,跨云数据中心纠删码技术可靠性更高、冗余度更低.但是,现有跨云数据中心纠删码技术无法同时满足低跨云数据中心修复流量、高编码参数适应性和高纠删码构造效率,因而尚未在生产系统中得到普遍应用.提出一种低跨云数据中心修复流量的纠删码的快速构造方法(fast construction method of the erasure code with small cross-cloud data center repair traffic,FMEL),该方法可在不同编码参数下快速构造具有低跨云数据中心修复流量的纠删码.具体而言,FMEL首先将纠删码修复组分布方案及用户指定的编码参数转换为定长特征向量,并基于支持向量机对各特征向量进行快速分类以检验其对应纠删码修复组分布方案和编码参数的匹配性--某特征向量属于正类表示其对应纠删码修复组分布方案与编码参数相匹配.而后,FMEL用一种并行搜索算法从所有通过检验的纠删码修复组分布方案中选出平均跨云数据中心修复流量较小的一个方案,并用一种试错算法将其转换为具有低跨云数据中心修复流量的纠删码的生成矩阵.跨云数据中心环境中的实验表明,与现有的可在不同编码参数下构造出能达到平均跨云数据中心修复流量下限的最优码的工作相比,FMEL可将纠删码构造用时缩短89%,且在大部分编码参数下,二者构造的纠删码的跨云数据中心修复流量相同.此外,与其他几类常用纠删码相比,FMEL构造的纠删码可将跨云数据中心修复流量降低42.9%~56.0%.

大规模语言模型的跨云联合训练关键技术

模型参数规模的不断增加使模型训练所需的算力资源变得更加庞大,导致很多情况下单个算力集群难以满足大规模语言模型的训练需求。大规模语言模型的跨云联合训练成为解决这一问题的有效方式。以自然语言处理大模型的跨云预训练和微调为例,介绍了大规模语言模型跨云训练的主要挑战和关键技术,并探讨了这些技术在跨云训练过程中的具体应用、实际效果和未来场景。这些技术将为智能化应用和人机交互等提供有力支持。

基于云计算的跨云资源管理与负载均衡平台设计

文章旨在针对现代多云环境中的资源和负载挑战,设计一个跨云资源管理与负载均衡平台。首先,从资源发现与注册、资源池的构建与管理、资源调度策略三个方面探讨跨云资源管理的基本原理与方法。其次,从跨云环境下的负载均衡技术、实时监控与动态调整技术两个方面深入分析跨云负载均衡的基本原理与技术。最后,基于这些理论基础,成功构建一个跨云资源管理与负载均衡平台,能够跨多个云提供商有效地管理资源,同时在高负载情况下确保性能的稳定。

跨云平台一体化协作管理关键技术研究及应用系统设计

面向当前公安机关跨云平台协作需求,针对多云平台之间无法进行统一管理、协同联动困难等问题,进行了跨云平台分布式任务架构设计,开展了基于分布式消息队列的跨云平台消息路由、基于DataX的跨云平台多源数据同步传输、基于安全多方计算的跨云平台协同计算等关键技术的研究,设计了跨云平台一体化协同系统,在实战中进行了初步试用应用,并扩展设计了典型应用场景,为各级公安机关在多云平台间进行跨地域、跨层级协同联动提供了有效支撑。

基于ECC的3PAKE跨云认证方案

云用户与公有云之间的双向认证是云计算中用户访问公有云的重要前提。Juang等人和谢琪等人分别提出的方案都存在效率或安全上的问题,而ECC有CPU利用率高,加密时间较短和密钥长度短的优点,因此本协议是在此基础上提出的运用椭圆曲线算法实现的3PAKE跨云认证,是一个更高效而且更安全的方案。

跨云环境的备份及容灾管理分析与实践

随着电网企业智能化步伐的推进,IT在电网企业的地位越来越重要,作为关系到国计民生的重要行业,电力行业一旦发生大规模数据损失或破坏,所造成的损失将是无可估量的。特别是在云时代的背景下,如何保障部署在云服务器上的电力业务系统,在遭受火灾、洪水等意外灾难的破坏后,可以及时恢复并保障业务的持续运作,是当前急待解决的重要问题。本文阐述了电网企业在跨云环境下备份及容灾管理所遇到的困难和挑战,并阐述了电网企业如何采用集群、远程镜像技术、基于IP的SAN的互连技术、快照技术和异地“双活”等技术,一旦机房遭受灾难时,业务即时迁移到备机,能够实现零停机,确保业务的连续运行,即使在灾难后,也能够通过备份及容灾恢复业务,可以方便地挽回丢失的数据,把灾难带来的风险和损失降到最低。

跨源点云数据地理场景三维建模技术路线研究

现有的跨源点云数据融合配准方案存在着速度慢、重建精度低等问题,文章提出一种基于跨源点云数据融合的地理场景三维建模方法,将无人机倾斜摄影数据和地面激光雷达数据作为跨源点云数据,采用随机抽样一致性(Random Sample Consensus,RANSAC)算法进行粗配准,接着利用点到面的迭代最近点(Iterative Closest Point,ICP)算法进行精配准,将跨源点云数据融合到同一坐标系下,在数据重叠部分仅保留地面激光雷达数据。在三维建模实验中,文章提出的方法在重建效果上具有较强的真实感和细节表现力。

Cloudless-Training:基于serverless的高效跨地域分布式ML训练框架

跨地域分布式机器学习(ML)训练能够联合多区域的云资源协作训练,可满足许多新兴ML场景(比如大型模型训练、联邦学习)的训练需求。但其训练效率仍受2方面挑战的制约。首先,多区域云资源缺乏有效的弹性调度,这会影响训练的资源利用率和性能;其次,模型跨地域同步需要在广域网(WAN)上高频通信,受WAN的低带宽和高波动的影响,会产生巨大通信开销。本文提出Cloudless-Training,从3个方面实现高效的跨地域分布式ML训练。首先,它基于serverless计算模式实现,使用控制层和训练执行层的2层架构,支持多云区域的弹性调度和通信。其次,它提供一种弹性调度策略,根据可用云资源的异构性和训练数据集的分布自适应地部署训练工作流。最后,它提供了2种高效的跨云同步策略,包括基于梯度累积的异步随机梯度下降(ASGD-GA)和跨云参数服务器(PS)间的模型平均(MA)。Cloudless-Training是基于OpenFaaS实现的,并被部署在腾讯云上评估,实验结果表明Cloudless-Training可显著地提高跨地域分布式ML训练的资源利用率(训练成本降低了9.2%~24.0%)和同步效率(训练速度最多比基线快1.7倍),并能保证模型的收敛精度。

云原生应用开发与部署面临的挑战及其应对方案

随着云计算的发展和普及,云原生应用作为一种新的应用开发和部署方式备受关注,以其高度的可扩展性、可移植性和弹性成为现代云环境下的首选开发模式。文章首先分析了微服务架构管理的复杂性、持续集成与持续部署(CI/CD)的自动化难题及跨多云和混合云环境下存在的兼容性问题等带来的挑战,并提出应对方案;其次采用Kubernetes进行统一的微服务管理,利用开源工具实现CI/CD自动化流程,以及设计跨云应用的统一部署策略;最后分析和总结云原生应用的发展趋势,为软件工程在应用开发与持续部署领域提供了有益的参考和启示。

一种改进的跨源点云全局配准算法

为了实现具有不同分辨率和精度等特性的跨源点云高精度高效配准,提出了一种改进主成分分析跨源点云配准算法。点云局部数据模式不同,基于局部特征的全局算法配准效果较差,提出基于整体形状分析解决跨源点云配准问题。采用Householder矩阵性质保持PCA主轴方向为右手坐标系,筛去点云变换中的非刚性变换,完成跨源点云的快速全局配准。使用跨源点云库的chair2、lab2、pillow、dustbin对改进算法及一些全局算法进行对比实验,时间减少94%、96%、91%、96%,均方根误差减少60%、99%、70%、63%。对配准结果进行ICP精配准,误差和时间进行对比,改进算法具有良好的配准效果及鲁棒性。

基于跨源点云的配准算法研究与应用

针对不同传感器采集点云存在噪声与异常值差异、点云密度差异、点云重叠率差异问题,本文提出了一种基于跨源点云的配准算法。该算法首先对待配准点云进行预处理,减少噪声与异常值影响。其次,通过随机采样粗配准算法,克服了重叠率差异与密度差异的影响。最后通过改进迭代最近点(ICP)配准算法,实现点云的精确配准。实验结果表明,该算法对跨源点云具有良好的配准效果及鲁棒性。

混合云服务身份认证技术PKI和IBC对比分析及应用

混合云服务具有多样性和复杂性,跨云身份认证与管理是混合云架构中需要解决的特殊安全问题。以混合云架构为研究背景,对跨云身份认证管理的需求进行了分析;针对传统PKI体系和IBC技术在应用环境、密钥管理及密钥使用方面进行了对比分析,总结了各自的优缺点;针对PKI数字证书操作的复杂性及IBC对云环境的适应性,探讨了一种基于IBC的跨云认证模型,并对其效率及安全性进行了分析。

线面特征约束的跨源点云配准方法

随着三维传感器和三维重建技术的发展,跨源点云的配准融合成为了一个研究热点。传统的配准方法使用单一特征作为配准基元,会存在空间几何约束弱的问题。为了高精度融合跨源点云数据,充分表达场景中的立面信息,本文提出一种基于线面特征约束的跨源点云配准方法。通过RANSAC算法提取跨源点云中的同名线、面特征;利用四元数法描述空间变换参数,将线特征作为配准的约束条件,构建空间变换目标函数,估算变换相关参数完成粗配准,解决尺度差异性;在粗配准的基础上将面特征作为约束条件,求解旋转矩阵和平移参数完成精配准。以面特征代替点特征作为配准基元能避免从海量的点云数据中选取公共点,减少由人为选择的偶然误差,避免了误差的积累,进一步提高配准精度。最终使用影像匹配点云与激光雷达点云数据进行实验,结果为:在小区域单建筑、多建筑和大区域建筑群中RMSE值分别为0.3647、0.0320和0.6146,且同名面之间的夹角最大不超过1.5°,最小不到0.1°,夹角角度均值在1°范围内。结果表明本文方法对具有尺度差异的跨源点云具有较好的配准效果。

基于云计算的IT数据中心安全问题研究

云计算的数据、资源、应用等服务功能,依赖于数据安全保障机制,为此,文章将针对IT数据中心面临的主要安全问题,结合云计算的开放性特点,在"可信云计算"的框架体系下提出了一种全新的解决方案,首先,在Eucalyptus环境下搭建了可信云计算平台,并引入3PAKE跨云认证机制,确保用户数据访问安全,以分散信息流控制方法和数据存储验证机制,用于弥补SaaS应用安全漏洞、监管数据可靠性存储,由此,全面、全过程的数据安全管控,为云计算数据安全提供应用支撑。

云计算环境任务调度方法研究综述

随着应用程序计算需求的快速增长,异构计算资源不断地增多,任务调度成为云计算领域中重要的研究问题。任务调度负责将用户任务匹配给合适的虚拟计算资源,算法的优劣将直接影响响应时间、最大完工时间、能耗、成本、资源利用率等一系列与用户和云服务供应商经济利益密切相关的性能指标大小。针对独立任务和科学工作流这两类云环境主流任务,结合不同云环境特征对任务调度算法研究进展进行综述和讨论。回顾梳理已有的任务调度类型、调度机制及其优缺点;归纳单云环境和混合云、多云及联盟云等跨云环境下任务调度特征,并对部分相关典型文献的使用方法、优化目标、优缺点等方面进行阐述,在此基础上讨论各个环境下任务调度研究现状;进一步对各类环境下文献使用的调度优化方法进行梳理,明确其使用范围;总结并指出需要对计算数据密集型应用在跨云环境下的任务调度研究进行重点关注。

混合云安全策略研究

安全问题一直阻碍着企业将业务迁移到公有云中。混合云结合了公有云和私有云的优点,越来越受到企业关注,但同时也引入其特有的安全问题。分析了混合云密钥管理、数据加密和跨云认证等问题,并提出了相关安全防护策略。

分布式新能源公共服务平台混合云架构研究

随着能源互联网战略的提出,大量的分布式新能源作为能源消费与生产的末端散布于广大用户群体中,为了向多社会主体提供分布式新能源服务,需建立公共服务平台,给出分布式新能源公共服务平台混合云架构设计,涵盖业务功能分析、混合云系统架构设计等方面。分析混合云可能存在的安全风险,并针对性地提出相关安全防护方案。

广播电视台交互化生产云构建

为具备全媒体生产发布能力,需构建一个统一的技术支撑体系,建立融合媒体节目生产管理系统,实现以用户为中心的交互化生产流程。在此情况下,河南广播电视台构建了交互化生产云。本文从建设目标及功能、融合媒体节目生产模式、技术架构等方面对此系统的构建进行阐述。

基于可信区块链的网间结算方法研究

随着5G技术的发展,运营商业务模式愈发复杂,传统的中心化的清结算系统弊端日益明显,数据泄露、篡改的事件时有发生,数据信任无法得到保证。基于此,本文提出了一种基于跨云组网的可信区块链网间结算模式,通过智能合约完成原业务流程的链上处理,解决了数据不一致、数据泄露和篡改的问题,通过投产验证,切实解决了原有业务的痛点问题,为传统清结算系统升级提供了新的思路。