面向大数据分析作业的启发式云资源供给方法

云计算已成为大数据分析作业的主流运行支撑环境,选择合适的云资源优化其性能面临巨大挑战.当前研究主要考虑大数据分析框架(如Hadoop,Spark等)的多样性,采用机器学习方法进行资源供给,但样本少容易陷入局部最优解.提出了大数据环境下基于负载分类的启发式云资源供给方法RP-CH,基于云资源共享特点,获取其他大数据分析作业的运行时监测和云资源配置信息,建立负载分类与优化云资源配置的启发式规则,并将该规则作用到贝叶斯优化算法的收益函数.基于HiBench,SparkBench测试基准的结果显示:RP-CH相对于已有方法CherryPick、大数据分析作业的性能平均提升了58%,成本平均减少了44%.

基于最小费用最大流的大规模资源调度方法

并行作业是大规模资源调度的研究热点.已有的研究工作通常采用队列进行资源调度建模,仅能满足局部最优解且只能适应调度目标固定不变的场景,灵活性不够.提出了一种基于最小费用最大流的大规模资源调度建模方法,将任务的资源需求和物理资源供给问题转换成最小费用最大流图的构造和求解问题.首先,选择公平性、优先级和放置约束这3种典型度量作为切入点,从资源视角映射为图的构造问题,通过改变图的结构,使其具备适应性调整能力;其次,针对图的求解时间复杂度高的问题,实现了一种增量式优化算法;最后,实验对比公平性、优先级和放置约束这3种资源调度典型系统,验证了该方法可通过按需配置,支持多种调度目标,具备灵活性.并通过实验仿真,验证了万级规模下,基于图的资源调度延迟比基于未优化图算法的资源调度延迟最多降低90%.

应用感知的容器资源调度优化方法

资源调度作为容器管理的关键技术之一,已有研究工作或满足公平性目标,将工作负载平均调度到所有物理节点上,关注吞吐率指标;或满足性能目标,将工作负载关联的多个容器载体调度到相同或相近的物理节点上,关注响应时间.提出应用感知的容器资源调度方法,采用多队列模型兼顾公平性和性能目标.实验结果显示,对于典型的大数据处理场景,本方法和已有公平性调度方法具有相当的吞吐率;对于典型的事务型应用场景,本方法相对于已有的公平性调度方法,事务型应用的延迟最多可减少100%.

网络短视频用户的互动机制研究

网络用户的互动机制具有强烈的社交属性,是互联网传播效果研究的基础,研究网络短视频用户的互动机制对文化传播具有重要意义。本文以网络短视频用户为研究对象,以互动仪式链为理论基础,采用参与式观察法为研究方法,探究网络短视频用户的互动机制以及用户的互动对短视频的影响。研究表明,用户互动过程中所产生的积极的情感能量是短视频用户互动的驱动力,用户在虚拟空间建立互动仪式,并通过长时间的互动成为短视频生产者的粉丝群体;同时短视频用户的互动程度是衡量短视频传播质量的第一标准,内容生产者在保证内容质量的前提下,通过用户对内容的积极情感能量提高互动的程度,由此提升短视频的传播效果。

面向状态可变数据流的集群调度综述

状态可变数据流(Mutable States Data Flow,MS-DF)是机器学习系统运行时的主要特征,MS-DF可由有向图来表示,其顶点由算子构成,表示机器学习运算逻辑;边代表算子之间的输入输出依赖关系.MS-DF的集群调度是保障机器学习系统高效运行的主要工作,如何高效进行MS-DF的集群调度已经成为机器学习的研究热点.其中,机器学习系统(TensorFlow、PyTorch等)作为中间层解耦了机器学习运算逻辑和资源分配(CPU,GPU,FGPA),从而机器学习无需再“独占式”静态绑定资源,而是由机器学习系统运行时动态管理,而算子是该解耦过程的关键要素,这给MS-DF的集群调度带来了新的挑战,这些挑战主要由算子资源需求刻画的准确性、算子调度决策的适应性和算子调度调整的差异性这三方面导致的.首先介绍算子资源需求的感知、协同两个机制,以克服多种算子组合导致其自身资源需求难以准确刻画的挑战;然后,通过决策约束、决策模型和决策求解来介绍算子调度决策,以应对算子状态频繁变化带来的适应性挑战;接着,介绍迁移、伸缩、挂起恢复等算子调度调整策略,以适用于不同算子状态同步方式带来的差异性挑战.最后,基于上述三个挑战,对近年来的集群调度最新研究成果进行归纳和分析,并展望MS-DF的集群调度,指出算子异构资源需求多层次分析及协同刻画、算子复杂调度约束的灵活定义和发现、学习驱动的算子低成本调度调整技术是其主要发展方向.

混合型虚拟化资源管理系统

虚拟化发展呈现出多样化的发展趋势,主要包括Hypervisor和Container两类.前者隔离型好,操作便捷;后者轻量级,供给快捷.随着IT技术的快速发展和应用深入,复杂应用需要协调两类虚拟化对外界提供服务.提出了一种两级资源管理方法,第一级调度用以解决物理资源监测、统计、分配决策和隔离,使得单一物理资源具有多种虚拟化资源抽象能力;第二级调度用于解决用户资源需求与底层物理资源的放置,以达到提高物理资源利用率的目的.同时第一级调度还考虑异构物理资源的差异性,引入加权DRF算法评价异构物理资源对应用性能的影响.基于Cloud Suite测试基准显示,在保障Qo S前提下,该系统整个资源利用率有效的提升了20%左右.

吴枫儿女故里圆“吴枫梦”

2021年仲秋,一辆小车徐徐驶进才数十户的革命老区侨乡恩平市牛江镇南岗里村,走出了两位年过八旬的老人。这是姐弟两人,姐姐叫吴海燕,弟弟叫吴家骥。他们俩捧着一大包东西健步走进村中一间老屋。在屋中,吴海燕与吴家骥姐弟俩打开"锦囊",里面有吴枫一堆数十年前的书信和照片,老干部离休荣誉证、军人转业证、珠纵粤中女战士联谊会会员通讯录,早年用过的手表和钢笔等。还有吴枫写作的文艺作品及一批遗物。见物思情。