异构环境感知的分布式神经网络训练模型

针对分布式神经网络训练在异构环境中训练速度慢、资源利用率低的问题,提出一种异构环境感知的分布式神经网络训练模型(H-PS)。根据计算节点当前状态动态调度训练任务,使计算节点能够在相同时间完成训练任务,提高资源利用率。提出通信与计算并行策略,参数服务器与计算节点传输模型参数期间,计算节点持续模型计算,进一步提高资源利用率。使用灵活的量化策略,压缩神经网络模型参数,减少参数服务器与计算节点的通信开销。使用新兴的容器集群进行实验,结果表明,与现有方法相比,H-PS训练时间缩短1.4~3.5倍。

基于异构环境的系统自动化部署探索

近年来,随着数字中国建设不断加速、城市数字化转型向纵深发展,各类应用软件在异构环境下的改造成为企业面临的重要课题。面对种类繁多的异构软件,系统适配需求日益复杂、应用弹性要求不断提高,企业如何基于不同环境快速进行系统自动化部署,从而提升搭建与适配测试效率?

面向异构环境的GIS课程教学团队构建

为了提高高等教育的质量,世界各国都非常重视教学改革,美国、英国、日本等国都在大力推广团队教学。GIS是多学科相结合的一门边缘学科,团队教学可以促进GIS知识融合、互补、聚集。针对GIS课程面向异构环境、多学科交叉的特点,在分析国内外团队教学经验的基础上,提出GIS课程教学团队的构建策略、运行机制及教学评价方法,实现地理信息系统课程教学由分散型向团队型方向发展。提升GIS课程在国际、国内的竞争能力,培养基础扎实、知识全面、开拓创新的GIS人才。

异构环境下的空间分析并行映射策略

针对传统的地图代数局部算子实现方法用于海量栅格数据计算时效率低下的问题,从串行算法的并行化映射、计算机图形处理器资源的自适应参数调整等角度分析地图代数空间并行算法的实现机制,采用数据分割策略对空间分析算子的计算速度进行分析,将空间分析算子分割成若干子任务,并映射到图形处理器(GPU)中进行运算,通过运算与数据传输的重叠隐藏数据传输时间,借助异构环境计算能力的强大而加速算子的运算.理论分析与实验结果表明,该策略能够明显提高空间分析算子的运算速度.

异构环境下的CSCW模型研究与实现

1引言 计算机支持的协同工作(CSCW)是指一组用户在一个共享的工作环境中协作地完成一个任务.CSCW系统允许多个用户对共同的对象(如协同文件、协作绘图系统中的像素等)同时进行操作,并且为多个用户协同工作完成一个共同的任务提供了计算机技术支持,尤其是为协作用户提供了虚拟的共享工作空间,使得地理上分布的用户进行协同工作成为可能.

异构环境下自适应的Map-Reduce调度

本文针对Hadoop自带的Map-Reduce调度器和LATE调度器的不足,提出了自适应的Map-Reduce调度方式。通过历史信息动态调整Map和Reduce任务各阶段的时间比例,以找出真正需要启动备份任务的任务。并将节点进一步分类,在快速节点上启动落后任务的备份任务,从而减小响应时间,并尽量避免节点空载,以免浪费系统资源。最后通过具体实验验证了自适应的Map-Reduce调度的有效性,从历史信息中学习的方式在实验中能减少15%左右的响应时间,综合各种技术,能够减少25%左右的响应时间。

适应节能与异构环境的MapReduce数据布局策略

大数据处理过程中产生的高能耗问题亟待解决,尤其是在数据量规模剧增的背景下。在对已有数据布局策略存在问题分析的基础上,分析了与基于存储区域划分的节能模式及与异构HDFS集群的不适应、数据块切分算法不灵活、存储节点选择的随机性等几个方面的问题,继而提出面向节能的MapReduce数据布局策略。首先,新策略适应将集群划分为不同存储区域(Active-Zone与Sleep-Zone)的节能模式;其次,新策略对传统的数据块数计算方法进行了改进,提出作业截止时间约束下的最小任务数计算方法确定数据块数量;最后,新的存储策略增加了对异构集群环境的适应能力,并能根据不同的作业类型进行存储节点的选择。实验结果表明:新的数据布局策略能够适应异构集群环境,达到减小MapReduce作业能耗的目的。

军卫一号Oracle8i到Oracle11g在异构环境下的升级过程

详细介绍解放军第161医院军卫一号系统Oracle数据库从32位Windows Serve 2003平台上8.1.7版本升级到64位UNIX平台上11g版本的设计方案,包括前期测试、准备工作以及正式实施步骤,对于中小型医院数据库跨版本、跨平台升级和数据完整迁移具有一定参考意义。

基于异常检测模型的异构环境下MapReduce性能优化

针对"落伍者"的选择问题,提出利用故障诊断领域内通常使用的异常检测模型来选择"落伍者"的方法。首先,利用异常检测算法来发现集群中的"慢节点";然后改进MapReduce任务分配算法和推测执行算法,不再给"慢节点"分配任务并将"慢节点"中的任务分配至有空闲任务槽的正常节点中。在改进的推测执行算法中,因相同网段内的节点通常物理邻近,可提高数据传输速度,首次将"慢节点"中的任务分配至同网段的正常节点中,以便数据传输。实例验证结果表明,使用异常检测算法后可迅速检测出异常节点,且与Hadoop-LATE算法相比,处理相同任务量可缩短集群17%的任务处理时间,说明所提算法在集群整体性能优化中表现优异。

异构环境下增强的自适应MapReduce调度算法

针对Hadoop默认调度算法和异构环境下LATE调度算法的不足,在SAMR调度算法的基础上提出了一种增强的自适应MapReduce调度算法。该算法记录了每个节点的历史信息,采用K-means聚类算法动态地调整阶段进度值以找到真正需要启动备份的落后任务。实验结果表明,增强自适应的MapReduce调度算法在提高任务执行时间的估算误差以及准确识别慢任务方面具有一定的有效性。

异构环境下相关任务调度免疫遗传算法的研究

合理的调度可以在很大程度上提高异构系统资源的利用率,在研究现有任务调度算法的基础上,定义了异构环境下相关任务调度的数学模型,并基于分层和启发式算法的思想,提出最多度动态调度算法MDSA和最少入度动态调度算法LIDSA构造初始种群;借鉴生物免疫系统抗体多样性产生及保持机理,定义了基于抗体的矢量距离、亲合力及浓度相关的选择概率,并改进交叉算子,这样可以在进化过程中保留优秀个体,同时抑制抗体群早熟;提出了高度遍历解码算法HTDA,简化算法实现过程.仿真实验结果表明,本文算法与其它调度算法比较,更能有效地实现资源的分配,可以成功应用于异构环境下相关任务调度.

异构环境下独立任务分配问题的免疫遗传算法

针对异构环境下独立任务分配问题,提出了一种免疫遗传算法,为抑制早熟停滞现象,基于免疫原理,为遗传算法定义了染色体浓度,采用免疫变异算子来维持种群的多样性,采用接种疫苗算子来提高算法的求精能力,使算法在空间探索和局部求精间取得了很好的平衡,仿真结果表明,遗传算法能够很好地应用于求解任务分配问题,基于免疫原理的优化算子能够有效地提高遗传算法的搜索效率、优化搜索结果.

异构环境下的P2P流媒体节点选择算法

针对异构环境的复杂性和不稳定性,提出一种异构环境下的点对点(P2P)流媒体节点选择算法。利用模糊认知图理论研究异构环境下影响节点性能的多方面因素之间的关系,计算节点的综合服务能力,并选择服务能力强的节点作为邻居节点;为保证邻居节点具有较强的实时服务能力,利用马尔科夫蒙特卡洛方法进行随机行走,周期性地更新邻居节点列表,采用Metropolis-Hastings算法计算转移矩阵以满足随机行走的期望静止概率分布。研究结果表明:该算法能在选择优质邻居节点,提高视频服务质量的同时,保证节点的负载均衡,降低系统消耗,显著提高了系统性能。

基于广域网和异构环境的ODS数据更新策略

为满足信息处理的多层次需求,为企业日常决策分析者提供即时准确的全局数据视图,出现了DB-ODS-DW3层体系结构,其中ODS承担了承上启下的重要作用。该文就ODS中的关键技术——数据更新策略进行了深入的研究,在对比分析了ODS传统数据更新策略的基础上,提出了一种基于网络和异构环境下的ODS数据更新策略,利用XML技术实现了异构数据库环境下变化数据的更新,以及变化数据文件的高效传输,并在实际应用中获得了理想的效果。

一种异构环境下的Hadoop调度算法

作为MapReduce的开源实现,Hadoop的性能依赖于其任务调度机制。对Hadoop的推测执行算法进行研究,并设计了一种更具公平性、更好系统处理能力和更适合于异构环境的改进的Hadoop调度算法SALS。改进的Hadoop算法对调度任务的判定更准确,对负载的针对性更强,可减少系统对全部任务的响应时间,提高MapReduce的性能。

异构环境通用CSCW系统模型与体系结构的设计与实现

提出基于MVC设计模式,适用于多种应用环境(C/S、B/S、Ria等)及多种网络环境(Client-Server、P2P、Ad Hoc等)的CSCW系统模型.该系统模型通过对MVC设计模式中Model层及Control层的分离,规范了系统模块及关系,解决了异构环境下CSCW系统架构统一的难题.本文给出了通用CSCW系统模型在各种异构环境中的体系结构设计,由于各体系结构设计具有相同的模块划分及相似的模块间关系,增加了混合异构环境下系统模块的复用率,提高了开发效率.

异构环境下协同优化设计的实现策略

为了充分利用异构环境下各类优化资源,采用CORBA技术构建了支持异构环境的分布式协同优化系统(DCOS),采用层次化的体系结构,具有开放性、分布式的特点,使得与各类优化资源的集成更加方便。以制动器优化设计为例,阐述了Internet环境下协同建模以及优化系统与有限元分析等资源之间的协同过程。

异构环境下用于构件管理的CORBA接口的设计与实现

This paper diseribes the design and the implementation about the CORBA2 interface for the ENVY/Developer. ENVY/Developer is a collaborative component development systems for Smalltalk developers. It makes enterprise-wide reusable component repositories a reality. This interface can be used in heterogeneous environment.

异构环境下的GML空间数据高效集成研究

GML(Geography Markup Language)已成为异构环境下地理空间数据编码、交换和集成的事实标准。由于GML空间数据具有海量性以及GML文档含有大量的冗余信息,导致GML文档体积庞大,影响了系统的集成性能。提出一种基于压缩技术的高效集成方法,将GML文档的结构和数据分离,对文档中的结构数据采用基于词组的字典压缩算法进行压缩,对坐标数据采用去精度的增量压缩的方法压缩。实验结果表明,该方法的压缩性能优于传统压缩方法,且能明显提高GML空间数据的集成性能。

异构环境独立任务分配的导引式局部搜索算法

针对异构环境下的独立任务分配问题,结合变邻域下降算法,提出了一种导引式局部搜索算法.该算法通过不断动态修改原问题的目标函数和系统性地改变邻域结构,既保留了局部搜索算法的高效率,又能有效地避免陷入局部极小解,因而能够较快地得到满意解.与领域中的典型算法进行了仿真比较,结果表明提出的算法具有良好的性能.