国产化混合云平台建设与性能优化的研究

为了验证实时性业务迁移至国产化混合云平台的可行性,采用国产化主机、虚拟化云平台软件、容器化云平台软件搭建混合云平台,对时统和组播两个具有代表性的实时业务模型迁移进行了研究;为了保证混合云平台测试范畴的完整性,硬件普适性,实验设计了4种混合云模式,并适配两个品牌主机,对时统和组播两个业务模型按照组合方式进行了8个云模型的迁移实践;实验针对不同混合云模式综合采用了软件和硬件调优技术,达到了同时满足时统业务模型满足时延不大于8 ms和组播业务模型满足数据包丢包率不大于10-6个/s的两个性能指标;得出时敏性业务可以迁移到国产化混合云平台的结论,并通过分析混合云4种模式优劣势,对时敏性业务和通用业务的云平台部署模式提供了决策支持。

基于Monte-Carlo迭代求解策略的局部社区发现算法

针对现有的局部社区发现算法因采用贪心策略进行社区扩张而导致的过早收敛和查全率低的问题,提出一种基于Monte-Carlo迭代求解策略的局部社区发现算法。首先,在每轮迭代的社区扩张阶段,根据节点对社区紧密度增益的贡献比例为所有邻接候选节点赋予选择概率,并结合此概率,再随机选择一个节点加入社区。然后,为避免随机选择导致扩张方向偏离目标社区,根据社区质量变化情况判断本轮迭代中是否触发节点淘汰机制。若触发,计算各个已加入社区节点与社区内其他节点的相似度和,根据相似度和的倒数赋予淘汰概率,并结合此概率,再随机淘汰一个节点。最后,在给定数量的最近迭代轮次中,根据社区规模是否增加判断是否继续迭代。在三个真实的网络数据集上进行实验,相较于局部紧密度扩展(LTE)算法、Clauset算法、加权共同邻居节点(CNWNN)算法和模糊相似关系(FSR)算法,所提算法的局部社区发现结果的F-score值分别提升了32.75、17.31、20.66和25.51个百分点,且能够有效避免查询节点在社区中所处位置对局部社区发现结果的影响。

云计算环境下软硬件节能和负载均衡策略

针对云计算服务环境下软硬件节能和负载均衡优化问题,提出一种自适应的云计算环境下虚拟机(VM)动态迁移软节能策略。该策略采用常用的硬件能耗感知技术———动态电压频率调节(DVFS)来实现分段优化的系统部件静态节能,又通过VM在线迁移技术实现云平台的动态自适应软件节能。在CloudSim云仿真平台下对比实现DVFS静态节能和自适应负载均衡的软节能策略,经PlanetLab云平台监测数据验证,结果表明:软硬结合的自适应能耗感知策略能够高效节能96%;DVFS+MAD_MMT节能策略(采用平均绝对偏差算法判定主机是否超载,基于最短迁移时间(MMT)原则选择VM移出)在PlanetLab低负载云任务吞吐环境下比实验环境下能节约87.15%的能耗;安全阈值为2.5的MAD_MMT算法可以实现云环境下的高效软节能,有效支持自适应负载均衡的虚拟机动态迁移策略。

面向云平台的资源分配策略研究

资源分配策略的研究一直是云计算领域研究的热点和难点。针对当前已有的资源分配策略进行了深入调研和分析,首先简要分析了云平台资源分配存在的挑战;然后给出了云平台资源分配的形式化描述;在此基础上,从启发式分配算法、基于经济理论的策略,以及其他分配策略三个方面对当前主流的资源分配策略进行描述,分析其优缺点;最后结合具体指标对主流策略进行了综合比较,并指出未来的研究方向。

Web服务个性化推荐研究综述

随着Web服务的广泛使用和互联网上服务数量的增加,如何向用户提供最佳的服务选择列表成为了新的挑战。Web服务个性化推荐实现了由被动接受用户请求向主动感知用户需求的转变。个性化的Web服务推荐方法已经成为Web服务发现和选择的有效辅助手段。Web服务的个性化推荐技术也成为了近年来服务计算领域的研究热点。对当前Web服务个性化推荐的文献进行了归类分析,总结了当前Web服务个性化推荐的技术现状、研究方法和实验的数据集,列出了未来Web服务个性化推荐研究热点和挑战。

Spark环境下的并行模糊C均值聚类算法

针对聚类算法需要处理数据集的规模越来越大、时效性要求越来越高,对算法的大数据适应能力和性能要求更高的问题,提出一种在Spark分布式内存计算平台下的模糊C均值（FCM）算法Spark-FCM。首先对矩阵通过水平分割实现分布式存储,不同向量存储在不同节点;然后基于FCM算法的计算特点,设计了分布式和缓存敏感的常用矩阵操作,包括乘法、转置和加法等;最后基于矩阵操作和Spark平台特点,设计了Spark-FCM算法,主要数据结构采用分布式矩阵存储,具有节点间数据移动少和每个步骤分布式计算特点。通过在单机和集群环境下测试,算法具有良好的可扩展性,并可以适应大规模数据集,算法性能与数据量成线性关系,集群环境下性能比单机提高2~3倍。

云计算中基于优先级和费用约束的任务调度算法

针对云计算中的服务质量保证问题,提出一种基于优先级和费用约束的任务调度算法。该算法通过计算任务优先级和资源服务能力,分别对任务和资源进行排序和分组,并根据优先级高低和服务能力强弱建立任务组和资源组间的调度约束关联;再通过计算任务在关联资源组内不同资源上的完成时间和费用,将任务按优先级高低依次调度到具有任务完成时间和费用折中值最小的资源上。与Min-Min和QoS-Guided-Min算法的对比实验结果表明,该算法具有良好的系统性能和负载均衡性,并降低了服务总费用。

基于组合双向拍卖的云资源调度方法

针对跨数据中心的资源调度问题,提出了一种基于组合双向拍卖(PCDA)的资源调度方案。首先,将云资源拍卖分为三个部分:云用户代理报价、云资源提供商要价、拍卖代理组织拍卖;其次,在定义用户的优先级及任务紧迫度的基础上,在拍卖过程中估算每一个工作发生的服务等级协议(SLA)违规并以此计算云提供商的收益,同时每轮竞拍允许成交多项交易;最终达到根据用户等级合理分配云资源调度的效果。仿真实验结果表明该算法保证了竞拍成功率,与传统一次拍卖成交一项的组合双向拍卖方案相比,PCDA在竞拍时间段产生的能耗降低了35. 00%,拍卖云提供商的利润提高了约38. 84%。

基于蚁群优化-蛙跳算法的云计算资源调度算法

针对云计算资源调度存在效率低的问题,提出了基于服务质量(QoS)的云计算资源调度算法。首先,在蚁群优化(ACO)算法中采用质量函数和收敛因子来保证信息素更新的有效性,设置反馈因子来提高概率的选择;其次,在蛙跳算法(SFLA)中通过交叉因子和变异因子来提高SFLA的局部搜索效率;最后,在ACO算法的每一次迭代中通过引入SFLA的局部搜索和全局搜索进行更新,提高了算法的效率。云计算的仿真实验结果表明,与基本的ACO算法、SFLA、改进后的粒子群优化(IPSO)算法、改进的人工蜂群算法(IABC)相比,所提算法在QoS的4个指标中有最少的完成时间、最低的消耗成本、最高的满意度和最低的异常数值,表明所提算法能够有效地运用在云计算资源调度中。

基于神威太湖之光的NAMD软件的移植与优化

纳米级粒度分子动力学NAMD是基于Charm++并行编程模型的开源免费分子动力学模拟软件,能够在大规模并行计算机上快速模拟百万原子级别的大分子体系。太湖之光是中国自主研发的超级计算机,峰值性能为125.4Pflop/s,共有1 000多万个核心,整机Linpack效率不低于70%。NAMD在空间上对原子进行划分,在计算上对力进行划分,充分曝露出单步模拟的并行度,并通过CHARM++对负载平衡进行调控。针对NAMD进行模拟计算时的特点,移植并优化了NAMD的核心计算代码,让其能够更好地运行在超级计算机神威太湖之光上,优化后性能提高了近20倍,单个核组的性能较Intel XeonE5-2650v2提高3倍。扩展性方面目前至多可达到325万核的并行度,突破百万核大关。

细粒度任务并行GPU通用矩阵乘

稠密线性代数运算对模式识别和生物信息等许多实际应用至关重要,而通用矩阵乘(GEMM)处于稠密线性代数运算的基础地位。在cuBLAS与MAGMA中,GEMM被实现为若干kernel函数,对大型GEMM计算能够达到很高的性能。然而,现有实现对批量的小型GEMM计算性能发挥则较为有限。而且,现有实现也不能在多个具有不同性能的GPU之间自动扩展并达到负载均衡。提出任务并行式GEMM(TPGEMM),用细粒度任务并行的方式实现批量矩阵乘和多GPU矩阵乘。一个或多个GEMM的计算能够被拆分为多个任务,动态地调度到一个或多个GPU上。TPGEMM避免了为批量矩阵乘启动多个kernel函数的开销,对批量矩阵乘能够取得显著高于cuBLAS与MAGMA的性能。在低开销细粒度任务调度的基础上,TPGEMM支持单个GEMM计算在多个GPU间的自动并行,在一台具有四个不同性能GPU的工作站上取得了接近100%的扩展效率。

基于改进密度峰值聚类算法的低占用率云调度容错控制模型研究

为了合理调度云系统资源,提高云系统运行的可靠性,提出基于改进密度峰值聚类算法的低占用率云调度容错控制模型。通过优化密度峰值聚类算法类簇间距与类簇内数据点距离,改进密度峰值聚类算法,建立正常运行状态和已知异常运行状态动态模型库。根据性能容忍度和模型失配度两个监控指标,判断运行状态。当出现已知异常状态时,直接调用动态模型库中已有的状态模型;当出现未知异常状态时,则启动模型在线识别与控制律自整合程序,把新的未知异常状态模型以及与其匹配的控制律保存至动态模型库中,补充模型库,实现低占用率云调度容错控制。实验证明:该模型可以有效地对低占用率云调度进行容错控制,实现云系统资源的合理调度,适应度较高,使云调度工作平稳运行。

基于虚拟力的无线传感器与执行器网络测距定位算法

针对无线传感器与执行器网络(WSAN)的传感器节点定位问题,提出了一种基于虚拟力的无线传感器与执行器网络测距定位算法,使用移动的执行器节点替代传统无线传感器网络(WSN)定位算法中的锚节点,并将虚拟力模型引入基于信号到达时间(TOA)的定位算法。该算法在利用虚拟力驱动执行器节点逼近提出定位请求的传感器节点的同时,根据信号传输时间计算节点间的距离完成节点定位。仿真结果表明,提出的定位算法使得节点定位成功率提高20%左右,平均定位时间以及定位开销均小于传统TOA算法,适用于实时性要求高、执行器节点数量较少的场合。

GPU集群上的三维UPML-FDTD算法的实现及优化

在高性能计算领域,拥有强大浮点计算能力的协处理器正在快速发展。近年来,利用协处理器(如GPU)来加速时域有限差分FDTD算法的计算过程成为电磁研究领域的热点问题。在GPU集群上实现了三维UPML-FDTD算法并进行了优化。采用电偶极子激励源对算法的模拟结果同解析解进行了验证,结果表明该算法具有较高的精度;同时,在NVIDIA Tesla M2070和K20mGPU集群上对FDTD算法的性能进行测试,对优化前后的计算结果以及GPU与CPU的计算性能进行了比较,并使用80块NVIDIA Tesla K20mGPU进行了可扩展性测试。从本文的研究结果可以看出,经过优化的FDTD算法性能有了较大的提升,而且FDTD算法在GPU集群上获得了比较理想的并行效率。

负载均衡的无线传感器网络自适应分组成簇算法

分析了分簇路由协议中的经典低功耗自适应集簇分层型协议(LEACH)算法与分组成簇算法——SGCH的不足,提出了一种分布式分组成簇算法——AGCH。首先分布式随机生成候选组首,然后通过距离竞争将所有节点分为固定的分组;各分组选取簇首时,综合考虑节点的剩余能量及其簇内通信代价。仿真实验表明,该算法能有效均衡网络能耗,延长网络的稳定期。

基于Hadoop的可视化Deep Web采集平台设计

随着信息技术的发展,互联网信息资源变得越来越丰富,大数据技术的发展使得我们能够从互联网复杂的信息数据中获得相应的知识。这其中最基本的技术就是大数据采集技术,它使我们能够将互联网数据快速采集下来并结构化存储。设计的基于Hadoop的可视化Deep Web采集平台是一种简单易操作的高效深度采集平台,运用Webkit技术作为核心引擎实现可视化配置和深度采集功能,同时通过优化采集算法,调整Hadoop任务分配策略提升效率。实验结果表明,设计的数据采集平台获得了较好的效果。

基于P2P的分布式文件系统下载效率优化

对分布式文件系统(HDFS)集群内部数据块存储机制与下载流程进行分析研究,结合P2P多点与多线程下载思想,从数据块、文件、集群三个方面提出了数据下载效率优化算法。考虑到集群内部可能因多线程下载出现的负载均衡问题,提出下载点选择算法以优化下载点的选择。实验结果表明,三种优化算法都能提高下载效率,下载点选择算法能够很好地实现集群内部DataNode负载均衡。

WKBZ简正波模型混合并行计算方法研究

针对水声传播模型的计算量大,难以满足实时化、精细化水下声传播信息保障需求的难题,基于MPI+OpenMP混合并行编程方法,开展了WKBZ简正波模型混合并行计算方法研究,实现了水下声场2级混合并行计算。该方法通过节点间消息传递、节点内内存共享的方式,有效克服了MPI并行编程模型通信开销大和OpenMP并行编程环境可扩展性差的缺点,较好地解决了水下声传播快速计算的问题。测试结果表明,该方法能够较好地利用SMP集群节点间和节点内多级并行机制,充分发挥消息传递编程模型和共享内存编程模型各自的优势,大幅降低MPI进程间通信带来的时间开销,有效提升程序的可扩展性和并行效率。

分布式系统下的DAG任务调度研究综述

近年来随着网格、云计算工作流等分布式计算技术的发展,关于DAG(有向无环图)模型任务在分布式系统环境下的调度问题逐渐成为备受关注的研究热点。根据最新研究进展,对分布式系统下的DAG任务调度问题和有关技术进行了研究与讨论,主要包括四个方面:系统地描述了分布式系统和异构分布式系统的有关概念,异构分布式系统下的DAG任务调度问题、调度模型及其典型应用;对现有分布式系统下DAG任务调度的研究按照不同的方式进行了分类;探讨了多DAG共享异构分布式资源调度的研究现状;讨论了目前多DAG共享异构分布式资源调度研究存在的问题和未来可能的研究方向。

云计算环境下带安全约束的工作流调度问题的研究

资源调度问题一直是云计算环境下的热点研究问题,然而当前的大部分研究都集中在满足用户的时间或成本需求上,很少考虑用户在调度过程中对安全的需求。针对这一问题,在对常见的云环境下工作流任务的资源调度问题进行建模的基础上,提出了一个安全约束模型,并使用变近邻粒子群算法对该问题进行了求解。最后在CloudSim仿真平台上,用最大-最小蚁群算法和遗传算法与该算法进行了对比,实验结果表明,该算法具有很好的可用性和寻优能力。