分布式VoD系统的分级存储调度

提出了一种适于大规模分布式VoD系统的分级存储调度算法。该算法建立在多队列的排队模型之上 ,使用了系统均衡方法及基于优先级的缓冲区管理算法 ,并提供了迁移等待时间的计算方法。通过仿真实验给出了缓冲区大小与业务量和节目驻留时间的关系 。

一种基于剖分的空间数据存储调度服务模型

随着空间数据应用领域深度和广度的扩展,空间数据在组织、存储、更新、应用等方面存在速度、效率等难题。针对上述问题,基于地球剖分组织理论,结合面向客户端聚合服务的G/S模式架构,研究并提出一种空间剖分数据存储调度服务模型。给出了该模型体系架构、数据访问流程,设计了模型的地址编码结构及地址解析过程,形成了一种有效的"数据分散存储,客户端信息汇聚"的空间剖分数据组织管理、按需整合、快捷调度的机制,实现并验证了服务原型系统,其具有一定的理论意义和应用价值。

HDFS异构集群中的分级存储调度机制

大部分存储集群构建时可能包含有遗留设备及新购置设备,这些设备在存储性能方面存在较大差异.采用HDFS默认的机架感知存储策略时,可能使访问频率高的数据存储在低性能节点上,而访问频率低的数据存储在高性能节点上,既影响集群响应时间,又降低了资源利用率.针对以上问题,提出一种分级存储调度机制.在HDFS机架感知调度策略基础上,首先根据节点的CPU、内存大小、磁盘大小、磁盘I/O等固有硬件性能将节点划分为高配置节点和低配置节点,其次根据节点的CPU使用率、内存使用率、网络带宽使用率、磁盘使用率等性能的动态因素建立节点的性能评价模型,并建立三个性能级别.根据节点配置情况、性能级别及网络位置等多方面因素进行综合调度.同时在集群运行过程中,会根据数据的访问频率对数据块的分布进行动态调整.实验结果表明,本文提出的分级存储调度机制可以在HDFS异构集群中提高数据的访问效率,优化集群性能.

多路视频监控系统的存储调度策略

采用传统的“轮巡式”视频监控系统在多路存储情况下,存在着存储的效率低下、因硬盘空间不足改变存储路径而造成的存储“抖动”等问题。该文介绍了旨在提高多路存储效率的多磁盘存储调度算法和解决“抖动”问题的存储预分配算法及其设计思路和实现方法。实际应用表明,多磁盘存储调度算法能够很好地利用多硬盘大容量的特点,根据各个硬盘的容量和被访问的次数,将多路存储“平均”分配于多个硬盘中,充分提高存储访问的效率,并通过资源预约方式、预分配算法很好地解决了存储“抖动”问题。

流媒体服务系统分层存储调度策略

针对层次化流媒体服务系统中的存储调度问题,提出了子树虚拟化方法来简化模型分析和存储调度策略设计。采用层次化存储结构下的分布式存储调度策略,通过自上而下的副本分发和自底而上的副本请求两个步骤来实现系统的负载均衡。验证实验表明,采用提出的存储调度策略,可使系统负载达到均衡状态,获得较高的用户请求接受概率。

一种适用于VoD/P2P的存储调度策略

近年来,基于对等网络的视频点播系统(VoD/P2P)备受人们关注.在这类系统中,存储的难点主要表现为VoD应用中庞大的视频数与P2P网络中有限的存储资源之间的矛盾.提出对等数据随机访问的存储策略(Equivalent Data Random Access,EDRA),并重点研究了如何采用EDRA对VoD/P2P系统的存储进行优化调度,以最小化系统的资源占用或最大化系统的容量.实验表明,EDRA可以达到很高的节点带宽利用率,在相同条件下支持的最大点播数可能比传统方案高出58-73%.

基于GASA和移动代理的网络存储调度方法的研究

随着信息管理能力的提升以及人们对信息的访问量快速增加,企业对存储和管理信息的能力有了新的要求.网络存储的出现和发展适应了这一要求,网络存储因此有了长足的发展.基于静态的智能算法与动态的代理思想,提出一种基于GASA和移动代理的网络存储调度方法,用于实现异构系统间的数据存储备份以及存储过程中移动代理派遣次序的优化调度.该方法综合考虑了各移动代理的产生时序、优先级和存储可用性等指标,在确保各移动代理有效执行的前提下,使代理派遣次序更合理.仿真实验表明,基于GASA的移动代理存储调度可以有效提高存储效率,改善网络实时性和存储性能.

云计算环境下数据存储调度算法研究

云计算技术的快速发展积累了海量的数据资源,数据资源存储调度算法的好坏直接影响人们使用信息资源的效率。为了提高人们搜索数据资源的效率,提高云计算环境下数据存储调度的有效性,需要采用多层次智能分级思想设计一个数据存储系统,该系统可以将访问频次较高的热点数据放置在优先级存储层次,数据存储采用动态迁移算法,可以实时更新数据优先级,提高数据搜索效率。

一种保证服务品质的存储网络实时存储调度机制

提出了一种保证服务品质的存储网络实时存储调度机制,它可以在多变的应用环境中保证存储应用获得预先说明的服务品质,该品质不会由于其他存储应用的负载变化而受到影响。这个机制还较好地解决了控制力和系统总体性能之间的矛盾,并且具有自动适应运行环境变化的能力。

视频监控中多磁盘存储调度算法的研究

在视频监控应用系统中,视频信息存储需要大量磁盘存储空间,需要采用设计合适的机制进行视频信息的存储调度,既可以进行多路同时存储又保证存储效率。提出了基于磁盘剩余空间和被访问频度的多磁盘存储调度算法以及定时检测增加磁盘剩余空间的算法。

VOD服务器集群中的改进SLF存储调度策略

在VOD服务器集群中,存储调度策略是影响整个系统存储容量和总并发数的关键技术之一.针对现有存储调度策略中最小负载优先(SLF)副本放置算法调整代价过高的问题,提出了一种改进SLF算法.算法以最小化负载不平衡度和最小化副本调整代价为目标,在放置过程中充分利用当前已经存储的副本,降低副本调整的代价.仿真实验表明,基于改进SLF算法的存储调度策略可以最小化负载不平衡度,降低了存储调度的调整代价,同时提高了系统的用户请求接受概率.

一种面向GPGPU的行为感知的存储调度策略

随着通用图形处理器在高性能计算领域的广泛应用,新的并行执行模式被提出。在新模式下,当前的存储调度策略未能使存储器的吞吐率达到最大。分析了图形处理器上多程序并行执行模式下应用程序访存行为特征及其性能损失不公平的原因,提出了一种基于访存行为感知的存储调度策略,利用不同程序类型的优势进行优先级调度。实验表明,该方法能够明显改善不同类型程序间性能损失不均衡的问题,相比基准结构对所有测试程序的存储系统吞吐率和公平性分别有平均9.7%和15.0%的提升。

时移电视集群系统中的存储调度策略

针对时移电视(time-shifted TV)节目流行度变化剧烈的特点,提出一种改进的最小负载优先(SLF)放置算法.算法以放置更多副本为目标,修改了放置约束,并以双阈值动态调整作为辅助策略,降低了流行度变化对系统负载均衡的影响.仿真结果表明,该策略可有效降低用户请求拒绝率,改善系统性能,特别是在实际点播与预测不符时效果更为明显.

运营商CDN系统视频内容存储调度策略探讨

为了提升网络视频业务的体验度,各大运营商建立了内容分发网络系统,提供了电视视频服务。由于视频内容和用户数量的日益增加,相应扩大了视频建设需求。内容分发网络系统边缘节点比较多,且不同节点的存储能力差异大,必须精细化管理边缘节点内容的存储和调度。基于内容管理,探讨分析了内容分发网络系统视频内容的存储策略,以期全面提升边缘节点调度频率和服务优质性。

全渠道供应链网络节点约束存储转发调度方法

在全渠道供应链网络中,资源请求被阻塞,出现资源调度拥挤现象,导致调度时间变长,影响整体调度效率。因此,提出了全渠道供应链网络节点约束存储转发调度方法。根据搭建网络节点约束存储转发调度框架,计算资源请求阻塞概率,利用时移多层图法实现空间和时间资源请求指令的双向传送,避免出现请求阻塞问题。构建调度决策目标函数,调整网络节点约束存储转发顺序,确定供应链网络节点约束下存储转发成功率,实现节点约束存储转发调度。实验结果可知,该方法调度时长最短为30 s,且调度路径与预先设定路径吻合,具有高效调度效果。

一种OpenStack块存储调度算法

在基于Open Stack的云平台中,默认的块存储调度方法存在着无法给出确定的用户服务水平目标(service level objective,SLO),以及一定的存储资源浪费等问题。本文在降序首次适应(First Fit Decreasing,FFD)算法的基础上提出一种块存储降序首次适应调度算法。该算法可以给出确定的SLO,从而提高云服务供应商的服务质量。仿真实验结果表明,该算法与Open Stack默认的存储调度算法相比,在满足同样的存储调度请求的情况下有效地减少了所需的存储节点,提高了资源利用率。

数字视频监控系统中数据的存储算法

目前视频监控系统在多路存储情况下大多采用轮巡式,该存储方式效率低下,而且存在因硬盘剩余空间不足而造成的存储异常中断等问题。文中结合实际视频监控系统,讨论了视频数据的存储算法,采用多磁盘调度算法实现了将多路存储“平均”分配于多个硬盘中,充分提高存储访问的效率;并且设计实现了定时检测增加磁盘当前剩余空间算法,保证磁盘剩余空间始终维持在一定的容量,从而很好地解决了存储异常中断的问题。

一种异构多核处理器的并行流存储结构

异构多核处理器可结合多种处理器体系结构的优势,既保留传统通用体系结构的灵活性,又拥有大量计算资源,可提供更高的峰值计算性能.YHFT64-3异构多核处理器中浮点处理部件18套,峰值计算能力强大,设计与之相匹配的存储系统是一项重大挑战.针对YHFT64-3处理器,本文提出了一种并行流层次存储结构,深入阐述了如何体现应用特点、支持并行数据流处理的存储系统的设计思想和方法,从多个层次实现对并行数据流的挖掘或捕获.测试结果表明,这种存储结构体现了应用特点,能够较好地发挥YHFT64-3处理器的性能,同频情况下(500MHz),YHFT64-3比YHFT64-2性能高2—3个数量级,与1.6GHz的Itanium2性能相当,但代价更低.

嵌入式数字视频监控系统通用存储与检索方案

为了解决现有的嵌入式数字视频监控系统的多路视频存储与检索的结构差异,从而严重制约视频监控系统的可复用性与引起系统I/O瓶颈问题,提出一种嵌入式数字视频监控系统通用存储与检索方案。采用组件化思想构建视频存储与视频检索模块,通过设计存储调度算法减少了I/O瓶颈问题,使用检索控制策略降低了检索拥塞。与以前的系统相比在支持多路视频存储与检索方面表现出改进的性能,同时具有更好的可重用性。

基于P2P的视频点播系统的存储设计

在对真实VoD/P2P系统的存储过程进行模块划分的基础上:在客户端,提出了一种通用的存储算法模型VSVR,它可以归纳目前绝大多数的存储策略并可能推导出新的设计;在服务器端,给出了存储调度的主要目标与基本原理。其工作可作为VoD/P2P系统存储设计的重要参考。