面向模块重用的描述逻辑SHJF本地性规则研究

可重用本体模块的抽取是本体重用的一个关键环节。与传统工程应用中使用的基于本体层次的结构化方法抽取本体模块相比,使用逻辑的方法能充分利用本体提供的语义信息,抽取的本体模块更具完整性和正确性。在研究保守扩展的本体模块理论基础上,根据Grau B C提出的S HOJQ本地性规则,提出并证明了描述逻辑S HJF对应的语义本地性规则和句法本地性规则,为基于该规则抽取可重用本体模块提供了理论基础。

基于IP流本地性的状态检测性能优化方法

提出了一种哈希表优化算法(MTH)以提高状态检测的速度.该算法根据IP流本地性,即最近访问过的会话节点很有可能被再次访问的特点,将刚访问的节点放置在Bucket链表头部,以减少哈希表的整体内存访问次数,提高会话表的速度.历史流量驱动的性能仿真实验表明,MTH算法的性能明显优于原哈希表算法,能够满足高速状态检测防火墙的速度要求.

一种提高虚拟化Hadoop系统数据本地性的资源调度方法

在Hadoop系统中,大规模数据分析应用程序的数据本地性是影响其性能的关键因素.传统的Hadoop系统是部署在物理机中的,目前针对传统Hadoop系统提高数据本地性的资源调度方法在虚拟化的Hadoop系统中效果不佳.这是因为在虚拟化的Hadoop中,数据的分布被分为2个层次:虚拟机和物理机.采用将计算节点和存储节点分别部署在不同虚拟机中的方式部署虚拟化Hadoop系统,并提出了一种提高数据本地性的资源调度方法.首先,在任务提交阶段,调节作为计算节点的虚拟机的计算能力,使其能够运行数据本地性较高的任务;其次,在任务运行阶段,通过迁移计算节点到任务所需数据存储节点所在的物理机以提高数据本地性.实验表明,提出的方法能够使86%的测试程序的作业完成时间在不同程度上有所减少.特别地,在测试案例TeraSort中处理10GB的数据,该方法比传统方法缩短了33%的作业完成时间.

数据本地性感知的MapReduce负载均衡策略

现有针对MapReduce的负载均衡调度的研究均未考虑中间数据的分布特点及网络传输的开销,导致额外的网络传输代价与系统效率的下降。为解决上述问题,提出了一种数据本地性感知的负载均衡策略。充分利用YARN中资源管理的新特性,在Map阶段对内存数据溢写的同时进行统计以获取数据分布,根据数据分布情况及各节点的计算能力进行任务调度,减少网络传输开销的同时尽量保证各节点的负载平衡。此外,通过引入细粒度分区与分区的自适应分裂策略,进一步提高在数据倾斜时调度策略的性能。对比实验结果表明,提出的负载均衡调度策略能有效提升性能,同时较好地降低网络总开销。

Hadoop作业调度本地性的研究与优化

作为开源云计算平台的核心技术之一,Map Reduce作业处理框架及其作业调度算法,对整个系统的性能起着至关重要的作用,而数据本地性是衡量作业调度算法好坏的一个重要标准,首先本文介绍和分析了Map Reduce基本原理,Map Reduce作业处理机制和Map Reduce作业调度机制及其在数据本地性方面表现出的优缺点等相关内容。其次,针对原生作业调度算法在数据本地性考虑不周全的问题,结合数据预取技术的可行性与优势,通过引入资源预取技术设计并实现一种基于资源预取的Hadoop Map Reduce作业调度算法,使作业执行效率更高。

左派新冠话语须补什么课——兼论生命的本地性、 地质性和偶然性

在这次全球疫情的公共话语空间中,全球左派新冠话语暴露了其对生物性与生命性的混淆,认不清生物权力与生命政治之间的那一对冲,无法厘清疫情话语与其原有斗争话语之间的界限。

一种Hadoop异构集群下提高数据本地性的分发算法

Hadoop异构集群由于不同slave节点的硬件配置不同(例如CPU、内存、磁盘等),每个节点的Map任务和Reduce任务的slot也不同。文章通过研究当前Hadoop系统上实现数据本地性的算法,提出一种基于异构节点的性能来分发Map任务的输入数据的算法,该算法评估每个slave节点的Map任务执行速度,将输入数据放在运行更快的节点上,以达到更好的数据本地性。

Hadoop集群环境下集成抢占式调度策略的本地性调度算法设计

在Hadoop集群环境下本地性调度算法是提高数据本地性的算法。本地性调度算法的调度策略的本质是提高数据本地性,减少网络传输开销,避免阻塞。但是由于Map任务的完成时间不同,Reduce任务存在的等待现象影响了作业的平均完成时间,使得作业的完成时间增加,进而引起系统的性能参数不佳。因此提出在保留原算法数据本地性要求的基础上集成可抢占式的调度方法。在Reduce任务等待时,挂起该任务并释放资源给其他Map任务,当Map任务完成到一定程度后,重新调度Reduce任务。基于上述调度策略设计了集成抢占式策略的本地性调度。为了对改进的算法进行验证,通过实验对本地性调度算法和集成抢占式本地性调度算法进行比较。实验结果表明,在相同数据上,集成抢占式本地性调度算法的平均完成时间有明显的降低。

Hadoop集群环境下本地性调度算法改进

Hadoop集群环境下本地性调度算法是提高数据本地性的算法。算法本质是提高数据本地性,减少数据传输时间,减少集群的网络I/O,提高资源利用率。由于调度算法采用FIFO方式,当前作业数据量大时将影响其他紧急性高的作业响应时间,降低系统性能。本文提出一种新的调度策略,即在保证原算法数据本地性的前提下,集成静态优先级的抢占调度策略。实验结果表明,在相同的数据集上,采用集成静态优先级抢占的调度策略,优先级高的作业响应时间较优先级低的作业响应时间减少。

Hadoop中Reduce任务本地性优化

为了提高Hadoop作业的Reduce任务的数据本地性,深入分析了Reduce任务的数据本地性问题,并提出了一种延迟调度算法DSORT(Delay Scheduler Of Reduce Task),将延迟调度的思想应用到Reduce任务的数据本地性的优化上,并将DSORT的实现嵌入公平调度器中,最后,通过与原生的公平调度器比较,该算法大大提高了Reduce任务的数据本地性,减少了网络传输开销,缩短了作业的执行时间。

全民所有自然资源资产平衡表编制思考与建议--以内蒙古兴安盟试点为例

全民所有自然资源资产平衡表编制是加强全民所有自然资源资产管理、履行“两统一”职责的重要基础性工作。从试点实践上看,学界、编制人员和主管部门对平衡表的认知尚未形成共识,需要进一步规范核算客体范围、简化报表体系、优化数据衔接、规范编制技术体系与推进成果本地性应用等。

基于Peer-to-Peer的分布式存储系统的设计

分布式存储系统是p2p技术的一个重要的研究领域.当前对p2p系统的结构研究已经能够高度有效地控制节点路由次数,人们逐渐转向追求更为实际的路由距离.作为存储应用,分布式系统需要具备综合容错-恢复能力.在分析现有研究的基础上,建立一个接近实际网络节点分布的计算模型,通过已知的节点最优路径情况动态地预测网络真实路径的长度.利用评估算法聚集网络中相近的节点,使得同一分组的节点之间的距离最小化,提供更加合理的路由选择.对于存储的可靠性,提出了节点交叉管理模型和相应的数据迁移算法.这种管理策略及迁移算法的本地性特点显著提高了系统对各种事件的反应能力,保证了系统的可持续性.模拟结果显示,分组为路由选择提供了确实有效的判据,而且可以扩展到更大的规模.

基于数据中心负载分析的自适应延迟调度算法

由于已有的延迟调度算法基于静态的等待时间阈值,因此不能适应云计算数据中心动态的负载变化。针对该问题,提出了等待时间阈值自适应调整模型。基于该模型,设计了自适应延迟调度算法(ADS)。ADS算法通过分析空闲计算节点的到达强度、网络带宽和作业执行状态等参数,自适应调整等待时间阈值,以减少作业响应时间。基于开发的原型系统,验证了自适应调整模型,测试了算法性能。结果表明,ADS算法在作业响应时间等方面优于已有的延迟调度算法。

基于动态等待时间阈值的延迟调度算法

针对已有的延迟调度算法存在的两个问题,即建立在节点会很快空闲的理论假设下有一定限制,当节点不会很快空闲时算法性能严重下降和基于静态的等待时间阈值不能适应云计算数据中心动态的负载变化及不同用户作业的需求,提出了一种基于动态等待时间阈值的延迟调度算法(dynamic waiting time delay scheduling,DWTDS)。该算法通过给无本地数据节点设置节点最大等待时间,以适应节点不会很快空闲的情况;通过分析数据中心各动态参数,根据概率模型调整作业的等待时间阈值。实验验证该算法在响应时间及负载均衡性方面优于已有的延迟调度算法。

基于负载均衡的Hadoop动态延迟调度机制

调度问题作为影响Hadoop集群性能的关键因素而成为研究的热点.延迟调度是常用的提高数据本地性和Hadoop集群性能的方法,但现有的延迟调度算法基于固定的等待时间,而且没有充分考虑集群的负载均衡.本文提出基于负载均衡的动态延迟调度机制DDS(Dynamic Delay Scheduling).DDS首先基于灰色预测模型,预测未来时刻空闲节点的到达速率;然后结合集群负载状况和作业执行进度,给每个任务设置合理的延迟等待时间,避免任务的无效等待.任务调度充分考虑节点的实际负载量,防止节点负载过重而导致任务执行缓慢甚至失败,从而缩短作业的总完成时间.实验表明,DDS在作业的总完成时间和负载均衡方面优于传统的延迟调度算法.

基于磁盘I/O性能的Hadoop任务选择策略

最大化利用本地磁盘的I/O资源是提升计算集群性能的关键,但Hadoop系统中多数调度算法未考虑此项因素。为此,引入磁盘负载作为Map任务选择的权衡参数,任务调度时参照磁盘负载程度选择合适的任务,以保证数据节点上各磁盘的负载相对均衡,并据此设计新的任务选择模块集成到Hadoop的调度器中。同时为进一步提升Hadoop系统的性能,实现Map作业的近似完全本地化执行。实验结果表明,该任务选择策略能够充分利用数据节点本地磁盘的I/O资源,可使节点的I/O Wait平均降低5%,CPU利用率平均上升15%,作业的执行时间缩短20%。

一种基于资源预取的Hadoop作业调度算法

Hadoop原有的作业调度算法在任务级调度阶段均采用简单考虑数据本地性的任务分配策略,并不能保证良好的数据本地性,而相应的改进算法改进目标不一,也不完全适用于所有作业调度场合。针对以上问题,结合数据预取理念提出一种基于资源预取的作业调度算法。通过估算节点上正在运行任务的剩余执行时间,并与传输一个数据块所需时间进行比较,预选出待预取的候选节点;并从当前正在运行作业的未分配任务中选取非本地map任务作为待预取任务;最后,为该任务在候选节点上预取其所需数据。实验结果表明该改进算法有效地提高了作业的数据本地性,并在一定程度上减少了作业执行时间。

一种高效的DNS日志压缩算法

CN顶级域名的DNS日志从分布式站点传输到数据处理中心时,对海量数据存储和传输带宽提出极大挑战。针对该问题,提出一种高效的DNS日志压缩算法,利用DNS查询类型的冗余性和DNS查询时间、IP地址和域名等的重复性进行DNS日志压缩。实验结果证明了DNS日志压缩算法在DNS实时监控和分析系统中部署的有效性和高效性。

中国转型期城市空间规模的决定因素——统一的单中心城市模型的理论研究与实证

文章根据城市土地经济学原理、结合我国城市特点构建了兼有"封闭"和"开放"特征的单中心城市模型,并发展了经典单中心城市模型的比较静态分析。文章提出的本地性均衡概念弥补了现有理论的不足,有助于揭示城市户籍人口和农村流动人口在城市的就业和居住模式以及城市用地特征。对中国630多个城市2003-2007年数据的计量分析显示,我国城市用地规模差异的88%可以被模型所解释。特别地,政府规划中较少考虑的城市收入、市内交通条件、流动人口对现阶段我国城市规模有显著影响。计量分析结果还表明,在控制了上述所有经济因素后,行政级别高的城市以及中西部地区城市使用了更多的土地。

基于MapReduce数据密集型负载调度策略研究

针对云计算环境中大规模数据集的处理,MapReduce集群已成为一个强大的处理平台。文中提出了一种基于虚拟化平台动态资源重配置的资源评价和动态资源重新配置调度算法。该算法动态地评估作业在截止时间内完成所需要的Map和Reduce计算资源数量,并在不违反用户设定的时间目标的情况下,通过动态地增加或减少独立虚拟机的方式来调整CPU资源,以实现提高数据本地性,同时提高系统在运行作业时的资源利用率。仿真实验结果表明,该算法可以使集群上的MapReduce作业的吞吐率有明显的提高。