云环境下改进自回归模型的网络数据去重仿真

云环境网络数据去重过程中,若不能及时对网络数据实施噪声抑制,会直接降低数据的去重效果,为提升数据去重精度,提出基于自回归模型的云环境中网络数据去重算法。建立云环境弹性空间模型,确定网络数据的空间自相关度量值完成数据去噪,基于去噪结果详细分析云环境中网络数据属性特征;根据提取的属性特征对云环境中网络数据聚类处理,结合自回归模型建立网络冗余数据预测模型,精准预测出云环境中的网络冗余数据,并对其进行剔除处理,实现网络数据的精准去重。实验结果表明,使用该方法开展数据去重时能够有效去除网络数据中的冗余数据,去重效果较好。

避免科技论文重复发表和一稿多投的机制与实践

针对科技期刊界论文重复发表和一稿多投问题较为突出的情况,建立了在稿件送同行专家评审前进行查重和在稿件刊登前再查重的机制。经过1年多的实践,避免了60余篇属重复发表或有抄袭嫌疑稿件的发表,并对一稿多投有所抑制。

MassCloud云存储系统构架及可靠性机制

为了解决分布式存储系统的存储容量、可靠性以及效率问题,首先提出了高可靠性海量云存储系统MassCloud的分层体系结构,并在此构架的基础上提出了基于纠删码机制的快速编解码算法——双表法,以及基于纠删码、副本冗余和RAID技术相结合的MassCloud可靠性保证策略,并且进行了测试与分析.结果表明:双表法具有较高的编解码效率,在广域网环境下不会成为性能瓶颈;MassCloud采用4组(8块硬盘)作为每个低功耗存储节点包含的硬盘数,云存储站点层采用3个副本,分布式环境下冗余倍数取2,文件分块数取8,能够保证系统整体可靠性在0.99以上.

高压直流输电保护装置冗余配置可靠性的接续分析

基于可修复系统可靠性理论,结合高压直流输电保护系统的可靠性要求,根据马尔科夫原理运用频率时间法等方法,建立了典型冗余配置方式三取二、四取二的状态空间图,并求出其等效模型和可靠性指标,比较了三取二、四取二、完全双重化冗余配置方式的可靠性水平,结果表明,三取二和四取二可靠性比较接近,四取二略占优势;完全双重化是不完整的四取二,本质类似二取一,其可靠性不如三取二高。三取二的经济性最好,故综合考虑可靠性和经济性,最终认为三取二是直流输电系统保护冗余方式的较好选择。

高压直流输电系统保护装置冗余配置的可靠性分析

根据高压直流输电保护系统的可靠性要求,基于不可修复系统串并联结构的可靠性分析原理,建立了几种典型冗余配置方式的可靠性模型,比较了各种冗余方式的可靠性。主要分析了工程上常用的三取二和完全双重化保护配置方式,综合考虑可靠性和经济性等因素,得出结论:三取二配置是直流输电系统保护冗余方式的较好选择。文章同时建议采用3套测量回路和输出回路,以便与三取二冗余方式相配合,提高整体的可靠性。

基于特征串的大规模中文网页快速去重算法研究

网页检索结果中 ,用户经常会得到内容相同的冗余页面 ,其中大量是由于网站之间的转载造成。它们不但浪费了存储资源 ,并给用户的检索带来诸多不便。本文依据冗余网页的特点引入模糊匹配的思想 ,利用网页文本的内容、结构信息 ,提出了基于特征串的中文网页的快速去重算法 ,同时对算法进行了优化处理。实验结果表明该算法是有效的 ,大规模开放测试的重复网页召回率达 97 3% ,去重正确率达 99 5 %。

容灾系统的建设方案研究

主要依据容灾系统的建设条件和级别定义,讨论了建设容灾系统的原则,并对数据级容灾系统和应用级容灾系统的建设方案进行了分析和对比,同时还结合业界一些容灾技术进行了案例分析,最后对移动业务运营支撑系统的容灾提出了建设性的方案。

基于MapReduce模型的大数据相似重复记录检测算法

针对大数据来源多、维度高和体量大的特点,提出一种云环境下检测大数据相似重复记录的并行算法MP-SYYT.利用汉语词法分析技术、德尔菲法以及词频-逆向文件频率算法对传统的SimHash算法进行改进,以解决算法中关键词提取速度慢、精度和权重计算精度低的问题;利用倒排索引算法对传统SimHash算法进行优化,以提高其相似重复记录的匹配效率;利用所提MP-SYYT算法在云平台上定义Map函数和Reduce函数,并用MapReduce模型在云环境下实现了大数据相似重复记录的并行检测和直接输出;在Hadoop平台上进行实例分析,以验证MP-SYYT算法的高效性和实用性.

一种全局较优的静态任务调度算法

针对现有任务调度算法优先级选取过于单一所产生局部较优调度结果的问题,从全局较优出发,提出一种先分层后分支决定优先级的静态任务调度算法—HGCOTS算法。该算法考虑了任务间较大的通信开销和冗余任务对异构CMP任务调度效率的影响,通过综合区间插入和任务复制技术最大限度地降低了任务间的通信开销,对冗余任务进行删除,明显提高了任务调度效率。使用随机生成图进行模拟实验,与其他算法相比,新算法具有更小的调度长度。

基于任务复制的网格任务调度算法

网格中资源之间存在着通信延迟,通过任务复制的冗余,可以减少任务之间的通信开销,缩短整个计算程序的计算时间。目前网格中的任务调度算法基本上是没有考虑任务复制的;而基于任务复制调度算法往往会产生过多的复制任务,增大系统开销,甚至有可能延迟计算时间。由于基于任务复制的任务调度是一个NP问题,因此本文提出了一种基于任务复制的网格资源调度算法,以减少调度长度为主要目标、减少任务复制量和资源占用量为次要目标。该算法在调度长度和任务复制数量以及占用资源数量方面都等于或优于其它算法。

基于大数据挖掘的多维数据去重聚类算法分析

数据产生的渠道越来越多,速度越来越快,大量的数据为数据分析和处理带来了较大的难度,云平台中的数据种类和规模也在不断扩大,超大的数据规模给数据的存储、管理、分析等带来了前所未有的挑战。数据量剧增会导致数据的可靠性不足,如何有效地处理数据之间的关系,降低冗余数据,建立多维数据去重聚类模型是业界共同努力的方向。文中最先介绍了在大数据挖掘下的多维聚类算法,通过分析大数据内部之间的关系,建立一种适合大数据处理的多维数据去重聚类算法分析模型,对该算法进行改进和实验分析,得到该算法在采样时所存在的复杂度较低,数据分析的结果准确,有利于实现数据的分析和处理,减少数据的冗余,增加数据分析的效率,具有良好的判定效果。

基于异构CMP的静态任务调度研究

现有任务调度算法在选取任务优先级参数时仅仅考虑单一属性,且没有及时处理冗余任务,针对这一问题,提出一种异构CMP中列表与复制优化任务调度算法-HLDOTS算法.该算法首先对任务图中某些特殊的任务进行优化;综合考虑任务的多个属性来为任务分配优先级,构造调度列表;在任务分配阶段,采用基于插入的策略和任务复制技术将当前任务分配到最早执行完成该任务的处理器上;并逐层对调度结果中产生的冗余任务进行处理,将任务分配与冗余任务处理交替进行,避免了冗余任务对处理器资源的浪费,提高了处理器的资源利用率和任务调度效率.采用随机生成图进行模拟实验,实验结果表明,HLDOTS算法较HEFT算法、CPOP算法和HCPFD算法取得了更好的调度性能.

学术期刊一稿多投、重复发表的防范与思考

一稿多投、重复发表是学术不端行为的一种,在现今的学术界比较"盛行"和普遍.防止学术期刊一稿多投、重复发表,期刊社是最关键的因素.探讨了防止学术期刊一稿多投、重复发表的编辑新实践,包括大力加强宣传和对作者的教育,使他们认识到一稿多投的不道德之处;在征稿简则中加入处罚一稿多投的措施,变事后处罚为事先警告,使有这种想法者心存顾虑;在文章刊发前进行重复率的检测,使重复率大的文章没有发表的机会;加大对一稿多投的处罚力度,每发现一次,处罚一次,措施得力,使一稿多投者付出代价,以抑制这种行为的发生.

高压直流输电改进后的双重化保护冗余配置方案

直流保护系统是特高压/高压直流输电工程的重要组织部分,直接影响到整个电网安全,因此,在特高压/高压直流输电工程中对保护系统采用冗余配置的原则。重点分析了目前主要采用的完全双重化和三取二冗余配置方案的特点,在通过改进原有完全双重化冗余配置方案的动作逻辑的基础上提出了一种改进方案。改进后的完全双重化方案能够更好地满足大型紧密联系的输变电网络中"尽可能避免拒动"的保护可靠性要求。

嵌入式实时系统容错集成技术的研究

本文提出了一种用于嵌入式实时系统的集成检查点回卷、任务重复和 DVS 的容错方法。该方法支待处理器速度的在线调整,并根据系统的特点,分别插入额外的 SCP 或 CCP 点,有效使用检查点的存贮和比较功能,减少任务的执行时间,提高系统性能。通过概率原理导出了该方法任务的平均执行时间。仿真结果表明在 DMR 系统上,与原有的方法相比,所提出的方法明显减少了任务的平均执行时间。在此基础上,进一步提出了可适配处理器速度的算法,在减少任务执行时间的同时又节约系统能源。本文研究成果也可用于其它任务重复系统,如 TMR-F、DMR-F-1和 RFCS 等。

一种基于复制码和汉明码的容错加法器

利用复制码(duplicated code)和汉明码(Hamming code)实现了一种新的容错加法器结构,对比之前提出的各种自检测(self-checking)加法器,该结构具有能在不需要重新计算的前提下,同时纠正出现在进位逻辑和求和逻辑上的软错误的特点.另一方面,该结构适用于各种利用基于行波进位的加法器结构,如旁路进位加法器、线性进位选择加法器和平方根进位选择加法器,并适合在汉明码校验的数据通路中工作.仿真结果表明,能有效地修正在进位逻辑上产生的多位软错误(soft error)和产生在求和逻辑上的单个软错误.

新收集燕麦种质的遗传多样性和冗余性鉴定

从青海省4个县收集的60份燕麦样本中鉴别可能的重复材料,为编目和入库保存提供依据。通过名称与来源分析、形态变异性与相似性评价以及分子标记遗传多样性与冗余性鉴定,初步认为这些材料的来源不同,特性明显,遗传多样性丰富,具有一定的保存和利用潜力。但从中也发现同名材料较多,个别材料间遗传相似性较高,存在一定遗传冗余性,并鉴别出可能的重复材料,如白燕麦(1083)与白燕麦(1093)、燕麦(1225)与大燕麦(1226)等。本研究为资源工作者有效鉴别种质收集品中的重复材料、提高保种效率提供参考依据。

基于任务复制与冗余消除的多核调度算法

在分布式计算中常把任务之间的协同和通信关系转换为任务图模型,而任务调度是决定分布式计算性能的关键因素之一。为解决OSA、TDCS、RECS等传统经典算法处理器个数消耗多且存在大量冗余任务等问题,提出一种改进的任务图调度算法。该算法基于贪心策略复制任务的前驱以及前驱的前驱,减少调度长度和处理器空闲时间,并在不增加调度长度的前提下,通过合并簇及减少冗余任务降低处理器个数和处理器的负载。实验结果表明,该算法在处理器个数、加速比以及冗余任务比率上都有一定程度的优化,能提升分布式计算性能。

一种改进的基于复制的异构多核任务调度算法

基于复制的异构多核任务调度算法普遍存在复制的冗余调度过多、处理器利用率不高,产生大量能耗等问题。目前已有一些算法针对该问题对冗余调度进行优化,然而这些优化算法存在检测冗余时机晚、优化空间小、时间复杂度高等问题。针对这些问题提出一种改进的基于复制的异构多核任务调度算法,采用二路复制策略并结合冗余处理机制,旨在最小化调度长度,同时减少冗余的复制任务数量。实验结果表明,该算法在减少冗余任务量和最小化任务调度长度两个方面具有较好的性能。

一种基于商用电信网络的容错技术

针对电信级网络的特点,提出了一种双机热备份容错系统实现方案。对双机热备份中的故障检测、故障恢复以及主备用资源一致性等关键问题进行了研究。对于瞬时故障、间歇性故障的容错采用软件冗余方法,而永久性故障则采用硬件冗余方法来解决,使系统可靠性有了进一步的提高。