虚拟社区网络低维冗余数据快速挖掘系统设计

虚拟社区网络低维冗余数据本体结构属性难以确定,导致不能挖掘出全部的低维冗余数据,为此设计了虚拟社区网络低维冗余数据快速挖掘系统。利用基于ARM72TDI芯片的数据采集器获取原始数据,选取适当的方式进行数据读取与传送。采用自适应特征调度方法构建低维冗余数据聚类相似性函数,通过用四阶累积量切片压缩处理数据。引入权重因素,计算虚拟社区网络节点间相似度,分析虚拟社区网络用户之间多重关系。采用邻域空间交叉融合方法提取数据本体结构属性,以此实现低维冗余数据挖掘。测试结果表明,该系统能够挖掘出全部低维冗余数据,数据挖掘总耗时为21.3 s,说明该系统能够全面、快速挖掘出低维冗余数据。

海量冗余数据冲击下网络入侵检测方法

针对冗余数据冲击下网络入侵数量较大,无法很好地区分正常行为和入侵行为,导致检测准确性差的问题,该文提出一种海量冗余数据冲击下网络入侵检测方法。利用独热编码方式对网络入侵数据进行编码处理,将其转换为数值类型特征。采用PCA算法对海量冗余数据进行压缩,通过数据聚类算法实现网络入侵压缩数据采样,改善海量冗余数据质量,去除网络数据中的噪声;通过改进K-means算法划分数据类簇,筛选内部异常点;利用支持向量机方法为每个类簇构建单分类器,进而判别攻击类型,减少误报率,通过梯度下降法实现网络入侵数据的寻优,实现海量冗余数据冲击下的网络入侵检测。经实验测试结果表明,所提方法可以有效降低网络入侵检测时间,提升检测结果的准确性。

基于分层聚合的通信信息冗余数据检测方法

为了解决冗余数据造成通信网络稳定性较差的问题,提出了基于分层聚合的通信信息冗余数据检测方法。提取通信信息冗余数据样本特征,并建立传感器节点信道;基于分层聚合更新过期未删除数据位置结构,划分不同存储单元的分层结构,查询未删除冗余数据的位置信息;设计冗余数据流检测算法,完成通信信息冗余数据检测。实验中分别测试哈希函数的数量、过滤器的大小、数据流大小、滑动窗口大小等不同参数,对冗余数据检测结果的影响。实验结果显示,当哈希函数为5、过滤器大小为1、数据流为10、滑动窗口为35时,该算法可以得到最好的冗余数据检测结果,有助于剔除通信网络中的冗余数据,保证通信稳定性。

一种有效的多数据源RFID冗余数据清洗技术

相关文献指出低质量的RFID原始数据,特别是大量的冗余数据制约了RFID技术的大规模应用,因此需要一种更有效的冗余数据清洗技术。文章根据RFID数据以及典型应用场景的特点,提出了一种多数据源冗余数据清洗技术,其中包括融合冗余数据清洗方法和交叉冗余数据清洗方法。融合冗余数据清洗方法基于滑动窗口与集合论,交叉冗余数据清洗方法借鉴了参考标签思想并且结合信号强度特征。实验证明,提出的数据清洗技术不但可以有效地完成RFID冗余数据清洗,同时能够为清洗后的数据保留准确的数据来源信息。

用于入侵检测及取证的冗余数据删减技术研究

近年来计算机犯罪逐年增多,并已成为影响国家政治、经济、文化等各个领域正常发展的重要因素之一。入侵检测技术与入侵取证技术对于打击计算机犯罪、追踪入侵、修补安全漏洞、完善计算机网络安全体系具有重要意义。但是,随着网络的普及以及计算机存储能力的提升,入侵检测及取证技术目前需要分析的往往是GB乃至TB级的海量数据,而且有用信息往往湮没在大量由正常系统行为触发的冗余事件之中。这无疑给分析过程带来了巨大的挑战,也使分析结果的准确性不高。因此,如何设计出一种自动冗余数据删减技术来提高入侵检测及取证方法的准确率及效率,是当前入侵检测和取证领域的关键问题之一。文中即对这方面已有的研究工作进行了综述,首先介绍了冗余数据删减技术的发展历程及其在医学数据分析等传统领域的应用,然后重点介绍了针对入侵检测和入侵取证的现有各种冗余数据删减方法,最后通过对当前冗余数据删除技术的比较,指出了该领域当前存在的问题及未来的研究方向。

基于关联分析算法的配电网多级冗余数据校验与挖掘技术研究

随着电网的快速建设与发展,电网的设备数据、运行数据以及管理数据等相关业务数据具有规模大、数据结构繁杂的特点,而且数据涉及到电网公司的多个部门、多个系统,彼此之间的数据会出现大量冗余及不一致性。因此,文中基于数据挖掘技术,对配电网多级冗余数据的校验的方法进行了研究,通过对照各项冗余数据与其他基础数据之间的关联关系,建立了数据相关性指标模型及冗余数据校验规则,并基于此对配电网多级冗余数据进行校验;并基于关联分析算法,对缺陷数据的挖掘与分析方法进行了研究。以某省级配电网的设备数据为例,进行了冗余数据的校验及缺陷数据的挖掘与分析,算例结果验证了文中所提方法的有效性及可行性。

云计算下大数据分布式存储中冗余数据分配算法

传统支持向量机算法分配冗余数据时,据分配算法,采用局部特征分析算法获取云计算下大数据分布式存储中冗余数据的重要特征,将该特征设为分类冗余数据的基本数据;使用一对一的分类方式将基本数据变换成二分类数据后,采用最优分类平面对二分类数据进行深仅能进行小样本数据中冗余数据的分配,不能解决大数据中的冗余数据间关联性低的问题,具有分配效率和准确率较低等弊端。提出云计算下大数据分布式存储中冗余数度分类,获取冗余数据片段;采用基于遗传算法对冗余数据片段的分配过程进行求解,构建分配策略和评估准则,获取最佳冗余数据分配策略,完成对云计算大数据分布式存储中冗余数据的最优分配。实验结果说明,所提算法对云计算下大数据分布式存储中的冗余数据实施分配时是具备精度以及效率高的优势。

基于时空布隆过滤器的RFID冗余数据清洗算法

针对射频识别(RFID)固有不可靠性导致的海量冗余数据问题,该文提出了基于时空布隆过滤器的RFID冗余数据消除算法,该算法使用有限空间一次处理海量数据。使用位数组代替了比特数组,使得内存空间消耗为以前的标签号的长度倍。与传统布隆过滤器相比,仍有良好的空间利用率。该算法克服了传统布隆过滤器不能处理海量实时数据流的问题,消除了布隆过滤器的误报错误,设置恰当的参数以最小化漏报错误,漏报错误数量与具体应用场景和过滤器设置有关。实验结果验证了算法的有效性。

一种改进的基于RFID中间件的冗余数据清洗算法

针对RFID中间件冗余数据处理问题,提出一种改进的基本临近有序法(SNM)算法.通过对大量RFID数据进行分组,采用随机因子改变窗口大小对数据进行清洗,并在算法的实现过程中采用循环处理方式.经实验证明该改进算法能有效提高数据处理效率,并在召回率和数据处理时间上均优于原SNM算法.

数字签名方案中的孤悬因子和冗余数据

提出了孤悬因子概念,并明确指出在数字签名设计中必须回避这一现象.此外,还具体分析了5个数字签名协议中出现的孤悬因子及冗余数据,证明了这些协议的不安全性.

篮球视频冗余数据分析与检测

体育视频因收视群体稳定,结构规则明确,商业潜力巨大而备受关注.文章在重点分析体育视频内容特征的基础上,提出体育视频冗余数据(Sports Redundancy Data简称SRD)这一概念,结合基于内容的视频分析方法和体育视频特有的时间、结构、规则等特征,采用主区域颜色(MRC)和多重区域分割算法,实现了对篮球视频"冗余"数据的分析与检测.实验结果表明,算法在查全率、查准率方面都达到了较好的效果.

基于时序聚类的北斗位置冗余数据压缩算法

在北斗用户机的位置数据采集过程中,容易出现数据冗余现象。为此,分析导致数据冗余的原因,提出一种基于时序聚类的冗余数据压缩算法。该算法采用基于密度的聚类方法将数据集进行分簇,把属于同一类运动特征的位置数据归为一类,根据簇直径判断该簇是否为冗余数据,并对冗余数据进行压缩。实验结果表明,该算法可以正确标识冗余数据,实现数据压缩。

海量冗余数据干扰下的网络数据捕获和分析系统研究

传统的网络信号捕获方法通过滑动相关法分析本地样本信号与接收网络信号的关联性,实现信号捕获,但当网络中存在海量冗余数据干扰时,占空较小,容易在无信号时间区间形成大量的噪声,导致网络信号误捕获的问题。因此,提出基于Winpcap网络和kd-treed模型的数据捕获方法,设计网络数据捕获和分析系统,捕获系统包括用于捕获和过滤数据的内核模块、用于数据变换和协议分析的用户分析模块并分析系统实现数据捕获的功能模块。通过Winpcap底层网络分析体系结构,实现网络数据包的捕获,采用kd-treed模型过滤海量数据干扰,提高数据捕获的精度。实验结果表明,所设计系统稳定性高,数据捕获精度高。

海量数据干扰下冗余数据高性能消除方法

针对海量数据处理过程中大量相似特征会给数据分类造成冗余干扰,在分类中心确定时出现多次校验、重复等弊端,提出一种海量数据干扰下冗余数据高性能消除方法.采用主动采样方法提取海量数据干扰下冗余数据特征,并对其进行分类.引入均值漂移传递函数对冗余数据进行分类处理,获取冗余数据活跃程度,实现冗余数据的高性能消除.结果表明,相比传统的消除方法,高效消除方法性能良好,所需时间短,具有一定的优越性.

网络数据库系统中实现冗余数据一致性的一种方法

结合具体的网络环境,文章阐述了网络数据库系统中分布于多个结点的冗余数据间保持数据一致性的一种实现方法,介绍了其实现过程,并对可能出现的问题给出了解决办法。

基于MBF的RFID冗余数据清洗

RFID无线射频识别技术在铁路物流中的应用明显提高了管理效率。为了防止漏读数据,实际应用中通常一个区域会部署多个阅读器,这就导致数据的冗余。由于RFID数据是以流的形式快速、自动地产生,是一种动态数据集,很难一次以有限的内存清除冗余数据。本文提出基于矩阵型Bloom滤波器MBF(Matrix Bloom Fil-ter)的清洗方法TIMBF(Time Interval MBF)。因为基于MBF,它可以用来表示动态集合,并且不会产生消极错误,能以较小的内存获得很高的正确率。TIMBF保存了标签数据的读取时间,为了进一步减少内存空间的使用,提出了空间优化措施。实验结果证实,本文算法能以较小的内存有效地清除冗余数据。

多库条件下冗余数据一致性保证新措施──多库连动操作机制

本文提出了一种多库条件下冗余数据操作数据一致性保证新措施：通过属性一库（表）名链表映射机制实现多库透明连动操作．文中给出了查询、修改、追加等相应操作的数据结构和操作算法，指出了此法可用于DBMS的内部构造、DBMS的应用层操作和分布式数据库系统的构造。

基于果蝇算法的空间数据库位置冗余数据查询

针对当前方法对空间数据库位置冗余数据进行查询时,未考虑冗余数据查询最优解,导致冗余数据查询时间消耗率和空间占用率较高,冗余数据查询效率较低的问题,提出基于果蝇算法的空间数据库位置冗余数据查询方法。采用BP神经网络模型,估计空间数据库中的缺失数据,填补空间数据库中的缺失值。利用粒子群优化算法,挖掘和分类空间数据库中的冗余数据,减少训练样本数目,提高训练速度,得到粒子最优位置。基于果蝇算法对分类后的冗余数据进行搜索,获取冗余数据查询最优解,实现空间数据库位置冗余数据查询。实验结果表明,所提方法的冗余数据查询时间消耗率和空间占用率较低,能够有效提高冗余数据查询效率。

基于决策树算法的客服终端冗余数据迭代消除方法

为了提高客服终端数据可利用性,降低冗余数据干扰程度,挖掘潜在客户,制定销售策略,研究一种基于决策树算法的客服终端冗余数据迭代消除方法。采用数据仓库法抽取并集成客服终端数据,对字符类数据进行去停用词和中文分词预处理,对数值类数据进行缺失值填补和离散值删除预处理。构建ID3决策树,分类客服终端数据,计算同一类数据的类间相似度,构建冗余数据判断规则,检测客服终端冗余数据,联合消除器消除冗余数据。实验结果表明:所研究方法应用后,可以消除客服终端冗余数据,空间缩减比更接近冗余率。

数字地形图冗余数据的清除

根据数字地形图图层数据转换为GIS数据文件后的数据格式特点,通过编程清除冗余数据得到干净的图层数据文件,然后导入到原图中取代原有相应图层数据而得到新的数字地形图,实现了清除冗余数据的目的。经清除冗余数据后的数字地形图图面简洁,更符合规范、图形文件更小,转换成GIS数据速度更快。