一种不确定RFID数据流清洗策略

原始RFID数据流含有大量噪声且具有不确定性,必须在使用之前对其进行数据清洗,而清洗策略是清洗质量的保证。提出一种适合不确定RFID数据流的清洗策略。该清洗策略引入了最大熵原理,对待清洗的RFID元组的特征属性进行权重选择,并根据清洗节点的时间消耗以及误差进行清洗成本分析,决策出最佳的清洗方法。仿真实验结果表明,该清洗策略提高了不确定RFID数据流的清洗效率与精度。

不确定大数据流分类的决策树模型构建仿真

在不确定大数据流分类过程中,受噪声和孤立点的干扰,导致处理效果和分类精度无法达到预期要求。为解决上述问题,提出一种基于决策树模型的不确定大数据流分类算法。通过采用在线字典学习算法,对不确定大数据流去噪处理,消除噪声对分类过程产生的干扰。构建决策树,在剪枝过程中通过特征过滤算法,滤除不确定大数据流中掺杂的孤立点。将去噪后的不确定大数据流,输入决策树模型中,完成分类工作。实验结果表明,所提算法处理后的不确定大数据流振幅明显减小,且分类精度高,具有一定的应用价值。

基于神经网络的不确定性数据流异常检测系统设计

受非线性变化数据影响,导致数据流异常检测结果不精准,为此设计了基于神经网络的不确定性数据流异常检测系统。采集时间窗口数据,计算离散值,将计算结果存入综合数据库。提取不确定性数据流异常特征,结合神经网络检测数据流异常情况。构建原始数据流序列和不确定性数据流序列,并以此为基础构建检测模型。引入递推算法,结合Lasso回归分析方法剔除非线性变化数据,分析不确定性数据的异常特性,通过神经网络锁定异常数据流,获取检测结果。由实验结果可知,该系统可将数据拟合在理想值附近,且样本数据在实际值上下限范围内,能够获取精准的检测结果。

不确定RFID数据流上基于熵的数据推导方法

针对海量RFID数据中存在的不准确性以及语义信息鸿沟,提出了一种基于概率分布熵的数据推导方法.该方法采用时变图模型并充分利用历史RFID识读,从不确定RFID数据流上有效捕获贴标对象所处的状态,并采用基于概率分布熵的方法分别推导对象最可能的位置和包含.该方法可以同时处理RFID识读中的漏读和多读.最后利用模拟RFID数据进行参数调优和算法评价,实验结果显示:该方法在获得准确推导结果的同时,能确保其高效性和高伸缩性.

基于随机平衡采样的不确定大数据流在线分类算法

不确定大数据流具有动态性和不平衡性特点,导致分类结果不精准,为此提出基于随机平衡采样的不确定大数据流在线分类算法。根据Spark框架大数据筛选结构,过滤筛选不确定大数据,释放不满足条件的大数据。应用Hoeffding算法计算实际值与观测值之差,判断差值与属性差值之间的关系,确定最佳分类属性。随机设定最小类别与最大类别数目,对非平衡样本抽样,避免因样本规模过大而造成的样本损失。建立在线分类器,逐级筛选不确定大数据。通过计算不确定信息增益,获取归类最大可能性类别,实现大数据流的在线分类。由实验结果可知,该算法对数据集W1、W2、W3分类的准确率最低值分别达到90%、94%、83%,具有精准分类效果。

一种不确定数据流聚类算法

提出了EMicro算法,以解决不确定数据流上的聚类问题.与现有技术大多仅考虑元组间的距离不同,EMicro算法综合考虑了元组之间的距离与元组自身不确定性这两个因素,同时定义新标准来描述聚类结果质量.还提出了离群点处理机制,系统同时维护两个缓冲区,分别存放正常的微簇与潜在的离群点微簇,以期得到理想的性能.实验结果表明,与现有工作相比,EMicro的效率更高,且效果良好.

数据流学习驱动的突发事件风险信息预警体系研究

[目的/意义]大数据环境下的突发事件风险信息预警备受关注,当信息因不确定性因素发生动态变化时,实时有效地预测预警风险信息变化支持决策至关重要。[方法/过程]从数据科学和信息不确定性视角,构建一个基于数据流学习的突发事件风险信息预警框架,即构建基于滑动窗口和残差拟合的混合自适应在线学习过程对风险信息进行动态预测,并嵌入实时特征选择过程提升结果稳定性,再根据预测结果标记预警信号来支持响应决策,最后结合实际提出预警体系。[结果/结论]对多场景的数据流进行测试验证,表明该框架能实时、有效地对事件风险信息进行预测预警,缩短应急响应时间。[局限]还需更多具有复杂性和多变性的应用场景进行方法优化。

大数据环境下的不确定数据流在线分类算法

在大数据环境下,由于隐私保护、数据丢失等原因,数据普遍存在不确定性;数据流系统中数据不断地到达系统,只扫描一遍且不能一次性全部获得;所以要构建一个增量分类模型来处理不确定数据流分类.本文基于VFDT算法提出了WBVFDTu算法,该算法在学习和分类阶段都可快速而有效地分析不确定信息.在学习期间,采用Hoeffding分解定理构造决策树模型;在分类期间,在决策树的叶子节点利用加权贝叶斯分类算法提高模型的分类准确率和算法的执行效率.最终证明该算法能够非常快速地学习不确定数据流,提高分类的准确率.

不确定性数据流上频繁项集挖掘的有效算法

在很多应用中,不确定性数据都是以流的形式产生,例如传感器网络数据,移动对象跟踪数据等等.已有的基于不确定性数据流的频繁项集挖掘算法往往具有数据流储存结构繁琐、维护困难以及算法的计算量大等缺点.针对这种情况,提出了一种有效的数据结构SRUF-tree用于储存不确定性数据事务流的项集,该结构由全局树SRtree、临时表Table和窗口队列Queue三部分组成,其中全局树压缩着最近窗口容纳的所有的项集,临时表存储着每批项集的信息.基于该结构设计了一种新的算法SRUF-mine,它挖掘流频繁项集时只需要深度遍历全局树,动态维护SRUF-tree结构只需要处理窗口队列中最旧一批项集的临时表.理论和实验结果表明,SRUF-mine算法是一种有效的挖掘不确定性数据流频繁项集的算法,时空效率和扩展性均优于UF-streaming算法.

数据流处理中确定性QoS的保证方法

与以往尽最大努力的查询服务提供方式不同,讨论了数据流处理中确定性QoS的保证问题以网络演算为理论基础,提出了一种数据流处理中的QoS建模和QoS保证方法.系统运行前验证所有查询在满足各自的QoS前提下的可调度性.在运行时为通过QoS可调度性验证的每个查询分配代表其QoS需求的服务曲线,从而保证各查询期望的QoS.为了提高查询处理效率,还讨论了保证QoS的批调度和查询共享.实验结果表明,该QoS保证方法能够有效地为数据流上的连续查询提供确定性的QoS保证.

基于样本不确定性的增量式数据流分类研究

具有概念漂移的数据流分类应用场景逐渐增多,如何解决该类问题成为研究热点.文中根据数据流概念漂移特征,结合增量学习原理实现基于样本不确定性选择策略的增量式数据流分类(IDSCBUC)模型.分类模型用支持向量机作为训练器,基于当前分类器从相邻训练集中按照样本不确定性值选择出"富信息"样本代表新概念样本集,把新概念样本集与支持向量集合并更新分类器,形成新的分类模型.理论分析和实验结果表明该方案是可行的,且具备抗噪声能力.

不确定数据流上的概率反轮廓查询处理

反轮廓查询在制定有效的市场决策方面具有重要的作用,随着数据流特征和不确定性的表现日益明显,不确定数据流上概率反轮廓查询已经成为一个新的研究课题.为了高效解决不确定数据流上概率反轮廓查询问题,首先,通过对实际应用需求进行分析,提出了不确定数据流上概率反轮廓查询的定义,并根据相关概念,提出了不确定数据流上概率反轮廓查询的索引模型;其次,通过对不确定数据流上概率反轮廓的性质进行深入分析,提出了一种新颖高效的基于R-tree的不确定数据流上概率反轮廓查询算法RT2RS,该算法运用了高效的剪枝策略,避免了大量的无效运算;最后,通过大量的仿真实验对RT2RS性能进行了验证.实验结果表明,RT2RS是解决不确定数据流上概率反轮廓查询的有效方法,大大减少了不确定数据流上概率反轮廓查询的运行时间,能够满足实际应用需求.

一种基于高斯混合模型的不确定数据流聚类方法

传感器的广泛应用产生了大量的不确定数据流,在聚类应用中,当输入数据为连续型随机变量时,现有基于离散型随机变量的聚类方法无法满足数据流应用在效率和精度上的要求.使用高斯混合模型作为不确定数据的基本表示形式,仅需要保存不同组件的描述信息即可,可以更好地利用存储空间,完成对真实情况的逼近,在此基础上提出了一种可以发现时间维度上的不确定数据流聚类方法cumicro,该算法将时间直接作为数据属性,可直接查询某个时间维度的聚簇,避免了传统基于划分的聚类中较难发现非球状聚簇的问题.通过实验与经典算法umicro进行比较,证明了本文算法的有效性,并分析了不同K值、τ值下的聚类结果.最后得出结论,原始数据较密集时,相较原有基于离散模型的聚类,该算法具有准确度上的优势.

基于概率衰减窗口模型的不确定数据流频繁模式挖掘

考虑到不确定数据流的不确定性,设计了一种新的概率频繁模式树PFP-tree和基于该树的概率频繁模式挖掘方法PFP-growth.PFP-growth使用事务性不确定数据流及概率衰减窗口模型,通过计算各概率数据项的期望支持度以发现概率频繁模式,其主要特点有:考虑到窗口内不同时间到达数据项的贡献度不同,采用概率衰减窗口模型计算期望支持度,以提高模式挖掘准确度;设置数据项索引表和事务索引表,以加快频繁模式树检索速度;通过剪枝删除不可能成为频繁模式的结点,以降低模式树的存储及检索开销;对每个结点都设立一个事务概率信息链表,以支持数据项在不同事务中具有不同概率的情形.实验结果表明,PFP-growth在保证挖掘模式准确度的前提下,在处理时间和内存空间等方面都具有较好的性能.

不确定数据流最大频繁项集挖掘算法研究

对于大型数据,频繁项集挖掘显得庞大而冗余,挖掘最大频繁项集可以减少挖出的频繁项集的个数。可是对于不确定性数据流,传统判断项集是否频繁的方法已不能准确表达项集的频繁性,而且目前还没有在不确定数据流上挖掘最大频繁项集的相关研究。因此,针对上述不足,提出了一种基于衰减模型的不确定性数据流最大频繁项集挖掘算法TUFSMax。该算法采用标记树结点的方法,使得算法不需要超集检测就可挖掘出所有的最大频繁项集,节约了超集检测时间。实验证明了提出的算法在时间和空间上具有高效性。

分流机制下的RFID不确定数据清洗策略

无线射频识别技术(RFID)是物联网的关键技术之一。RFID原始数据的不确定性和海量性严重影响了该项技术的发展。通过对不确定数据特征进行分析,建立了一套分流机制下的RFID数据清洗策略。该清洗策略引入清洗队列的概念,根据清洗节点的判断条件选择最佳的清洗路线,无需遍历清洗系统中的所有清洗节点,从而节省了大量的数据传输和清洗等待时间。实验表明,该策略很好地缓解了数据传输压力,有效地提高了数据清洗的效率。

乱序RFID数据流上的复杂事件检测方法

针对发生时间戳乱序的RFID原子事件流,文章提出了一种新的复杂事件检测方法。该方法采用在一种特殊的Hash表结构中进行局部排序的方法来解决时间戳乱序问题。文中首先建立了时间戳乱序问题的描述模型;提出了面向时间戳乱序数据流的复杂事件检测算法;在基本算法的基础上添加了基于双时间槽的滑动窗口处理;对Hash表大小等参数对算法效率的影响、基于双时间槽的滑动窗口处理方法的效果进行了实验验证。实验结果表明:算法是有效的;Hash表大小对算法效率影响较为明显;基于双时间槽的滑动窗口处理方法可以显著提高内存使用效率。

基于滑动窗口的不确定性数据流频繁项集挖掘算法

为了提高频繁项集挖掘算法的准确性,在不确定性数据流频繁项集挖掘算法SRUF-mine的基础上引入最大可能误差,提出一种基于滑动窗口的false-positive挖掘算法UFIM。UFIM算法对数据流进行分块处理,在内存中维护一个存储滑动窗口内频繁项集的概要数据结构,随着窗口的滑动对该概要结构进行增量更新。实验表明,与SRUF-mine相比,UFIM算法能获得较高的频繁项集挖掘的准确性。

基于距离的分布式RFID数据流孤立点检测

RFID技术已广泛应用于实时监控、对象标识及跟踪等领域,及时发现被监控标签对象的异常状态显得十分重要.然而,由于无线通信技术的不可靠性及环境因素影响,RFID阅读器收集到的数据常常包含噪声.针对分布式RFID数据流的海量、易变、不可靠及分布等特点,提出了基于距离的局部流孤立点检测算法LSOD和基于近似估计的全局流孤立点检测算法GSOD.LSOD需要维护数据流结构CSL来识别安全内点,然后运用安全内点的特性来节省流数据的存储空间和查询时间.根据基于距离的孤立点定义,在中心节点上的全局孤立点是位于每个分布节点上孤立点集合的子集.GSOD采用抽样方法进行全局孤立点近似估计,以减少中心节点的通信量及计算负荷.实验表明,所给出的算法具有运行时间短、占用内存小、准确率高等特点.

基于高斯模型的不确定数据流Skyline查询方法

由于数据的动态性及不确定性等特征,使得不确定数据流上Skyline查询研究面临挑战.不确定对象一般采用多元概率密度函数(PDF)表示,现有的不确定数据流Skyline查询方法均采用离散型随机变量建模.然而不确定数据流中的对象可能是连续变化的,离散模型对连续性随机变量难以适用.针对连续PDF建模的不确定数据流Skyline查询进行了研究,提出了基于高斯模型的不确定数据流Skyline查询方法(SGMU),该方法包含2个过程:1)动态高斯建模算法(DGM):对滑动窗口采样并建立高斯模型,将原始的数据流转化为不确定对象PDF的参数流;2)提出了基于高斯树的查询算法(GTS)以建立空间索引结构和执行Skyline查询.实验结果表明,SGMU算法不仅能够对连续型不确定对象进行有效建模以辅助Skyline查询,而且能够有效地减少查询对象个数,提高Skyline查询效率.