云数据共享中一种轻量级的数据确定性删除算法

云共享环境下,虽然现有的数据确定性删除算法保证了远程存储数据在停止共享后的安全性,但没有考虑到不同数据访问策略之间的差异.不同访问策略可能需要数据拥有者撤销全部属性才能实现数据删除,但大量的计算可能导致数据拥有者无法快速完成数据删除,导致数据仍然能被访问.为此,在现有数据删除算法的基础上提出了一种轻量级的数据确定性删除算法,以降低数据拥有者的删除负担.该算法通过额外设置的关键属性及默克尔哈希树对云共享的数据执行删除和验证操作.实验结果表明,提出的算法是安全且高效的.

一种安全的云存储数据确定性删除方法

为解决云存储中的过期数据导致敏感信息泄漏的问题,提出了一种安全的数据确定性删除方法.该方法首先对文件F进行AON(All or Nothing)加密,将数据密文CF存储到云中,而将数据密文的存根C0与AON密钥参数一起进行广播加密,并将广播密文通过秘密共享算法分布式存储到DHT(Distributed Hash Table)网络中.DHT网络的动态更新将定期删除其中的广播密文,实现了AON密钥参数和存根C0的自动清除.在安全性方面,AON加密和广播加密使该方法能抵抗针对DHT网络中密钥信息的跳跃和嗅探攻击,以及针对数据密文CF的暴力攻击.

不确定大数据流分类的决策树模型构建仿真

在不确定大数据流分类过程中,受噪声和孤立点的干扰,导致处理效果和分类精度无法达到预期要求。为解决上述问题,提出一种基于决策树模型的不确定大数据流分类算法。通过采用在线字典学习算法,对不确定大数据流去噪处理,消除噪声对分类过程产生的干扰。构建决策树,在剪枝过程中通过特征过滤算法,滤除不确定大数据流中掺杂的孤立点。将去噪后的不确定大数据流,输入决策树模型中,完成分类工作。实验结果表明,所提算法处理后的不确定大数据流振幅明显减小,且分类精度高,具有一定的应用价值。

基于最小二乘孪生支持向量机的不确定数据学习算法

孪生支持向量机通过计算2个二次规划问题,得到2个不平行的超平面,用于解决二分类问题。然而在实际的应用中,数据通常包含不确定信息,这将会对构建模型带来困难。对此,提出了一种用于求解带有不确定数据的最小二乘孪生支持向量机模型。首先,对于每个实例,该方法都分配一个噪声向量来构建噪声信息。其次,将噪声向量结合到最小二乘孪生支持向量机,并在训练阶段得到优化。最后,采用一个2步循环迭代的启发式框架求解得到分类器和更新噪声向量。实验表明,跟其他对比方法比较,本方法采用噪声向量对不确定信息进行建模,并将孪生支持向量机的二次规划问题转化为线性方程,具有更好的分类精度和更高的训练效率。

基于神经网络的不确定性数据流异常检测系统设计

受非线性变化数据影响,导致数据流异常检测结果不精准,为此设计了基于神经网络的不确定性数据流异常检测系统。采集时间窗口数据,计算离散值,将计算结果存入综合数据库。提取不确定性数据流异常特征,结合神经网络检测数据流异常情况。构建原始数据流序列和不确定性数据流序列,并以此为基础构建检测模型。引入递推算法,结合Lasso回归分析方法剔除非线性变化数据,分析不确定性数据的异常特性,通过神经网络锁定异常数据流,获取检测结果。由实验结果可知,该系统可将数据拟合在理想值附近,且样本数据在实际值上下限范围内,能够获取精准的检测结果。

数据不确定性与背景应力场差应力的可靠约束——以1992年Landers地震为例

以1992年美国南加州Landers MW7.3地震为例,通过利用主震前后应力场和主震位错引起的应力变化来约束背景应力场差应力的方法,系统研究了数据不确定性与差应力约束可靠性的关系.通过实际地震数据结合数据模拟研究,发现由于数据的不确定性(主要是震源机制解不确定性和发震节面的难确定性),该方法得到的原始约束结果与真实差应力存在系统偏差,原始约束值不能反映真实的差应力水平.数据模拟统计曲线表明,原始约束值和真实差应力存在两段线性关系:上升段和水平段,上升段对差应力有约束能力,水平段对差应力没有约束能力.利用上升段的线性关系对原始差应力约束值调整,得到的调整约束值在一定区间消除了与真实差应力的系统偏差.在不同的分析地点(分析点),本质上是主震位错引起的不同应力变化,数据不确定性对差应力约束结果影响也不同,不同分析点在差应力约束上有优劣性.本文采用Rv、Tv、λ等三个客观评价参数来挑选分析点,在Rv≤9,|Tv|≥17.5,λ<1的条件下挑选出24个分析点,得到Landers地震背景应力场差应力的最佳约束结果是-12.2±2.6 MPa.通过对评价参数的不同取值来检验约束结果的稳定性,以及通过数据模拟的综合分析来检验约束结果的可靠性,发现该最佳约束结果是稳定和可靠的.

不确定数据分类的模糊随机森林算法

实际应用中不确定数据的分类问题越来越受到人们的重视,不确定数据不但属性值是不确定的,类标签也可能不确定。提出的不确定离散化算法,使模糊决策树能够处理区间数据,统一了属性值不确定与类标签不确定的差异。由此提出的由模糊决策树构造模糊随机森林的模糊分类算法,既继承了模糊决策树对不确定数据分类的灵活性,又继承了随机森林的集成性、鲁棒性和随机性的优点。实验结果表明,对于不确定性数据分类问题,该算法性能优于现有的一些算法。

面向不确定数据的序数回归算法

现有的序数回归方法能够利用先验的有序信息获得比一般多分类方法更加优越的性能,但忽略了仪器不精密和环境扰动等因素产生的复杂不确定性数据。针对序数回归中数据存在的不确定信息问题,基于最大间隔原理,构建面向不确定数据的支持向量序数回归模型。实验结果表明,模型可以减少不确定数据对决策边界的影响,增强学习模型的鲁棒性。

多副本分布式事务处理关键技术及典型数据库系统综述

数据复制是分布式数据库提高可用性的重要手段,通过在不同区域放置数据库的部分副本,还可以提高本地读写操作的响应速度,增加副本数量也会提升读负载的线性扩展能力.考虑到这些优良特性,近年来国内外都出现了众多多副本分布式数据库系统,包括Google Spanner、CockroachDB、TiDB、OceanBase等一系列主流的工业界系统,也出现了包括Calvin、Aria、Berkeley Anna等一系列优秀的学术界系统.然而,多副本数据库带来诸多收益的同时,也带来了一致性维护、跨节点事务、事务隔离等一系列挑战.总结分析现有的复制架构、一致性维护策略、跨节点事务并发控制等技术,对比几个代表性多副本数据库系统之间在分布式事务处理方面上的差异与共同点,并在阿里云环境下搭建跨区域的分布式集群环境,对几个代表性系统的分布式事务处理能力进行了实验测试分析.

不确定性数据管理技术研究综述

随着数据采集和处理技术的进步,人们对数据的不确定性的认识也逐步深入.在诸如经济、军事、物流、金融、电信等领域的具体应用中,数据的不确定性普遍存在.不确定性数据的表现形式多种多样,它们可以以关系型数据、半结构化数据、流数据或移动对象数据等形式出现.目前,根据应用特点与数据形式差异,研究者已经提出了多种针对不确定数据的数据模型.这些不确定性数据模型的核心思想都源自于可能世界模型.可能世界模型从一个或多个不确定的数据源演化出诸多确定的数据库实例,称为可能世界实例,而且所有实例的概率之和等于1.尽管可以首先分别为各个实例计算查询结果,然后合并中间结果以生成最终查询结果,但由于可能世界实例的数量远大于不确定性数据库的规模,这种方法并不可行.因此,必须运用排序、剪枝等启发式技术设计新型算法,以提高效率.文中介绍了不确定性数据管理技术的概念、特点与挑战,综述了数据模型、数据预处理与集成、存储与索引、查询处理等方面的工作.

不确定数据查询处理

数据的不确定性在现实世界中的经济、军事、物流、金融、电信等领域普遍存在.不确定数据广泛应用于环境维护、市场分析、基于位置的服务LBS以及数量经济研究等应用.由于这些应用的重要性以及收集和累积的不确定数据数量的快速增长,查询这些数据已经成为一个重要的任务,并日益受到广大数据库研究者的关注.本文介绍了不确定数据查询的基本原理,并对不确定数据的近邻查询、逆向近邻查询、排序查询、Top-k查询以及连接查询进行了详细的讨论.同时对这些技术的优缺点进行了分析、对比.最后给出了未来的研究方向.

不确定数据频繁项集挖掘方法综述

近几年来,不确定数据广泛出现在传感器网络、Web应用等领域中。不确定数据挖掘已经成为了新的研究热点,主要包括聚类、分类、频繁项集挖掘、孤立点检测等方面,其中频繁项集挖掘是重点研究的问题之一。综述了传统的频繁项集挖掘的两类基本算法,分析了在此基础上提出的适用于不确定数据以及不确定数据流的频繁项集挖掘的方法,并探讨了今后可能的研究方向。

基于不确定数据的频繁项查询算法

频繁项的查询是一项非常重要的技术,但在新兴的不确定数据领域却是一项新的研究课题.基于不确定数据,提出了一种新的频繁项定义,并提出了两条过滤规则,可以有效地减少检测数据的数量.最后提出高效的频繁项查询算法UFI,该算法通过找到概率求解中的递推规律,极大提高了单点检测效率.实验结果显示:提出的方法可以有效地减少候选集,降低搜索空间,改善在不确定数据上的查询性能.

不确定数据查询技术研究

当前不确定数据广泛存在于诸如传感器网络、RFID网络、基于位置服务以及移动对象管理等各种现实的不确定性应用中.不确定数据查询作为不确定数据管理的重要组成部分,在信息检索、数据挖掘、决策制定和环境监控等众多应用中发挥重要作用,目前已成为数据库和网络计算等领域的一个研究热点.从目前不确定数据查询研究的各种查询类型介绍和查询特点分析出发,主要综述了4种典型的不确定数据查询类型,即不确定Skyline查询、不确定Top-k查询、不确定最近邻(NN)查询以及不确定聚集查询;重点论述了各种不确定数据查询的定义,各类查询的特点,并分类介绍了当前各类不确定数据查询研究的现状和各种查询方法的优缺点;最后,基于当前不确定数据查询技术的最新研究动态指出了未来研究工作的趋势.

障碍空间中不确定数据聚类算法

近些年,由于数据采集的不精确和数据本身的不确定性,使不确定性在位置数据中普通存在。在障碍空间中,聚类不确定数据面临新的挑战。提出了障碍空间中聚类不确定数据的OBS-UK-means(obstacle uncertain K-means)算法,并提出了分别基于R树和Voronoi图的两种剪枝策略和最近距离区域的概念,大大减少了计算量。通过实验验证了OBS-UK-means算法的高效性和准确性,同时证明了剪枝策略在不损害聚类有效性的情况下,能够有效地提高聚类效率。

UIDK-means:多维不确定性测量数据聚类算法

在网络化测试测量信息体系的不确定性测量数据聚类方法研究中,普遍假定测量数据的概率密度函数或者概率分布函数等信息是已知的,这与实际应用系统中这些信息难以获取的情况是相悖的,鉴于此,利用区间数的方法,结合测量数据的统计值来合理地表示多维不确定性测试测量数据,并采用低计算复杂度的不确定性数据距离计算方法,提出一种基于区间数的多维不确定性数据聚类方法——UIDK-means。实验结果表明,该方法具有较高的聚类精度和较低的计算复杂度。

满足均匀分布的不确定数据关联规则挖掘算法

云计算为大数据提供了展示和共享的平台.为了防止隐私泄露,这些数据中往往包含人为添加的不确定因素,如何挖掘这些不确定数据是大数据共享亟待解决的问题.在用于共享的大数据中,不确定数据通过对精确数据的泛化处理来实现,具有均匀分布特性,这一特性不利于精确查询,但可为关联规则的挖掘提供便利条件.首先,依据泛化值之间可能的相交或包含关系,将泛化值进行分层聚类,为了保存与不确定数据集挖掘相关的重要信息,给出了构建不确定频繁模式树的算法,在此基础上,提出了频繁项集挖掘子算法(data mining algorithm for uncertain frequent item-sets,UFI-DM)和关联规则生成子算法(algorithm for generating association rules,GAR),分别用于挖掘频繁项集和生成关联规则,最后,通过理论分析和实验比对,论证了算法的可行性和有效性.

基于不确定数据的可能频繁闭序列模式挖掘

对于不确定数据的频繁序列模式挖掘,会导致可能频繁模式数量的指数级出现,其中有些无用的挖掘结果会引起频繁序列的冗余。针对上述不足,提出了可能频繁闭序列模式(p-FCSPs)的定义,以及一种基于不确定数据的可能频繁闭序列挖掘算法U-FCSM。此算法中,基于一种元组不确定数据模型计算序列的可能频繁性,应用BIDE算法的闭序列思想判断可能频繁序列是否是可能频繁闭序列模式;为了减少搜索空间与避免冗余的计算,应用了几个剪枝与边界技术。U-FCSM算法的有效性与效率通过大量的实验得以表明。

不确定性数据流上频繁项集挖掘的有效算法

在很多应用中,不确定性数据都是以流的形式产生,例如传感器网络数据,移动对象跟踪数据等等.已有的基于不确定性数据流的频繁项集挖掘算法往往具有数据流储存结构繁琐、维护困难以及算法的计算量大等缺点.针对这种情况,提出了一种有效的数据结构SRUF-tree用于储存不确定性数据事务流的项集,该结构由全局树SRtree、临时表Table和窗口队列Queue三部分组成,其中全局树压缩着最近窗口容纳的所有的项集,临时表存储着每批项集的信息.基于该结构设计了一种新的算法SRUF-mine,它挖掘流频繁项集时只需要深度遍历全局树,动态维护SRUF-tree结构只需要处理窗口队列中最旧一批项集的临时表.理论和实验结果表明,SRUF-mine算法是一种有效的挖掘不确定性数据流频繁项集的算法,时空效率和扩展性均优于UF-streaming算法.

不确定数据的决策树分类算法

经典决策树算法不能处理树构建和分类过程中的不确定数据。针对这一局限,将可用于不确定数据表达的证据理论与决策树分类算法相结合,把决策树分类技术扩展到含有不确定数据的环境中。为避免在决策树构建过程中出现组合爆炸问题,引入新的测量算子和聚集算子,提出了D-S证据理论决策树分类算法。实验结果表明,D-S证据理论决策树分类算法能有效地对不确定数据进行分类,有较好的分类准确度,并能有效避免组合爆炸。