基于经验模态分解的企业等值连接共享数据加密方法

为降低网络带来的企业等值连接共享数据泄露风险,研究基于经验模态分解的企业等值连接共享数据加密方法。依据哈希算法完成企业多路数据等值连接共享;使用经验模态分解将共享数据分解成多个IMF分量;通过基于同态加密和密钥共享的企业等值连接共享数据加密方法,使用公钥对第二个至最后一个IMF分量进行同态加密;利用私钥将加密结果解密后与第一个IMF分量相加,实现企业等值连接共享数据加密。实验结果表明:等值连接响应时间均在15~25s内,发生恶意攻击时,窃取密钥和正确密钥间的相关系数始终低于0.003。

Spark上的等值连接优化

等值连接作为数据分析中最常用、代价最高的操作之一,在Spark上的实现和优化与传统并行数据库有很大的差别,传统并行数据仓库中基于数据预划分的连接算法在Spark上难以实现,而目前被广泛采用的Broadcast Join和Repartition Join性能较差,如何提高连接性能成为基于Spark的海量数据分析的关键.本研究将Simi-Join与Partition Join的优势相结合,并基于Spark上的特性提出了一种优化的等值连接算法.代价分析和实验表明本算法比现有基于Spark的数据分析系统中的连接算法性能提升1～2倍.

等值连接查询语义的理解与表达

针对关系数据库在数据关联语义表达上的不足,提出一种基于模式联系图的等值连接关联语义表达方法,以期实现等值连接查询语义的理解与表达.从关系模式的结构出发,对等值连接查询语义进行分解,分析信息关联特征对等值连接查询的决定作用,说明信息关联特征与等值连接数据关联的对应关系,给出基于遍历路径的关联语义分析方法及表达形式.研究表明,该方法能够对关系数据库等值连接的关联语义进行分析和表达.该工作对于数据库语义研究、数据查询检索、面向用户的查询检索等具有现实参考意义.

大数据连接算法分析

大数据主要有四个典型特征：海量、多样性、高速、易变。连接算法优化是大数据热点问题之一,2010年以来,数据库顶级会议ICDE,Sigmod和VLDB每年都有专门的文章研究基于Map Reduce的连接算法优化。依据连接条件主要可以分为等值连接法、数据倾斜时连接法和任意连接法,分析三种数据连接方法,介绍三种连接算法设计和优化方式,并针对基于Bloom Filter等值连接设计和优化做了和二阶段法和三阶段法的实验分析。两表等值连接,数据量较大时,采用基于Bloom Filter等值连接方式会在一定范围减少算法执行时间,提高数据连接效率。

面向多属性的不等值连接操作算法

为降低多属性不等值连接操作的计算代价,提出一种基于属性优选的不等值连接操作算法MIEJoin。按照连接属性对元组进行排序,计算各连接属性的候选集大小,在最小候选集中根据连接谓词进行筛选得到最终的结果集。在此基础上,为提升系统的缓存命中率,提出一种缓存敏感的多属性不等值连接算法CMIEJoin。基于MIEJoin算法建立元组的排列顺序数组,在内存中邻近存储连续访问的数据,以降低缓存的缺失次数并提升算法的运行效率。在TPC-H数据集上的实验结果表明,与BIEJoin算法和NLJoin算法相比,CMIEJoin算法具有较高的运行效率。

基于Spark的大数据统计中等值连接问题的优化

伴随着互联网应用技术的飞速发展,导致传统的数据处理技术已经无法满足对大数据高效处理的要求。因此对现有的大数据的统计分析便急需相应的大数据技术的支持。为了解决实际Spark应用中的Join操作低效的问题,首先,提出一种高效的基于BloomFilter过滤再分区算法,通过该算法率先过滤掉绝大部分不符合条件的无效连接,然后针对过滤数据产生的倾斜问题进行再分区操作,以便能充分发挥各个工作节点的计算资源,达到在最大程序上优化Join过程的目的。

一种基于虚拟处理区间划分的负载均衡等值连接算法

数据分析和处理是大数据处理中最重要的任务,而等值连接又是数据分析中最常用、代价最高的操作之一。在实际的等值连接操作中,存在一个重要的问题就是数据倾斜:分配到每个任务的数据量不均衡,造成部分任务的完成时间更长,致使连接性能受到严重影响。为解决这个问题,提出一种负载均衡的等值连接算法(VPRP),通过采样估计数据集在连接属性上的数据分布情况,并采用虚拟分区和交叉映射的方法,在倾斜严重的数据周围划分出更多的区间,以增加数据分配的均衡性,同时消减连接噪声对整体性能的消极影响,最后实验验证该算法的有效性。

一种基于负载代价的MapReduce等值连接优化算法

MapReduce并行计算模型在大规模分布式数据处理中应用广泛,但该模型不能很好地支持连接操作,特别是面对倾斜数据时,原有的分区算法容易造成处理节点间的负载不均衡。针对这一问题,提出一种基于key代价的负载均衡等值连接算法,对Map端中间结果进行采样,根据采样结果计算每一key值的负载代价,并在此基础上,设计一种动态划分函数,对不同的key值按照负载代价均匀划分到各个计算节点,实现了负载均衡。实验结果表明,在同构集群下,提出的算法在负载均衡方面具有较好的效果.