基于RS_Hash频繁项集的卫星载荷关联规则算法

遥测数据是反映卫星健康状态的重要依据,对遥测载荷数据进行关联性分析,在一定程度上能反映出卫星的整体运行情况的好坏。针对传统关联规则算法存在效率低下、占用内存过多的问题,提出一种基于RS_Hash频繁项集的卫星载荷关联规则算法。首先对事务数据库使用动态随机抽样的方法获取样本数据,设计抽样误差和抽样停止规则来确定最优的样本容量;其次将抽取出的样本使用哈希桶来存储频繁项集,进而减少占用的内存,提高算法的运行效率;最后使用3个与载荷数据相似的公开数据集和卫星载荷数据集进行实验,结果表明,在公共数据集上取得了良好的效果,尤其是在具有大数据量级的卫星载荷数据集上效果明显,在不同事务长度和支持度的情况下,相较于Apriori、PCY、SON、FP-Growth、RCM_Apriori和Hash_Cumulate算法,RS_Hash算法在平均时间效率上分别提高了75.81%、49.10%、59.38%、50.22%、40.16%和39.22%。

并行数据库中JOIN运算的并行算法

JOIN运算的并行算法一直是并行数据库领域中研究的热点问题,先后出现了一系列并行JOIN算法或改进算法,但它们都存在着通信效率较低、负载调度频繁等问题。本文针对这些问题,在分析比较前人工作的基础上对SABJ+算法与ABJ+算法加以改进,得到了效率更高的并行JOIN算法ABJ++。

线对象邻接关系快速重构算法

给定向量化坐标，计算n个线对象两两邻接关系，普通算法时间复杂度为O（n＊n）；理论最好时间复杂度为O（C），其中C是邻接关系的基数。基于散列桶，给出了建立线对象邻接关系的快速算法，其平均时间复杂度为O（n（1＋1／r）），r为算法分配的桶数量与n的比，空间复杂度为O（n）。证明了若不允许使用额外空间，则不可能使用排序算法解决该问题；给出了允许使用额外空间条件下的两遍排序算法，时间复杂度为O（n（1bn＋1＋2／r））。应用表明快速算法比普通算法速度提高1—3个数量级。

基于Hadoop的风力发电监测大数据存储优化及并行查询方法

随着风力发电的广泛发展以及智能化监测技术的推广应用,风力发电监测数据呈现出体量大、类型多、增长快的大数据特征。针对风力发电监测大数据高效存储和快速查询两方面核心问题,基于Hadoop平台进行大数据存储优化方法研究,提出考虑风力发电监测数据关联性的哈希分桶存储算法,实现了相关联数据的集中存储,从而提升后期数据查询及处理的效率。在数据存储优化的基础上,实现基于MapReduce的多源风力发电监测大数据并行关联查询。通过在Hadoop平台上进行测试表明,经过哈希分桶存储优化后的多源数据并行关联查询相比传统Hadoop方法查询时间显著缩短。

电网行业元数据集成数据存储策略研究

针对当前电网行业产生的海量数据,提出采用规范化元数据管理等方式来实现对电力行业数据的统一存储与管理方案。首先通过数据预处理,将不同格式的电力数据统一转换为XML格式数据,然后采用中间件技术实现对XML数据抽取与访问;其次,针对大规模数据存储问题,提出基于哈希分桶算法对数据进行存储,以提高数据存储的效率;再次采用MapReduce框架对数据进行查询;通过对电力行业的部分数据进行查询试验,结果表明在查询时间方面,具有优势。

改进的key/value数据存储设计方案

针对现有key/value缓存系统海量数据的访问速度慢,满足不了应用的需求,提出一种改进的key/value数据存储方案并将其应用于缓存系统中。通过小数据量存储方案的提出,及对rehash算法、rehash权重因子w的改进,十分有效地解决了hash冲突、rehash迁移数据导致的系统变慢问题,加快了缓存系统的速度,提高了缓存系统的命中率。