PBS:一种面向集群环境的ETL调度算法

论文设计并实现了一个集群式ETL(Extract-Transform-Load)任务处理平台,该平台支持异构数据源的多源数据集,提出了基于预测时间调度算法。该算法对任务进行调度优化,以提高数据抽取、转换和加载等任务的执行效率。基于实际应用的实验结果证明,集群式ETL任务调度技术对于减少多个ETL任务并行执行的总时间,提升ETL任务的执行效率具有良好的效果。

CSSAQP:一种基于聚类的分层抽样近似查询处理算法

近似查询处理技术常被应用于海量数据的多维分析,以缩短查询执行的时间,同时返回尽可能准确的结果。由于海量数据中常存在许多极端值,会严重影响近似查询处理的结果。因此针对海量数据的聚集操作,论文提出CSSAQP算法,先将原始数据集按某一数值列直观的聚为三类,分别代表大值簇、小值簇和常值簇,再对各簇按分组属性分别进行分层抽样,构建总体样本集,最后通过查询重写在总体样本集上执行查询,以缩短海量数据聚集操作的查询时间,同时提高查询任务的准确性。通过实验验证,证明了该算法不仅可以缩短聚集查询的时间,同时还能有效提高查询结果的精度。