基于MPI的并行大数据集生成器

大数据处理分析算法在优化研究过程中,速度常常受限于数据集的规模。在数据集体量不足时,算法的通信时间往往要高于真正的计算时间,无法验证真实的效果。故设计实现了一个大数据集生成器,为运行在超级计算机上的并行大数据处理分析算法提供基准测试数据集。首先,使用MPI并行编程技术构造了一个并行随机数生成器,在此基础上设计实现了可控制规模及复杂性的人工数据集,主要包括:分类和聚类数据集、回归数据集、流形学习数据集和因子分解数据集等。其次,设计了大数据集生成器的I/O系统,提供MPI-I/O并行读、写数据集的接口,并设置了数据集在不同进程间的分发、映射规则,通过点对点通信实现不同节点之间的数据交互。实验结果表明,并行大数据集生成器有效提高了数据生成效率和生成规模,为并行大数据处理分析算法提供了高质量、大体量的测试数据集。

基于蜕变关系的贝叶斯分类器测试数据集生成器的设计与实现

蜕变测试方法是一种科学有效的软件测试方法,数据集的生成是人们一直以来的研究重点,本文提出了一种基于蜕变关系的贝叶斯分类器测试数据集生成器。该工具首先将数据集作为输入;其次,依次按照不同的蜕变关系对数据集进行蜕变;最后,输出各个衍生的数据集。该工具实现了针对贝叶斯分类器的测试数据集生成器,提高了贝叶斯分类器测试数据的生成效率,并解决了数据集数量少且质量不高问题。