基于MPP和Hadoop的低价值密度结构数据联合处理方法的设计与实现

针对当前RDBMS、MPP等关系型数据管理系统在处理低价值密度数据过程中的诸多不足,提出了一种基于MPP和Hadoop的海量低价值密度的机构化数据处理方案。该方案通过结合MPP和Hadoop技术解决了目前处理手段I/O性差的问题,并在很大程度上提高了系统的可扩展性;同时,该方案明显降低了低价值密度数据的分析成本,具有明显的经济意义。实验结果表明:该方案能够用于处理海量低价值密度数据,解决目前低价值密度数据操作方案I/O性能低、读写响应慢、价格高昂等缺点,达到设计要求。