MongoDB与Hadoop MapReduce的海量非结构化数据处理方案

本文通过项目研究的实践经验,以分片与整合方式为研究视角,探索基于Mongo DB与Hadoop MapReduce的海量非结构化数据处理方案,以设置合适的分片方式以及chunk size、合理部署Mongo DB分片集群Sharded Cluster、平衡CAP、构建内存数据库(Memory DB)与磁盘数据库(Disk DB)的混合分区、构建有向无环图以降低系统开销、计算本地化等方面进行论述,并对这些改进措施在实践中的应用情况进行详细分析。