分布式数据库聚合计算性能优化

针对分布式数据库在分析应用方面的聚合计算性能较低的问题,以MongoDB数据库为研究实例,提出了一种基于片键和索引的数据库性能提升方法。首先,通过分析业务特征指导选择的片键字段,该字段需要保证数据在分片节点上的均匀布局;其次,通过研究分布式数据库的索引效率,利用删除查询字段索引的方法进一步提升计算性能,该方法能充分利用硬件资源提高聚合计算的性能。实验结果表明,采用高基数粒度的分片片键能够让数据在集群上均匀地分布在各个数据节点上,而舍弃索引使用全表查询能够有效提高聚合计算的速度,聚合计算优化方法能够有效提高聚合计算的性能。

一种MongoDB集群数据布局优化方法研究

传统关系型数据库在处理大规模数据应用时暴露出许多难以克服的问题,No SQL以独有的特点在大数据背景下得到广泛应用。选择快递业寄递大数据应用为背景,研究Mongo DB分片集群的数据布局优化方法。介绍基于Mongo DB分片集群的快递寄递数据离线分析系统。根据快递运单字段特点研究Mongo DB片键策略,提出基于分片标签的连续均匀数据条带化数据布局方法。对提出的数据布局方法进行测试,结果表明采用该方法的Mongo DB集群数据均匀分布和统计分析性能均达到较高水平,并且通过扩展集群分片数目可以进一步提升系统性能。

交互点值图上的可视化抽象和探索

多类离散数据在地理空间的分布,是地理相关可视化领域研究的热点。作为此类数据基本可视化呈现方式,点值图具有直观、细节丰富的优点,但是亦存在点重叠导致的可读性差的问题。本文提出了一种按分辨率进行密度估计方法对点值图进行优化,灵活地调节当前分辨率下取样参数,以期尽最大可能显示细节,同时保持各类属性的相对密度特征;为了弥补取样导致的离散特征的丢失,我们使用了一系列交互手段,能有效地提高可视分析的准确性并辅助整体的可视表达。本文最后通过实例分析和用户研究证明了本方法的有效性。