一致性哈希算法在数据库集群上的拓展应用

在数据库集群的研究中,可扩展性是一个重要的性能指标。为实现在数据高速增长或部分集群服务器故障情况下,数据依然能够快速、可靠、安全的分布到新的集群服务器节点上的目的,就必须合理设置数据划分的策略。将Key-Value存储技术中使用的一致性哈希算法思想借鉴运用到并行分析型数据库集群中,提出针对大规模结构化类特殊数据的一致性哈希划分方法,并在MapReduce框架下设计具体的数据划分方案。最后,以TPC-DS作为测试基准,与同类系统进行性能对比测试,实验结果表明方案不仅有良好的划分性能,且扩展性也较好。

中国机车远程监测与诊断系统(CMD系统)后台数据处理技术

中国机车远程监测与诊断系统(CMD系统)后台处理系统接收机车数据,通过转储与解析程序将处理后的数据存储至数据库服务器,并对数据和故障进行分析,是CMD系统不可或缺的部分,为整个系统提供强有力的数据支撑。结合CMD系统,从实践使用角度出发,对其后台数据处理技术的应用进行探讨。