基于Kalman算法的大数据存储架构可扩展性优化算法

为了优化大数据存储架构可扩展性能,提高大数据架构资源利用率,通过引入Kalman算法设计了一种大数据存储架构可扩展性优化算法。首先,综合考虑大数据存储架构与多核环境内存布局之间的兼容性,设计架构内存布局。其次,设计分布式共享内存协议,确保各个进程在访问共享内存时能够正确地协同工作,提高存储架构的容错性。在此基础上,利用Kalman算法,动态调整存储节点的负载,进而优化大数据存储架构,以提高其可扩展性。实验结果表明,应用该算法后,大数据存储架构的资源利用率始终高于对照组,均达到了96%以上,最高达到了98%,架构可扩展性优化效果显著,服务器资源利用更充分,大规模数据处理更高效。

一种面向配电网调度业务管控的混合型大数据平台研究

为了满足国家电网有限公司内省公司配电网调度业务管控的需求,提出了一种由实时数据组件和常规大数据组件构成的混合型大数据平台架构,弥补了常规大数据平台对于电网实时分析类应用支撑的不足。针对配用电大数据的时空多维特征,设计了配用电模型、实时数据、历史运行和业务数据的存储方案,探讨了综合应用分布式实时库、关系型数据库、分布式数据库和分布式文件的大数据融合、存储和处理技术。最后,通过实际案例验证了混合型大数据平台架构的合理性和大数据集成技术的有效性。