基于并行脚本的大数据信息云化技术研究

用于大数据云化的应用将会是具有高速数据处理能力的、以数据为核心的应用。本文提出一种基于并行脚本的大数据信息云化技术,可用于未来各种通信介质下的大数据云化应用。本文基于对已有研究的评估,提出了采用并行方式处理脚本,并引入多个云来增强未来云化应用的潜在客户数据安全性。经过仿真验证表明,所提算法有效实现了基于多个云的并行脚本处理,可作为未来该领域技术应用参考。

并行脚本算法的设计与实现

大规模的IT网络要求运维脚本采用并行化技术。并行脚本的算法包括三个部分:远程连接、任务分配及文件共享算法。其中任务分配是实现脚本程序并行处理及协同工作的关键环节。通过三种分配算法的设计、实现及验证分析,根据运行效率及资源负载两方面的比较,选择了更加优化、稳定的算法,有效保证了脚本程序的性能及可靠性。基于此算法的脚本成功应用于数千网络设备的管理,显著提升了自动化运维的效率。