Spark Streaming中参数与资源协同调整策略

Spark Streaming是一种典型的批量流式计算平台,可用于处理持续到达的数据流。流式数据最重要的两个特征是波动性和时效性。利用动态调整系统参数和动态调整资源满足不同数据到达速率的响应延迟,但调整参数的方式具有局限性,其用户成本较大。因此提出一种参数和资源协同调整策略,采用动态邻域粒子群算法找到一种满足SLO目标且使用资源最少的系统方案。实验表明,AdaStreaming与DyBBS相比,延迟性降低了70.1%,在资源使用量上比DRA降低了42.1%。

基于改进粒子群算法的PID参数优化

以数控机床进给轴为研究对象,使用MATLAB建立PID控制仿真模型,将标准的粒子群算法与小生境思想结合,同时将分布式计算机集群的思想应用到伺服系统的PID控制器仿真模型当中,改善了常规的PID控制参数自整定不佳,有效减少了系统的响应时间。与标准的POS进行对比,具有更快的收敛性,可以有效避免陷入局部最优,得到更高精度的解,在工程领域DNPSO具有很大的应用价值。