一种通用混合计算中间件的设计与实现

随着接入设备的激增,网络应用及协议的不断涌现和互联网流量的爆发式增长,给数据分析与处理带来了极大的挑战。大数据环境中数据处理应用所呈现出的趋势是实时在线计算、离线批式计算以及动态响应式计算相互结合、相互影响,这就要求底层计算资源具备同时提供实时计算、批式计算及响应式计算的能力,然而传统的系统架构和编程模型已经无法满足这种混合计算需求。文中设计并实现一种构建在流式数据处理过程IStream之上的混合计算中间件(Generalpurpose Hybrid Computing Middleware,GHCM),它以统一、灵活的高层抽象将相互依赖的高并发实时处理业务逻辑、批处理业务逻辑和跨层次动态调用无缝融合起来。实验数据表明,GHCM在解决混合计算问题上具有良好的性能,在大幅缩短开发时间的同时为用户提供了可重用和易扩展等支持。