Spark Streaming写入HBase的实现和优化

海量数据的实时处理不仅要求计算框架快速高效,同时要求流处理过程中产生的中间数据的存储过程同样高效,因此,可通过提高Spark Streaming对中间结果数据的处理速度来提升流处理效率。为提高Spark Streaming处理中间结果的效率,文中选择HBase作为中间数据存储系统,并通过分析Spark Streaming的架构及HBase的存储原理,给出了Spark Streaming向HBase写入数据的方法并进行优化。通过对Spark Streaming存储过程的优化,可以一定程度上提高实时数据的流处理效率。