摘要
本文基于Hadoop平台设计了一个实时数据处理系统,通过对主流实时计算框架的研究,解决了Spark,puma没能解决的数据源主动接入问题.本系统设计主要包括核心计算模块设计、数据接入模块设计和存储模块设计.主要用到的算法包括可靠性机制算法、信号量机制算法、事务性机制算法等.实践结果表明,系统处理效率高且运行稳定.
出处
《赤峰学院学报（自然科学版）》
2019年第4期47-49,共3页
Journal of Chifeng University(Natural Science Edition)
基金
2018年安徽省自然科学研究重点项目"多维社交网络结构影响下的信息传播研究"(KJ2018A0448)
安徽省高校优秀中青年骨干人才国内外访学研修重点项目(GXFXZD2016263)
新一代信息技术产业人才的创新创业能力培养研究(编号:2017xgkxm48)
省级智慧课堂试点项目:软件工程智慧课堂试点(2017zhkt477)
