基于Kafka和Storm的车辆套牌实时分析存储系统

城市机动车数量、出行量的增加,使得车辆套牌现象屡禁不止.交管部门为了解决套牌监测的难题,采用传统的识别方式(如基于人工识别、基于牌照识别、基于射频识别等).然而面对海量的日志记录,这些方式普遍存在效率低、实时性差的问题.为此引入大数据技术,提出一个基于Kafka和Storm的车辆套牌实时分析存储系统.Kafka可以作为中间件进行缓存,提高数据采集和数据分析的同步性,还能避免数据丢失;Storm框架可以实现日志信息的实时计算,然后将套牌车辆信息存入指定文档中.整个系统具有实时、分布式存储、稳定、可扩展等特性.

基于Storm的实时用户日志管理系统

研究并开发了具有实时响应的大数据用户日志管理分析平台。采用Storm流式计算框架,完成用户日志分析的实时处理平台架构;采用Elastic Search作为实时搜索引擎,完成实时响应处理;使用Flume、Kafka技术完成海量日志采集、聚合和传输等功能。以某城市监狱管理系统的用户日志信息为实验数据,系统取得了良好的实验效果。为同时处理海量数据和实时响应用户请求的系统提供了可行性解决方案。

基于Storm的工业流水线实时分析系统设计与实现

随着全球云计算、大数据、物联网和人工智能等技术在工业领域的兴起,数据成为了工业4.0时代的核心驱动力。为了弥补Hadoop分布式系统在实时工业数据处理中显现的不足,提出基于Storm的工业流水线实时分析系统。该系统通过嵌入SDK实时采集终端数据,利用Nginx服务器将数据转换成日志文件,并采用分布式消息系统Kafka缓存,消息流入Storm进行分析处理后,将结果存入HBase中。最后从系统的保障性,并行性和实时性等方面进行分析,表明该系统非常可靠地将各个终端收集到的工业数据实时转换成有价值的信息输出,方便数据资源的汇总与优化。

基于大数据平台Storm的实时报警系统设计

针对系统日志的处理,在传统的大数据框架Hadoop的基础之上,对使用大数据框架Storm进行日志的实时处理进行了研究,设计并实现了一个基于大数据平台Storm的实时日志报警系统。对于符合触发规则的日志,及时地通知管理人员去处理问题。使用3台小型的服务器对该系统进行了仿真,实验表明,系统可以实时地处理系统产生的日志,对于异常的日志可以通过邮件及时地通知负责人。

基于Storm框架下的火电厂SIS研究与设计

简单介绍了某电厂SIS系统的各功能部分和Storm流式计算技术框架,在阐述电厂数据范畴和意义的基础上,针对SIS系统的现状,提出了一种基于Storm架构的新的SIS系统框架并以小指标考核为例进行了具体实现,为未来SIS系统建设实现提供了新的技术参考。

基于STORM分布式计算的海量数据统计系统设计方法研究

笔者运用STORM分布式系统的强大计算能力以及高性能的KAFKA分布式消息系统来实现海量数据实时统计系统。该系统通过KAFKA发送、存储、接收接口将计算的原始数据实时传递给STORM。STORM通过Spout作为KAFKA的Consumer接收数据,将数据转发给内部组件Bolt,通过Bolt分布在多台机器进行数据计算,最后又将计算后的数据返回给KAFKA供第三方应用。STORM支持数据重发,通过ACK机制保证数据计算的可靠性。最后通过电商订单统计系统实例,给出海量数据实时统计系统详细的设计方法。

分布式计算在券商营销推广活动中的应用

为了应对券商行业线上营销推广活动大量用户参与带来的系统压力,满足线上营销推广活动灵活配置事件处理规则和动态修改事件处理规则的需要,提出了基于Kafka分布式消息队列、MongoDB分片副本集、Storm流式分布式计算框架、Zookeeper分布式节点配置同步服务的分布式营销活动事件处理规则定义及事件处理框架,对该框架的高可用、易扩展等特性进行阐述并进行性能对比、验证。

基于自学习向量空间模型文本分类算法的研究与应用

随着网络信息的迅猛发展,信息处理已经成为人们获取有用信息不可缺少的工具。文本自动分类是信息处理的重要研究方向。它是指在给定的分类体系下,根据文本的内容自动判别文本类别的过程。本文对文本分类中所涉及的关键技术,包括向量空间模型,特征提取,机器学习方法等进行了研究和探讨。最后,本文实现了一套基于自学习向量空间模型的文本分类系统,并基于kafka消息队列和storm流计算框架,实时地为文本进行分类。

基于大数据的实时人流量统计与预警系统的设计与实现

目前,对于城市区域人流量统计预警的实现方法主要是视频监控与分析,但是视频监控设备覆盖范围的局限性大,无法保证人流数量统计的准确性。随着移动终端逐渐普及,利用移动终端的实时分布统计区域人流量并进行预警成为研究热点。笔者利用Kafka+Storm构建实时数据流处理系统,掌握移动终端的实时分布情况,完成了人流量统计和预警系统的架构设计、数据流设计以及关键算法的实现,最终通过浏览器对统计和预警结果进行展示。