基于虚拟网关的交通基础设施监测点位数据接入方法

针对交通基础设施点位监测数据来源多样、结构各异、协议不一的特点,分析具体接入需求,提出一种基于Netty架构的交通基础设施监测点位数据接入虚拟网关。阐述网关接入监测点位的配置方法及集群分配策略,定义超文本传输协议(HTTP)、传输控制协议(TCP)、用户数据报协议(UDP)下的数据传输格式,设计一种数据传输消息的编码和校验机制。在真实监测数据样本增强的基础上,利用分布式消息模拟工具对虚拟网关性能进行测试,结果表明,该虚拟网关实现了多点位多协议的交通基础设施监测数据统一接入,每亿条数据接入时间、存储时间分别达到8.14 s和9.75 s,平均数据溯源时间为2.96 s,具有亿级规模点位监测数据的接入能力,可为交通基础设施数字化监测的研究和应用提供理论支撑。

基于语义嵌入模型的Kafka平台发布订阅信息分类方法

传统方法在分类的过程中存在分拣错误和速度慢等问题,因此提出了基于语义嵌入模型的Kafka平台发布订阅信息分类方法,使用语义嵌入模型更好地对Kafka平台发布的订阅信息进行分类和搜索。

基于改进模糊C均值算法的网络入侵检测研究

近年来,随着大数据技术的快速发展,大数据处理平台迅速兴起。大数据处理平台具有高吞吐量、网络协议多、端口多、数据量大、高并发等特征,借助传统入侵检测技术很难实时监控网络危险。为提高网络入侵检测的准确率和实时性,笔者提出一种改进模糊C均值算法,对分类后的数据集进行训练,使用Kafka技术处理采集的数据,通过Spark Streaming读取网络实时传输的数据流,并对检测到的入侵数据进行实时检测。

基于Flink的工业大数据平台研究与应用

随着工业4.0的到来,互联网与工业结合愈发紧密,但工业大数据规模大、类型杂、质量低的特点导致大量设备数据无效且企业人员无法正确监测到设备信息。针对这一问题,提出一种基于Flink的工业大数据平台。以企业传感器数据为基础,用Flink将不同类型的数据发送至消息管道Kafka中暂存数据,用Flink对Kafka中的数据进行处理,实现工业大数据的查询与预警,与当前典型的两个大数据平台进行比较。实验结果表明,由Flink和Kafka集成的工业大数据平台,能更清晰高效地查询到设备数据且能够更快速地实现对企业设备的预警。

面向实时智能控制的数据采集平台及其应用研究

生产设备的实时智能控制系统可以有效提高生产效率及生产质量,但目前关于智能制造的研究主要针对车间管理和生产调度方面,应用场景多是实时性不高的场合。针对这个问题,基于开放式数控系统研究了数据采集模块的集成方法,建立了基于Kafka消息队列和MongoDB数据库的实时数据采集平台,实现了加工数据实时接收以及数据的本地保存。同时,提出了一种基于非线性能量算子的颤振在线监测方法,以模块化的方式部署在开放式数控系统中,通过铣削薄壁件试验验证了数据实时采集平台及在线颤振监测模块的实时性和有效性。

电信运营商大数据生产平台设计思路探讨

电信运营商为盘活数据资产,创新数据经营,营造大数据生态圈,需要建设稳健可靠的大数据管理平台作为依托。文章将探讨电信运营商大数据管理平台的核心部分,大数据生产平台的功能架构、数据生产流程、数据采集、数据预处理、数据总线等内容。

基于调控云的电网调控数据信息共享的研究

设计了基于调控云的电网调控数据纵向互联信息共享的系统。介绍调控云的建设情况,数据云平台的模型数据中心的建设情况,模型数据中心实现调控数据的结构化、规范化和标准化;采用Kafka消息中心实现调控数据信息的纵向互联和信息共享,最后对各级调控机构按订阅推送,保障了纵向和横向部门间的业务协同。目前该系统已应用于华中电网,推进了业务流程的交互,减轻了用户的工作量,提升了工作效率。