期刊文献+
共找到11篇文章
< 1 >
每页显示 20 50 100
基于Kafka消息队列的电网设备准实时数据接入方法研究 被引量:14
1
作者 王震 陈亮 《山东电力技术》 2015年第6期41-43,共3页
为有效利用实时获取的电网设备状态信息,从数据的时空角度入手,提出一种针对基于Kafka消息队列的电网设备准实时数据接入方法。该方法在实时数据库与历史数据库之间引入消息队列缓存数据,解决两者数据传输速率不匹配问题;为电网设备测... 为有效利用实时获取的电网设备状态信息,从数据的时空角度入手,提出一种针对基于Kafka消息队列的电网设备准实时数据接入方法。该方法在实时数据库与历史数据库之间引入消息队列缓存数据,解决两者数据传输速率不匹配问题;为电网设备测点与消息队列建立一一映射关系,减少元数据存储冗余;设计数据接入格式,可按需封装传输数据。为电力准实时数据接入提供了一种新的思路。 展开更多
关键词 电力准实时数据 kafka消息队列 数据接入方法
下载PDF
基于Kafka消息的云化计费系统研究与实现 被引量:3
2
作者 崔益彪 朱熊明 +1 位作者 沈建国 郑健 《江苏通信》 2019年第1期58-62,共5页
本文在分析传统计费架构面临的各种瓶颈的基础上,提出了基于Kafka消息的云化计费系统实现方案。该方案在应用平台x86化的基础上引入成熟的云计算技术,将传统架构升级为基于Kafka消息传输的云化架构,采用分布式Redis(Remote Dictionary S... 本文在分析传统计费架构面临的各种瓶颈的基础上,提出了基于Kafka消息的云化计费系统实现方案。该方案在应用平台x86化的基础上引入成熟的云计算技术,将传统架构升级为基于Kafka消息传输的云化架构,采用分布式Redis(Remote Dictionary Server,远程数据服务)内存数据库集群为整个计费应用提供资料数据服务,采用分布式应用部署,使得计费系统可动态扩展,显著提升系统处理能力,满足业务发展和转型的需求。 展开更多
关键词 计费系统 云计算 kafka消息 分布式应用 远程数据服务
下载PDF
基于虚拟网关的交通基础设施监测点位数据接入方法
3
作者 黄亮 邹鹏 +3 位作者 曹菁菁 胡健 颜泽锌 黄小蝶 《计算机工程》 CAS CSCD 北大核心 2024年第4期50-59,共10页
针对交通基础设施点位监测数据来源多样、结构各异、协议不一的特点,分析具体接入需求,提出一种基于Netty架构的交通基础设施监测点位数据接入虚拟网关。阐述网关接入监测点位的配置方法及集群分配策略,定义超文本传输协议(HTTP)、传输... 针对交通基础设施点位监测数据来源多样、结构各异、协议不一的特点,分析具体接入需求,提出一种基于Netty架构的交通基础设施监测点位数据接入虚拟网关。阐述网关接入监测点位的配置方法及集群分配策略,定义超文本传输协议(HTTP)、传输控制协议(TCP)、用户数据报协议(UDP)下的数据传输格式,设计一种数据传输消息的编码和校验机制。在真实监测数据样本增强的基础上,利用分布式消息模拟工具对虚拟网关性能进行测试,结果表明,该虚拟网关实现了多点位多协议的交通基础设施监测数据统一接入,每亿条数据接入时间、存储时间分别达到8.14 s和9.75 s,平均数据溯源时间为2.96 s,具有亿级规模点位监测数据的接入能力,可为交通基础设施数字化监测的研究和应用提供理论支撑。 展开更多
关键词 Netty框架 kafka消息队列 数据接入 平台化 物联网数据
下载PDF
应用于企业的高效跨系统数据汇聚方案
4
作者 黄浩韦华 《福建电脑》 2024年第10期45-49,共5页
为了提升大型多层级集团企业在信息化管理中的数据传输效率,建设一个高质量的数据传输系统至关重要。本文提出了一种基于ORM监听器和Kafka的跨系统高效传输方案。通过对象关系映射框架监听器无感地采集业务数据日志,使用Kafka消息队列... 为了提升大型多层级集团企业在信息化管理中的数据传输效率,建设一个高质量的数据传输系统至关重要。本文提出了一种基于ORM监听器和Kafka的跨系统高效传输方案。通过对象关系映射框架监听器无感地采集业务数据日志,使用Kafka消息队列系统作为消息中间件,为数据高效传输提供保障。实践结果表明,采用该方案构建的系统能够有效满足企业对数据汇聚的需求,同时具备高效、准确、易扩展的特点。 展开更多
关键词 数据汇聚 日志采集 ORM持久化框架 kafka消息队列系统
下载PDF
面向实时智能控制的数据采集平台及其应用研究 被引量:7
5
作者 孙海勇 金鸿宇 +2 位作者 富宏亚 韩振宇 张立伟 《航空制造技术》 CSCD 北大核心 2022年第22期87-93,共7页
生产设备的实时智能控制系统可以有效提高生产效率及生产质量,但目前关于智能制造的研究主要针对车间管理和生产调度方面,应用场景多是实时性不高的场合。针对这个问题,基于开放式数控系统研究了数据采集模块的集成方法,建立了基于Kafk... 生产设备的实时智能控制系统可以有效提高生产效率及生产质量,但目前关于智能制造的研究主要针对车间管理和生产调度方面,应用场景多是实时性不高的场合。针对这个问题,基于开放式数控系统研究了数据采集模块的集成方法,建立了基于Kafka消息队列和MongoDB数据库的实时数据采集平台,实现了加工数据实时接收以及数据的本地保存。同时,提出了一种基于非线性能量算子的颤振在线监测方法,以模块化的方式部署在开放式数控系统中,通过铣削薄壁件试验验证了数据实时采集平台及在线颤振监测模块的实时性和有效性。 展开更多
关键词 开放式数控系统 kafka消息队列 MongoDB数据库 数据采集平台 颤振在线监测
下载PDF
基于自学习向量空间模型文本分类算法的研究与应用 被引量:3
6
作者 张志强 《软件》 2016年第9期118-121,共4页
随着网络信息的迅猛发展,信息处理已经成为人们获取有用信息不可缺少的工具。文本自动分类是信息处理的重要研究方向。它是指在给定的分类体系下,根据文本的内容自动判别文本类别的过程。本文对文本分类中所涉及的关键技术,包括向量空... 随着网络信息的迅猛发展,信息处理已经成为人们获取有用信息不可缺少的工具。文本自动分类是信息处理的重要研究方向。它是指在给定的分类体系下,根据文本的内容自动判别文本类别的过程。本文对文本分类中所涉及的关键技术,包括向量空间模型,特征提取,机器学习方法等进行了研究和探讨。最后,本文实现了一套基于自学习向量空间模型的文本分类系统,并基于kafka消息队列和storm流计算框架,实时地为文本进行分类。 展开更多
关键词 文本分类 向量空间模型 机器学习 kafka消息队列 storm流计算
下载PDF
基于分布式集群架构的遥感数据传输机制 被引量:7
7
作者 刘美佳 张箐 《计算机工程》 CAS CSCD 北大核心 2021年第10期180-185,共6页
对地观测遥感卫星数据传输系统采用Linux虚拟服务器集群架构传输遥感卫星数据,而该集群中承载传输任务的新旧服务器在实现断点续传的过程中由于控制信息不同步会造成数据片重复。设计一种基于分布式系统架构的遥感卫星数据处理机制DPM,... 对地观测遥感卫星数据传输系统采用Linux虚拟服务器集群架构传输遥感卫星数据,而该集群中承载传输任务的新旧服务器在实现断点续传的过程中由于控制信息不同步会造成数据片重复。设计一种基于分布式系统架构的遥感卫星数据处理机制DPM,采用Kafka消息队列快速存储数据包,利用代码模块使Spark Streaming精准提交消息偏移量,并通过数据传输速率与进度统计实时记录DPM运行状态信息。测试结果表明,DPM机制可精准记录与提交消息偏移量并实现数据续传功能,从而确保遥感卫星数据的准确稳定传输。 展开更多
关键词 数据传输系统 遥感卫星数据 分布式系统架构 数据处理机制 kafka消息队列
下载PDF
基于调控云的电网调控数据信息共享的研究 被引量:12
8
作者 徐浩 武毅 +2 位作者 董向明 林海峰 娄天月 《湖北电力》 2018年第5期17-24,共8页
设计了基于调控云的电网调控数据纵向互联信息共享的系统。介绍调控云的建设情况,数据云平台的模型数据中心的建设情况,模型数据中心实现调控数据的结构化、规范化和标准化;采用Kafka消息中心实现调控数据信息的纵向互联和信息共享,最... 设计了基于调控云的电网调控数据纵向互联信息共享的系统。介绍调控云的建设情况,数据云平台的模型数据中心的建设情况,模型数据中心实现调控数据的结构化、规范化和标准化;采用Kafka消息中心实现调控数据信息的纵向互联和信息共享,最后对各级调控机构按订阅推送,保障了纵向和横向部门间的业务协同。目前该系统已应用于华中电网,推进了业务流程的交互,减轻了用户的工作量,提升了工作效率。 展开更多
关键词 调控云 数据云平台 数据结构化 纵向互联 kafka消息总线
下载PDF
基于Elastic Stack的日志采集分析平台研究与应用 被引量:1
9
作者 蒋祥斌 梁国豪 +2 位作者 兰正宏 韦通明 张亮 《长江信息通信》 2022年第10期17-19,共3页
车联网车辆不断增多、数据规模不断扩大,对车联网大数据平台运行稳定性提出了新的要求。文章针对当前现状,基于Elasticsearch、Logstash、Kibana等Elastic Stack系列开源组件,实现了一种日志采集分析平台,与传统方式相比,有效提高了运... 车联网车辆不断增多、数据规模不断扩大,对车联网大数据平台运行稳定性提出了新的要求。文章针对当前现状,基于Elasticsearch、Logstash、Kibana等Elastic Stack系列开源组件,实现了一种日志采集分析平台,与传统方式相比,有效提高了运维及故障排查效率。 展开更多
关键词 Elastic架构 ELK架构 日志 kafka消息队列
下载PDF
建筑能源管理大数据平台设计 被引量:1
10
作者 杨毅 《建筑电气》 2015年第6期61-64,共4页
能源管理平台中数据存储、计算能力直接影响整个系统管理、分析的准确性,影响到整个运行系统维护和更新工作的成效,本文提出一种大数据平台设计方法,根据建筑能耗数据产量大、传输速率快、数据来源多等特征动态建模,构建Hadoop大数据管... 能源管理平台中数据存储、计算能力直接影响整个系统管理、分析的准确性,影响到整个运行系统维护和更新工作的成效,本文提出一种大数据平台设计方法,根据建筑能耗数据产量大、传输速率快、数据来源多等特征动态建模,构建Hadoop大数据管理平台,从系统体系结构、数据存储、查询处理等方面对基于大数据的公共建筑(群)能源管理大数据管理与处理平台架构进行分析。 展开更多
关键词 大数据 能源管理:Hadoop 消息队列kafka 数据接入 数据处理 HBase存储 能效评价
下载PDF
基于民航西北空管局数据平台的实时数据仓库技术选型分析 被引量:1
11
作者 白宇晨 《网络安全技术与应用》 2023年第2期107-109,共3页
随着我国民航行业的迅速发展,空管行业产生的数据日益增加,为了应对大量数据存储并持续挖掘数据价值,各地空管系统已经开始计划建设大数据平台。作为大数据平台的重要组成部分,数据仓库在数据资产管理、统计分析等方面起到了重要作用。... 随着我国民航行业的迅速发展,空管行业产生的数据日益增加,为了应对大量数据存储并持续挖掘数据价值,各地空管系统已经开始计划建设大数据平台。作为大数据平台的重要组成部分,数据仓库在数据资产管理、统计分析等方面起到了重要作用。目前数据仓库主要针对前一天数据的统计分析(T+1)场景,提供良好的能力。随着业务指标的增多和提升,数据仓库逐渐面临实时性统计分析(T+0)的需求。随着流式计算的发展,基于Kafka、Flink等组件搭建实时数据仓库已经成为业界主流技术,业界也将发展方向聚焦在利用实时数据仓库实现批流一体化,同时应对T+0及T+1业务场景。为了满足发展需要,亟需在传统数据仓库的技术架构下探索符合空管行业的实时数仓架构,为未来的技术选型提供依据和支撑。 展开更多
关键词 批处理 流处理 kafka消息队列 Flink流式计算
原文传递
上一页 1 下一页 到第
使用帮助 返回顶部