期刊文献+
共找到1,773篇文章
< 1 2 89 >
每页显示 20 50 100
基于Kafka和Redis的智慧社区用户数据采集系统设计
1
作者 党执政 《计算机与网络》 2024年第1期28-32,共5页
提出了基于Kafka和Redis的智慧社区用户数据采集系统设计方案,采用消息队列和数据缓存的设计理念对用户数据处理和存储提出了具体的技术解决方案。基于Kafka消息队列实现数据的异步有序处理和存储,基于Redis缓存数据库实现数据的快速暂... 提出了基于Kafka和Redis的智慧社区用户数据采集系统设计方案,采用消息队列和数据缓存的设计理念对用户数据处理和存储提出了具体的技术解决方案。基于Kafka消息队列实现数据的异步有序处理和存储,基于Redis缓存数据库实现数据的快速暂存和读取。通过智慧社区用户数据采集系统保证用户数据采集的时效性和可靠性,满足了当前智慧社区用户数据量快速增长对数据采集系统的需求。 展开更多
关键词 智慧社区 数据采集 REDIS kafka 架构设计
下载PDF
基于Kafka的实时数据处理在银行准时交易中的应用研究
2
作者 张克 《消费电子》 2024年第2期73-75,共3页
本文基于Kafka的实时数据处理技术在银行准时交易中的应用进行了深入研究。主要包括以下几个方面的内容:首先,对实时数据处理的概念和重要性进行了概述。实时数据处理是指对数据流进行实时分析和处理的技术,对于数据展示及均衡服务具有... 本文基于Kafka的实时数据处理技术在银行准时交易中的应用进行了深入研究。主要包括以下几个方面的内容:首先,对实时数据处理的概念和重要性进行了概述。实时数据处理是指对数据流进行实时分析和处理的技术,对于数据展示及均衡服务具有重要的商业应用价值。其次,介绍了Kafka的历史、起源以及核心组件和架构。Kafka是一种可扩展的分布式流处理平台,具有高吞吐量和低延迟的特点,通过对流数据的分析解析,为数据需求方提供准实时数据,在实时数据处理领域具有广泛的应用。然后,分析了银行准时交易可能遇到的问题和挑战,以及实时数据处理在解决这些问题中的作用和优势。银行准时交易的实现对于金融行业今后服务及业务的扩展都有重要的意义,实时数据处理可以帮助银行实时监控交易数据、预测异常情况并及时采取措施,并能在秒级、小时级为下游系统提供数据服务。最后,提出了基于Kafka的实时数据处理系统的设计与实现,包括系统架构设计、数据管道的构建和管理、实时数据处理的算法和模型选取,以及系统性能优化和可靠性保证等方面。通过该研究,可以为银行准时交易提供一种高效可靠的实时数据处理解决方案。 展开更多
关键词 实时数据处理 kafka 银行准时交易
下载PDF
面向Kafka共识消息传输的负载均衡算法 被引量:1
3
作者 苏玉钊 孙恩昌 +4 位作者 杨睿哲 李萌 张延华 司鹏搏 张卉 《高技术通讯》 CAS 2023年第1期42-49,共8页
Kafka是一种高吞吐量消息中间件,但该算法存在负载均衡导致消费者消息处理效率下降的问题。本文提出一种改进的Kafka负载均衡算法,其中协调者基于消费者和分区的对应关系,根据不同的负载均衡场景优化调整消费者数目,按照业务负载倒序的... Kafka是一种高吞吐量消息中间件,但该算法存在负载均衡导致消费者消息处理效率下降的问题。本文提出一种改进的Kafka负载均衡算法,其中协调者基于消费者和分区的对应关系,根据不同的负载均衡场景优化调整消费者数目,按照业务负载倒序的方式更新消费者和分区的对应关系,优先处理负载较大的业务分区,提高消息传输效率,并且搭建Fabric联盟链验证分析算法的性能。实验结果表明,本算法在中央处理器(CPU)资源消耗比其他算法低5%的情况下,共识速度提升了2%~7%,并且在6个Kafka节点中3个宕机的情况下仍然能共识上链,提升了Kafka负载均衡算法的效率和稳定性。 展开更多
关键词 kafka 负载均衡 区块链 消费者 优化
下载PDF
基于Kafka的海上风电场数据传输系统设计与实现 被引量:2
4
作者 余建忠 谭任深 《科技创新与应用》 2023年第31期26-31,共6页
在数字经济发展的时代背景下,企业不断面临着数字化转型的压力与挑战。许多能源企业也在积极探索数字化转型的关键要素,数据被大多数人认为是最为关键的要素之一。因此,数据传输的安全可靠也变得极为重要。为确保海上风电场数据的安全... 在数字经济发展的时代背景下,企业不断面临着数字化转型的压力与挑战。许多能源企业也在积极探索数字化转型的关键要素,数据被大多数人认为是最为关键的要素之一。因此,数据传输的安全可靠也变得极为重要。为确保海上风电场数据的安全可靠传输,该文提出一种基于Kafka的数据传输系统,可以屏蔽复杂网络环境下的不稳定性,保证数据不会丢失。实践和测试结果表明,该系统不仅解决现有数据传输系统在网络不稳定和高并发传输等方面的问题,还具有容量大、传输效率高及动态扩容等特点。该系统不仅有效解决海上风电场数据的安全可靠传输,也为能源行业数据处理提供一种新的思路和工具。 展开更多
关键词 海上风电场 海量数据 安全可靠 kafka 高并发
下载PDF
基于Kafka和JavaScript的城轨信号系统智能运维数据采集与处理方法 被引量:1
5
作者 谭力天 李靖兰 杨将 《控制与信息技术》 2023年第4期105-110,共6页
在城市轨道交通(简称“城轨”)信号系统的传统运维过程中,运维数据采集和处理的效率较低、数据间缺乏关联性且及时性差。为了将城轨信号系统的各种专业运维数据转化为具有通用格式、可读性强且标准化的信息资源,从而为后续的数据分析和... 在城市轨道交通(简称“城轨”)信号系统的传统运维过程中,运维数据采集和处理的效率较低、数据间缺乏关联性且及时性差。为了将城轨信号系统的各种专业运维数据转化为具有通用格式、可读性强且标准化的信息资源,从而为后续的数据分析和信息融合提供数据基础,文章提出一种采用Kafka数据采集和JavaScript(JS)脚本数据处理的方法。其首先通过Kafka系统集中采集不同信号专业的运维数据;然后,通过动态加载JS脚本文件,自动处理并存储所采集的运维数据;最后,以ZC、VOBC信号系统运维数据为例进行试验验证。结果显示,与人工数据采集和处理方式相比,该方法缩短了50%的处理时间,且处理结果与人工采集的相一致,证明了本文的数据采集和处理方法能够有效实现城轨智能运维系统数据的通用化、可读化和标准化。 展开更多
关键词 智能运维 信号系统 数据采集处理 城市轨道交通 kafka数据采集
下载PDF
基于时间序列模型的Kafka系统智能化管理方法
6
作者 周宇泽 司鹏搏 +2 位作者 张延华 李萌 杨睿哲 《高技术通讯》 CAS 2023年第10期1047-1059,共13页
区块链是分布式的数据存储系统,共识算法为区块链实现安全存储数据提供支撑和保障。Kafka作为共识算法中的一种,其高吞吐速率、低时延的特点受到青睐。但使用Kafka算法的系统接受大量交易时,易产生数据倾斜,即分布式系统的多节点结构中... 区块链是分布式的数据存储系统,共识算法为区块链实现安全存储数据提供支撑和保障。Kafka作为共识算法中的一种,其高吞吐速率、低时延的特点受到青睐。但使用Kafka算法的系统接受大量交易时,易产生数据倾斜,即分布式系统的多节点结构中,大量数据集中在少数节点,导致系统资源被占用、性能下降。为解决上述问题,本文提出基于时间序列模型长短期记忆网络(LSTM)的智能优化方法。通过学习过往生产者接收到的交易量,预测下一时刻面临的交易量,动态调整生产者节点数量,减少数据集中在少数节点的情况。实验结果显示,本文方法可以将Kafka系统时延降低2~3倍,吞吐速率提升2~3倍,与优化前相比系统效率提升52.62%,比2种传统优化方法分别提升近3%和40%,能耗仅小幅提升,系统使用情况保持更加合理。 展开更多
关键词 区块链 kafka 长短期记忆网络(LSTM) 时间序列模型
下载PDF
基于Flink与Kafka的信贷逾期预测系统的设计与实现
7
作者 韦海兰 黄杰 《电脑知识与技术》 2023年第21期49-51,共3页
当前大数据技术方兴未艾,金融业正经历“大数据+金融”的应用架构转型阶段。文章分析了经典机器学习算法在大数据背景下信贷逾期预测应用场景的不足,提出使用Flink实时流计算引擎和kafka实时消息系统进行大数据机器学习的方法,并将CatBo... 当前大数据技术方兴未艾,金融业正经历“大数据+金融”的应用架构转型阶段。文章分析了经典机器学习算法在大数据背景下信贷逾期预测应用场景的不足,提出使用Flink实时流计算引擎和kafka实时消息系统进行大数据机器学习的方法,并将CatBoost算法应用在信贷逾期预测系统中,取得良好效果。 展开更多
关键词 大数据 Flink kafka CatBoost算法
下载PDF
一种基于Kafka的可靠的Consumer的设计方案 被引量:37
8
作者 王岩 王纯 《软件》 2016年第1期61-66,共6页
伴随着互联网和移动互联网的发展,各种新兴应用层出不穷,对大数据处理的实时性和高并发能力要求也在不断提高。Apache Kafka,作为一种分布式的消息系统,具有可水平扩展和高吞吐率而被广泛的使用。对于数据业务的基础支撑系统,除了能够... 伴随着互联网和移动互联网的发展,各种新兴应用层出不穷,对大数据处理的实时性和高并发能力要求也在不断提高。Apache Kafka,作为一种分布式的消息系统,具有可水平扩展和高吞吐率而被广泛的使用。对于数据业务的基础支撑系统,除了能够满足高并发度和实时性以外,数据的质量即数据可靠性也是关键的一环。但是,由Kafka原生提供的数据消费者不能够保障数据的可靠性。本文首先简单介绍了Kafka的组成、架构特性等技术背景,然后阐述了原生Consumer的原理和缺陷;最后,基于Kafka提出一个可靠的消费者的设计方案。本方案是基于Kafka的low-level的接口集,解决了Kafka原生Consumer由于将用户消费数据的动作与数据消费位置的记录独立而引起的数据质量问题,保障了数据的可靠性。最后,搭建Kafka集群测试环境,验证了方案的可行性和正确性。 展开更多
关键词 kafka 数据可靠性 zookeeper 实时
下载PDF
Computational Linguistics with Optimal Deep Belief Network Based Irony Detection in Social Media
9
作者 Manar Ahmed Hamza Hala J.Alshahrani +5 位作者 Abdulkhaleq Q.A.Hassan Abdulbaset Gaddah Nasser Allheeib Suleiman Ali Alsaif Badriyya B.Al-onazi Heba Mohsen 《Computers, Materials & Continua》 SCIE EI 2023年第5期4137-4154,共18页
Computational linguistics refers to an interdisciplinary field associated with the computational modelling of natural language and studying appropriate computational methods for linguistic questions.The number of soci... Computational linguistics refers to an interdisciplinary field associated with the computational modelling of natural language and studying appropriate computational methods for linguistic questions.The number of social media users has been increasing over the last few years,which have allured researchers’interest in scrutinizing the new kind of creative language utilized on the Internet to explore communication and human opinions in a betterway.Irony and sarcasm detection is a complex task inNatural Language Processing(NLP).Irony detection has inferences in advertising,sentiment analysis(SA),and opinion mining.For the last few years,irony-aware SA has gained significant computational treatment owing to the prevalence of irony in web content.Therefore,this study develops Computational Linguistics with Optimal Deep Belief Network based Irony Detection and Classification(CLODBN-IRC)model on social media.The presented CLODBN-IRC model mainly focuses on the identification and classification of irony that exists in social media.To attain this,the presented CLODBN-IRC model performs different stages of pre-processing and TF-IDF feature extraction.For irony detection and classification,the DBN model is exploited in this work.At last,the hyperparameters of the DBN model are optimally modified by improved artificial bee colony optimization(IABC)algorithm.The experimental validation of the presentedCLODBN-IRCmethod can be tested by making use of benchmark dataset.The simulation outcomes highlight the superior outcomes of the presented CLODBN-IRC model over other approaches. 展开更多
关键词 Computational linguistics natural language processing deep learning irony detection social media
下载PDF
A Study of Irony in Stephen Crane's The Red Badge of Courage
10
作者 鲍姗姗 《海外英语》 2018年第2期165-167,共3页
Stephen Crane is a famous naturalist writer in the nineteenth Century.He creates a new method of literary writing in America.His famous novel The Red Badge of Courage is an episode of the American civil war.The novel... Stephen Crane is a famous naturalist writer in the nineteenth Century.He creates a new method of literary writing in America.His famous novel The Red Badge of Courage is an episode of the American civil war.The novel’s rhetoric device"irony"is worthy of contemporary scholars to carry out in-depth research.Crane adopts irony in his works to enhance the performance of language tension and the profound theme of the novel.The artistic features of irony appear in the novel frequently,such as verbal irony,scene irony and structural irony,which constructs the basic framework and structure of this novel and makes it more humorous,more ironic and more meaningful. 展开更多
关键词 Stephen Crane The Red Badge of Courage verbal irony scene irony structural irony
下载PDF
基于Netty和Kafka的IOT终端服务系统设计方案 被引量:8
11
作者 张娜 史佳炳 +2 位作者 吴彪 包晓安 文艺霏 《浙江理工大学学报(自然科学版)》 2020年第2期240-245,共6页
解决Netty网络程序应用框架的NIO线程与业务处理线程间的耦合是提升服务器并发量的关键问题,为此提出了一种基于Netty和Kafka的IOT终端服务系统设计方案。该方案结合了Kafka消息中间件,使Netty只负责提供和管理NIO线程,其它的业务处理... 解决Netty网络程序应用框架的NIO线程与业务处理线程间的耦合是提升服务器并发量的关键问题,为此提出了一种基于Netty和Kafka的IOT终端服务系统设计方案。该方案结合了Kafka消息中间件,使Netty只负责提供和管理NIO线程,其它的业务处理线程由Kafka的消费者端(Consumer)负责,并在Consumer中加入自定义业务处理线程池对复杂耗时业务逻辑进行处理,以解决因Netty线程被阻塞而导致终端请求堆积的问题。同时提出了一种自定义设备通信协议,在一定程度上提升了Netty编解码的速度,使NIO线程不会被阻塞。结果表明:与传统的Netty和kafka服务器系统方案相比,该系统方案对于上万级请求可以做到毫秒级响应,具有更快的协议编解码速度,并且在鲁棒性方面都有很好的表现。 展开更多
关键词 Netty kafka 高并发 物联网 服务器
下载PDF
基于Kafka和Storm的车辆套牌实时分析存储系统 被引量:8
12
作者 任培花 苏铭 《计算机系统应用》 2019年第10期74-79,共6页
城市机动车数量、出行量的增加,使得车辆套牌现象屡禁不止.交管部门为了解决套牌监测的难题,采用传统的识别方式(如基于人工识别、基于牌照识别、基于射频识别等).然而面对海量的日志记录,这些方式普遍存在效率低、实时性差的问题.为此... 城市机动车数量、出行量的增加,使得车辆套牌现象屡禁不止.交管部门为了解决套牌监测的难题,采用传统的识别方式(如基于人工识别、基于牌照识别、基于射频识别等).然而面对海量的日志记录,这些方式普遍存在效率低、实时性差的问题.为此引入大数据技术,提出一个基于Kafka和Storm的车辆套牌实时分析存储系统.Kafka可以作为中间件进行缓存,提高数据采集和数据分析的同步性,还能避免数据丢失;Storm框架可以实现日志信息的实时计算,然后将套牌车辆信息存入指定文档中.整个系统具有实时、分布式存储、稳定、可扩展等特性. 展开更多
关键词 kafka STORM 车辆套牌 实时分析存储
下载PDF
利用Kafka实现大话务并发数据流的吞吐系统 被引量:3
13
作者 唐颖淳 《电信科学》 2018年第S2期134-139,共6页
为了解决中国电信股份有限公司上海分公司的统一消息推送平台的数据吞吐量较低,无法满足新的业务需求的问题,采用流式数据处理技术实现了一种基于运营商的大话务业务系统构建模式。首先,在充分研究了业内实时流式处理技术的发展以及运... 为了解决中国电信股份有限公司上海分公司的统一消息推送平台的数据吞吐量较低,无法满足新的业务需求的问题,采用流式数据处理技术实现了一种基于运营商的大话务业务系统构建模式。首先,在充分研究了业内实时流式处理技术的发展以及运营商本身信令数据源的特点之后,确定以Kafka作为消息队列组件,在业务处理过程中为了提供毫秒级的数据流查询能力,采用了Redis组件提供基于内存的Key-Value引擎。另外,为实现平台的高可靠性及易维护性,采用Kafka+Elasticsearch+Logstash+Kiban实现了日志监控子系统。最后对应用情况进行分析,并对系统的进一步改进提出了建议。 展开更多
关键词 流处理 高吞吐量 高并发 kafka REDIS Elasticsearch+Logstash+Kibana
下载PDF
基于ELK+Kafka的智慧运维大数据分析平台研究与实现 被引量:7
14
作者 阮晓龙 贺路路 《软件导刊》 2020年第6期150-154,共5页
基于ELK在智慧运维大数据分析平台实现海量数据分析,对ELK的部署结构进行优化,并在日志采集和日志处理中间增加Kafka消息处理队列,减轻Logstash压力,增加集群高可用性。通过Logstash的Filter插件利用正则表达式实现日志数据拆分,将拆分... 基于ELK在智慧运维大数据分析平台实现海量数据分析,对ELK的部署结构进行优化,并在日志采集和日志处理中间增加Kafka消息处理队列,减轻Logstash压力,增加集群高可用性。通过Logstash的Filter插件利用正则表达式实现日志数据拆分,将拆分后的字段在Elasticsearch中存储,最终利用Kibana对日志数据进行搜索、绘图和展示。使用基于ELK的智慧运维大数据平台解决了运维过程中日志采集、日志处理、日志可视化问题,同时在数据处理上实现了接近1s的延迟搜索。 展开更多
关键词 ELK kafka 日志分析 大数据 流式数据
下载PDF
一种优化的Kafka消费者/客户端负载均衡算法 被引量:18
15
作者 王郑合 王锋 +2 位作者 邓辉 柳翠寅 张晓丽 《计算机应用研究》 CSCD 北大核心 2017年第8期2306-2309,共4页
Kafka是一款高吞吐的分布式消息系统,在海量数据处理等多个领域被广泛使用。但现有Kafka消费者/客户端负载均衡算法存在一些不足,在处理海量数据时易产生过高开销甚至出错等问题。提出了一种优化的Kafka消费者/客户端负载均衡算法,负载... Kafka是一款高吞吐的分布式消息系统,在海量数据处理等多个领域被广泛使用。但现有Kafka消费者/客户端负载均衡算法存在一些不足,在处理海量数据时易产生过高开销甚至出错等问题。提出了一种优化的Kafka消费者/客户端负载均衡算法,负载均衡过程完全由作为管理者的消费者控制,其余消费者不必单独进行负载均衡,而且管理者不用重新分配每个消费者消费的分区。系统对所有消费者的运行状况进行监控,出现宕机的消费者后可及时进行负载再均衡。测试结果说明该算法能够减少Kafka消费者/客户端在负载均衡过程中的系统开销,并避免出现错误的负载均衡结果,可以有效地保障分布科学数据处理的正确性。 展开更多
关键词 分布式消息系统 发布订阅模式 kafka 负载均衡 系统开销 可靠性
下载PDF
基于Netty和Kafka的物联网数据接入系统 被引量:30
16
作者 甄凯成 黄河 宋良图 《计算机工程与应用》 CSCD 北大核心 2020年第5期135-140,共6页
当前在物联网应用中,大量采集终端被用于感知环境、定位服务、状态监测等应用,并源源不断地上传数据,在提产助效的同时,给远程服务端数据收集及实时处理带来巨大挑战。利用Netty网络通信库构造高性能的收集端网络通信处理服务并设计出... 当前在物联网应用中,大量采集终端被用于感知环境、定位服务、状态监测等应用,并源源不断地上传数据,在提产助效的同时,给远程服务端数据收集及实时处理带来巨大挑战。利用Netty网络通信库构造高性能的收集端网络通信处理服务并设计出可供采集终端与收集端使用的通信协议,剥离出网络通信业务中耗时操作并将数据推送至流式消息处理系统Kafka中,再由Kafka消费者负责后续数据持久化、实时分析工作。由此实现一个支持高并发、低延迟的数据接入系统。实验结果表明,在万级别连接情况下,该系统能正常工作且保持较快的响应速度。 展开更多
关键词 物联网数据 网络通信 Netty kafka
下载PDF
基于Kafka理论的机载数据分发软件设计 被引量:4
17
作者 郑涛 刘文学 +3 位作者 解文涛 张双 郭玉洁 李昊昱 《航空计算技术》 2021年第2期93-96,共4页
民用飞机的设备采用高速总线互联和大量业务软件驻留,频繁的业务交互产生了大量的数据,而且多个服务需要向同一个服务请求数据,而如何向多个服务高效快速地提供数据是面临的难题。Kafka是一个分布式消息系统,在互联网的大数据分发场景... 民用飞机的设备采用高速总线互联和大量业务软件驻留,频繁的业务交互产生了大量的数据,而且多个服务需要向同一个服务请求数据,而如何向多个服务高效快速地提供数据是面临的难题。Kafka是一个分布式消息系统,在互联网的大数据分发场景中被广泛使用,提高了互联网业务的数据快速分发能力和数据吞吐量。鉴于Kafka快速高效的分发能力,将Kafka技术应用于航空业务领域,设计了基于Kafka理论的机载数据分发软件,给出了机载数据分发软件架构,支持多个应用同时订阅发布数据,能够满足机载系统中数据快速高效分发的要求。 展开更多
关键词 kafka 机载 数据分发 软件架构
下载PDF
ENLHS:一种基于抽样的Kafka自适应调优方法 被引量:3
18
作者 谢文康 樊卫北 +2 位作者 张玉杰 徐鹤 李鹏 《计算机科学》 CSCD 北大核心 2020年第8期119-126,共8页
Kafka应用在生产环境中时,除机器的硬件环境和系统平台影响其性能外,Kafka自身的配置项决定着其能否在硬件资源有限的情况下达到理想的性能,但人为修改和调优配置项的效率极差。海量数据发送到Kafka后,如果不针对实际资源环境进行调优,K... Kafka应用在生产环境中时,除机器的硬件环境和系统平台影响其性能外,Kafka自身的配置项决定着其能否在硬件资源有限的情况下达到理想的性能,但人为修改和调优配置项的效率极差。海量数据发送到Kafka后,如果不针对实际资源环境进行调优,Kafka使用默认的配置参数无法保证其在每个生产环境下的性能。因为Kafka自身的配置项非常大,传统的自适应算法在大规模生产系统中的性能较差。为了提高Kafka的自适应能力,消除系统中的复杂性,获得更好的运行性能,提出一种针对Kafka的自适应性能调优方法。该方法充分考虑了Kafka特征参数与性能的影响权值,并使用抽样的原理来提高数据集的生成效率并优化数据选取范围,提高建模的效率并降低优化方法的复杂度。实验结果显示,该算法对开源版本Kafka的吞吐率和时延进行了优化,提高了Kafka在给定的系统资源下的吞吐性能,并降低了时延。 展开更多
关键词 kafka 消息队列 性能调优 拉丁超立方抽样 弹性网络
下载PDF
基于Kafka、Disruptor技术对传统ETL的改进 被引量:4
19
作者 王梓 梁正和 吴莹莹 《计算机技术与发展》 2018年第11期26-29,共4页
ETL系统是构建和维护数据仓库的基本构件,对异构数据源中的业务数据进行抽取、清洗、转换可通过ETL工具将其装载到数据仓库中。但是,当数据量上升到一定程度时,传统的ETL在数据处理速度以及数据的准确性方面会大大降低,并且不能满足数... ETL系统是构建和维护数据仓库的基本构件,对异构数据源中的业务数据进行抽取、清洗、转换可通过ETL工具将其装载到数据仓库中。但是,当数据量上升到一定程度时,传统的ETL在数据处理速度以及数据的准确性方面会大大降低,并且不能满足数据源多种多样的变化需求。针对如何同时具有高效的数据处理能力和通用的数据源访问能力的问题,提出一种对传统ETL进行改进的方案。利用Kafka和Disruptor并发框架相结合,从数据源中抽取数据放入Kafka集群,结合Disruptor高吞吐和低延迟的特点,实现了数据高效的传输,使数据可以在不同数据源之间进行清洗和转换,同时在数据传输准确性方面有了极大的改进,保证了数据传输的一致性。 展开更多
关键词 大数据 ETL kafka 数据仓库 Disruptor
下载PDF
基于Kafka的分布式能效管理平台的设计与实现 被引量:15
20
作者 朱幼普 卢军 《计算机与数字工程》 2018年第12期2620-2623,共4页
为了实现能源的信息化管理,从数据传输的实时性和可靠性的角度入手,论文设计了一个基于Kafka分布式消息队列的能效信息管理平台,对电表,水表等计量设备采集的实时数据进行分析处理和展示,实现能源使用的科学化、智能化、精细化。论文充... 为了实现能源的信息化管理,从数据传输的实时性和可靠性的角度入手,论文设计了一个基于Kafka分布式消息队列的能效信息管理平台,对电表,水表等计量设备采集的实时数据进行分析处理和展示,实现能源使用的科学化、智能化、精细化。论文充分利用Kafka在数据传输方面的优势,将Kafka作为消息传递服务器,实现各个微服务之间的通信。实验数据表明,论文设计的基于Kafka的分布式能效管理平台在数据传输方面具有更高的可靠性和数据吞吐量。 展开更多
关键词 分布式 kafka 数据传输 可靠性
下载PDF
上一页 1 2 89 下一页 到第
使用帮助 返回顶部