基于海量日志数据的系统吞吐量优化方案

下载PDF

导出

摘要随着电力行业信息化推进,高速率数据业务的需求越来越大,如何提高系统吞吐量成为当前首要任务.本文针对海量日志数据系统中的架构优化设计和组件间的消息传输进行了研究.通过对比集中式架构和分布式架构,以及分布式场景下的消息传输技术等,运用消息队列技术解决系统内的消息传输问题,异步化服务之间的请求响应从而提高系统吞吐量.

作者张梅赵晓平王宇平周洁

机构地区云南电网有限责任公司信息中心云南云电同方科技有限公司

出处《区域治理》 2018年第35期217-218,共2页 REGIONAL GOVENANCE

关键词吞吐量分布式内存共享消息队列

分类号 TP39 [自动化与计算机技术—计算机应用技术]

引文网络
相关文献

参考文献4

1张拥华.基于云平台的分布式日志系统设计与实现[J].信息与电脑,2015,27(9):130-131. 被引量：1
2罗东锋,李芳,郝汪洋,吴仲城.基于Docker的大规模日志采集与分析系统[J].计算机系统应用,2017,26(10):82-88. 被引量：5
3曹渝昆.基于SOA架构的电力营销系统分布式服务总线[J].上海电力学院学报,2013,29(2):185-190. 被引量：4
4袁佳,郭燕慧.基于rabbitmq的海量日志的分布式处理[J].软件,2013,34(7):19-23. 被引量：20

二级参考文献19

1麻志毅,陈泓婕.一种面向服务的体系结构参考模型[J].计算机学报,2006,29(7):1011-1019. 被引量：108
2饶元.面向服务体系结构的企业资源计划系统应用模型与集成策略[J].计算机集成制造系统,2006,12(10):1570-1576. 被引量：28
3邵欢庆,康建初.企业服务总线的研究与应用[J].计算机工程,2007,33(2):220-222. 被引量：53
4赵莹莹,韩元杰.Web日志数据挖掘中数据预处理模型的研究与建立[J].现代电子技术,2007,30(4):103-105. 被引量：9
5余慧佳,刘奕群,张敏,等.基于大规模日志分析的网络搜索引擎用户行为研究[C]//第三届学生计算语言学研讨会.沈阳:[出版者不详],2006.
6李璐,张广泉.消息中间件的体系结构研究[J].苏州大学学报（工科版）,2007,27(3):10-14. 被引量：15
7黄安安,王丽芳,蒋泽军,张羽.基于ESB的企业应用集成研究[J].微计算机应用,2007,28(9):965-970. 被引量：26
8DIETRICH A J,KIRN S. A service oriented architecture formass customization-a shoe industry case study [ J]. IEEETransactions on Engineering Management,2008,54 ( 1 ):190- 204.
9GUDEDES D, MEIRA W. Anteater: a service-orientedarchitecture for high performance data mining [ J]. InternetComputing,IEEE,2009,10(4) :3643.
10Advanced message queuing protocol website[EB/ OL] wnv. amqp. org.

共引文献26

1李冠辰.一个基于hadoop的并行社交网络挖掘系统[J].软件,2013,34(12):127-131. 被引量：10
2张炜.浅谈电力营销管控系统应用与发展趋势[J].中国科技博览,2014(35):342-342.
3王力,韩笑,刘培宁,钱文斌.基于MQ的气象数据采集与监控系统设计[J].气象科技,2015,43(3):451-457. 被引量：15
4刘峰,牛恒照,于碧辉.数字导播分布式热线录音系统[J].计算机系统应用,2015,24(10):100-105.
5武佳颖,于碧辉.X射线单晶衍射仪远程控制系统消息通信系统[J].计算机系统应用,2017,26(2):43-50. 被引量：1
6王郑合,王锋,邓辉,柳翠寅,张晓丽.一种优化的Kafka消费者/客户端负载均衡算法[J].计算机应用研究,2017,34(8):2306-2309. 被引量：18
7翟雅荣,于金刚.基于Filebeat自动收集Kubernetes日志的分析系统[J].计算机系统应用,2018,27(9):81-86. 被引量：11
8杨冬晖.一种分布式消息队列的可靠性研究[J].电脑知识与技术,2015,11(7X):75-76. 被引量：4
9刘栋,姚建国.RabbitMQ在智能家居云平台中的研究与应用[J].电子世界,2018,0(16):141-142. 被引量：3
10朱幼普,卢军.基于Kafka的分布式能效管理平台的设计与实现[J].计算机与数字工程,2018,46(12):2620-2623. 被引量：15

1宋瑜辉.基于MongoDB存储和分析辅助决策系统中的海量日志[J].科技创新与应用,2019,0(33):5-8. 被引量：10
2吴鑫.车务数据维护系统在SAM系统中的应用研究[J].铁道通信信号,2019,55(7):4-6.
3孙明明.人民银行分布式架构应用研究[J].金融科技时代,2019,27(11):32-37. 被引量：2
4无.以信息化推进机关事务治理体系和治理能力现代化[J].中国机关后勤,2019,0(10):51-54.
5谢芳.高校人事服务数字化转型的必要性分析[J].中国管理信息化,2019,22(22):166-167. 被引量：1
6房磊,王成彦.通信工程中数据传输问题的研究[J].通讯世界,2019,26(11):41-42. 被引量：3
7邓雨欣,唐彰国,张健,李焕洲.基于MQTT协议命令分组编码的隐蔽信道研究[J].计算机工程,2019,45(11):138-143. 被引量：10
8周德荣.基于ELK的高校校园网日志平台研究[J].赤峰学院学报（自然科学版）,2019,35(10):45-47. 被引量：5
9陈宇磊,黄晓杰,邵跃堂,傅伟清,吴磊,程道来,杨明来.基于感知机学习算法的地铁无线通信故障分析[J].城市轨道交通研究,2019,22(11):88-92. 被引量：4
10樊晓博,张慧军,张小龙.企业日志数据的交互式可视分析方法研究[J].计算机工程与应用,2019,55(23):248-256. 被引量：2

区域治理

2018年第35期

浏览历史

内容加载中请稍等...

基于海量日志数据的系统吞吐量优化方案

参考文献4

二级参考文献19

共引文献26

相关作者

相关机构

相关主题

浏览历史