期刊文献+
共找到182篇文章
< 1 2 10 >
每页显示 20 50 100
Three-dimensional variational data assimilation of WindSat ocean surface winds for the genesis and forecasting of tropical storm Henri 被引量:2
1
作者 郑维忠 《气象科学》 CSCD 北大核心 2010年第5期615-620,共6页
With available high-resolution ocean surface wind vectors retrieved from the U.S.Naval Research Laboratory's WindSat on Coriolis,the impact of these data on genesis and forecasting of tropical storm Henri is exami... With available high-resolution ocean surface wind vectors retrieved from the U.S.Naval Research Laboratory's WindSat on Coriolis,the impact of these data on genesis and forecasting of tropical storm Henri is examined using the non-hydrostatic,fifth-generation mesoscale model(MM5) of Pennsylvania State University-National Center for Atmospheric Research plus its newly released three-dimensional variational data assimilation(3DVAR) system.It is shown that the assimilation of the WindSat-retrieved ocean surface wind vectors in the 3DVAR system improves the model initialization fields by introducing a stronger vortex in the lower troposphere.As a result,the model reproduces the storm formation and track reasonably close to the observations.Compared to the experiment without the WindSat surface winds,the WindSat assimilation reduced an error between the model simulated track and observations of more than 80 km and also improved the storm intensity by nearly 2 hPa.It suggests that these data could provide early detection and prediction of tropical storms or hurricanes. 展开更多
关键词 《气象科学》 期刊 摘要 编辑部
下载PDF
Storm surge model based on variational data assimilation method 被引量:1
2
作者 Shi-li HUANG Jian XU +1 位作者 De-guan WANG Dong-yan LU 《Water Science and Engineering》 EI CAS 2010年第2期166-173,共8页
By combining computation and observation information, the variational data assimilation method has the ability to eliminate errors caused by the uncertainty of parameters in practical forecasting. It was applied to a ... By combining computation and observation information, the variational data assimilation method has the ability to eliminate errors caused by the uncertainty of parameters in practical forecasting. It was applied to a storm surge model based on unstructured grids with high spatial resolution meant for improving the forecasting accuracy of the storm surge. By controlling the wind stress drag coefficient, the variation-based model was developed and validated through data assimilation tests in an actual storm surge induced by a typhoon. In the data assimilation tests, the model accurately identified the wind stress drag coefficient and obtained results close to the true state. Then, the actual storm surge induced by Typhoon 0515 was forecast by the developed model, and the results demonstrate its efficiency in practical application. 展开更多
关键词 storm surge variational data assimilation synthetic data unstructured grid
下载PDF
Storm环境下一种改进的任务调度策略 被引量:8
3
作者 刘月超 于炯 鲁亮 《新疆大学学报(自然科学版)》 CAS 北大核心 2017年第1期90-95,共6页
随着大数据业务的快速增长,针对大规模数据处理的实时计算变成了一种业务上的需求,缺少"实时的Hadoop系统"经成为整个大数据生态系统中的一个巨大缺失,Storm的出现很好地满足了这一需求.然而,Storm默认的round-robin资源调度... 随着大数据业务的快速增长,针对大规模数据处理的实时计算变成了一种业务上的需求,缺少"实时的Hadoop系统"经成为整个大数据生态系统中的一个巨大缺失,Storm的出现很好地满足了这一需求.然而,Storm默认的round-robin资源调度,既不考虑内部组件的传输延迟时间,也不考虑节点间的传输延迟.因此,本文提出了Storm环境下一种改进的任务调度策略(Improved Storm Task Schedule Strategy,ISTS),该策略旨在提高通过最大限度地提高资源利用率和吞吐量同时最小化网络延迟.实验结果表明,使用ISTS进行任务调度时,可以同时满足软、硬资源限制以及最小化组件之间的网络传输距离. 展开更多
关键词 大数据 storm 数据处理 调度
下载PDF
大数据流式计算框架Storm的任务迁移策略 被引量:25
4
作者 鲁亮 于炯 +3 位作者 卞琛 刘月超 廖彬 李慧娟 《计算机研究与发展》 EI CSCD 北大核心 2018年第1期71-92,共22页
Storm作为流式计算模式下最具代表性的平台之一,其默认轮询的调度机制未考虑到异构环境下不同工作节点的自身性能和负载差异,以及工作节点之间的网络传输开销和节点内部的进程与线程通信开销,无法充分发挥集群的性能.为了在各类资源约... Storm作为流式计算模式下最具代表性的平台之一,其默认轮询的调度机制未考虑到异构环境下不同工作节点的自身性能和负载差异,以及工作节点之间的网络传输开销和节点内部的进程与线程通信开销,无法充分发挥集群的性能.为了在各类资源约束的前提下最小化通信开销,在建立并论证Storm资源约束模型、最优通信开销模型和任务迁移模型的基础上,提出一种异构Storm环境下的任务迁移策略(task migration strategy for heterogeneous Storm cluster,TMSH-Storm),包括源节点选择算法和任务迁移算法.其中,源节点选择算法根据集群中各工作节点CPU、内存和网络带宽的负载情况以及各类资源的优先级顺序,将超出阈值的节点加入源节点集;任务迁移算法综合迁移开销、通信开销、节点资源约束以及节点和任务负载等因素,依次将源节点中的待迁移任务异步迁移至目的节点上.实验表明:相对于现有研究而言,TMSH-Storm能有效降低延迟和节点间通信开销,且执行开销较小. 展开更多
关键词 大数据 流式计算 storm 通信开销 任务迁移
下载PDF
Storm环境下基于权重的任务调度算法 被引量:15
5
作者 鲁亮 于炯 +3 位作者 卞琛 英昌甜 师康利 蒲勇霖 《计算机应用》 CSCD 北大核心 2018年第3期699-706,共8页
大数据流式计算平台Apache Storm默认采用轮询的方式进行任务调度,未考虑到拓扑中各任务计算开销的差异以及任务之间不同类型的通信模式,在负载均衡和通信开销方面存在较大的优化空间。针对这一问题,提出一种Storm环境下基于权重的任务... 大数据流式计算平台Apache Storm默认采用轮询的方式进行任务调度,未考虑到拓扑中各任务计算开销的差异以及任务之间不同类型的通信模式,在负载均衡和通信开销方面存在较大的优化空间。针对这一问题,提出一种Storm环境下基于权重的任务调度算法(TSAW-Storm)。该算法首先根据各任务的CPU资源占用情况以及任务间的数据流大小,分别确定拓扑的点权和边权;并利用最大化边权增益的思想,逐步构建起各工作节点中承载的任务集合,在保证集群负载均衡的同时,尽可能将边权较大的节点间数据流转化为节点内数据流,从而降低网络传输开销。实验结果表明,在包含有8个工作节点的WordCount基准测试中,TSAW-Storm的系统延迟和节点间数据流大小相比Storm默认调度算法分别降低了30.0%和32.9%,且各工作节点的CPU负载标准差仅为Storm默认调度算法的25.8%;此外,在与在线调度算法的对比实验中,TSAW-Storm在系统延迟、节点间数据流大小和CPU负载标准差方面分别降低了7.76%、11.8%和5.93%,且算法的执行开销明显降低,有效提高了Storm系统的运行效率。 展开更多
关键词 大数据 流式计算 storm 权重 任务调度 负栽均衡 通信开销
下载PDF
基于Storm的智能电网广域测量系统数据实时加密 被引量:15
6
作者 张少敏 孙婕 王保义 《电力系统自动化》 EI CSCD 北大核心 2016年第21期123-127,167,共6页
针对智能电网广域测量系统(WAMS)数据的安全问题,分析了现有数据加密方案的特点。结合WAMS数据量大、实时性要求高的特点,引入Storm分布式实时计算平台进行WAMS数据的实时加密处理。设计了基于云平台的WAMS数据存储系统,并在此系统之上... 针对智能电网广域测量系统(WAMS)数据的安全问题,分析了现有数据加密方案的特点。结合WAMS数据量大、实时性要求高的特点,引入Storm分布式实时计算平台进行WAMS数据的实时加密处理。设计了基于云平台的WAMS数据存储系统,并在此系统之上设计了基于Storm框架的高级加密标准(AES)算法。该算法将加密过程分为数据接入、快速并行数据加密及加密结果云存储等几个过程,并在Storm预定义的编程组件中进行了编程实现。通过对比分析,验证了所提出方案具有低延迟、加密效率高等特点。 展开更多
关键词 广域测量系统 云计算 storm 数据加密
下载PDF
实时流处理系统Storm的调度优化综述 被引量:10
7
作者 蔡宇 赵国锋 郭航 《计算机应用研究》 CSCD 北大核心 2018年第9期2567-2573,共7页
随着大数据技术的发展,相对于Hadoop等传统的批处理系统,流式处理系统具有更好的实时性特点。在已有的流式处理系统中,Storm系统具有良好的稳定性、高可扩展性以及高容错性等优点,使它在流式数据处理系统中脱颖而出。但是在任务调度方面... 随着大数据技术的发展,相对于Hadoop等传统的批处理系统,流式处理系统具有更好的实时性特点。在已有的流式处理系统中,Storm系统具有良好的稳定性、高可扩展性以及高容错性等优点,使它在流式数据处理系统中脱颖而出。但是在任务调度方面,Storm系统并没有做过多的考虑,默认采用相对简单的轮询调度法,导致系统在性能上存在瓶颈。近年来针对Storm系统的调度问题,研究提出了各种优化方案。从实时流处理系统Storm的调度优化出发,将这些优化方法分为四类,并详细阐述各类中具有一定代表性的方法,分析其优缺点以及适用的场景。最后,讨论了在日益发展的新环境下,Storm系统的调度优化相关研究未来可能存在的方向。 展开更多
关键词 流式数据处理 APACHE storm 性能优化 调度
下载PDF
基于Storm的高速公路实时交通指数评估方法的研究与实现 被引量:8
8
作者 杨杰 朱邦培 吴宏伟 《计算机应用研究》 CSCD 北大核心 2017年第9期2707-2713,共7页
随着高速公路飞速的发展,出现的拥堵增加、监控困难等问题也日益严峻。首先在北京市城市交通拥堵指数的基础上,提出了利用交通指数对高速公路运行状况进行评估的方法;然后基于Storm大数据平台,实现了交通指数评估系统中的数据处理、分... 随着高速公路飞速的发展,出现的拥堵增加、监控困难等问题也日益严峻。首先在北京市城市交通拥堵指数的基础上,提出了利用交通指数对高速公路运行状况进行评估的方法;然后基于Storm大数据平台,实现了交通指数评估系统中的数据处理、分析、指数后台计算关键算法;最后通过手机APP、微信公众号等形式,实时地发布高速公路交通指数。实验结果表明,高速公路交通指数不仅可以反映整体的高速运行状况,也可以反映特定高速或者特定高速区间的实时拥堵情况,甚至可以实时监测高速路网的拥堵情况,为居民出行提供参考,对缓解道路拥堵起到积极作用。 展开更多
关键词 高速公路 交通运行状况 storm大数据平台 交通指数
下载PDF
分布式实时流数据聚类算法及其基于Storm的实现 被引量:8
9
作者 马可 李玲娟 《南京邮电大学学报(自然科学版)》 北大核心 2016年第2期104-110,共7页
为了提高流数据聚类效率,文中基于经典流聚类算法Clu Stream的思想和Storm的计算架构,设计了一种分布式实时流聚类算法(distributed real time clustering algorithm for stream data,DRClu Stream)。该算法运用滑动时间窗口机制实现多... 为了提高流数据聚类效率,文中基于经典流聚类算法Clu Stream的思想和Storm的计算架构,设计了一种分布式实时流聚类算法(distributed real time clustering algorithm for stream data,DRClu Stream)。该算法运用滑动时间窗口机制实现多粒度的数据存储;将流数据的在线微聚类部分拆分成局部和全局两个部分做分布式计算,第一部分由多个线程并行进行微簇的局部增量更新,第二部分合并微簇的局部增量结果来更新全局微簇。还设计了DRClu Stream算法基于Storm的实现方案,通过使用消息中间件Kafka和合理部署Storm的拓扑对DRClu Stream算法进行实现。性能分析及实验结果表明:DRClu Stream算法的聚类精度与K-Means相近,且随着local节点(local bolt线程)的增加聚类精度保持稳定,而计算效率呈近线性提升。 展开更多
关键词 数据流 聚类 分布式 并行化 storm
下载PDF
基于Storm和Hadoop的大数据处理架构的研究 被引量:16
10
作者 靳永超 吴怀谷 《现代计算机》 2015年第3期9-12,共4页
针对现有的大数据技术Storm和Hadoop,分析其内部实现机制,业务场景以及技术优缺点,提出一种基于Storm和Hadoop的新型大数据处理解决方案,以使得大数据处理更稳定,更高效,并对新型大数据解决方案进行性能测试,证明其高效性和稳定性,所以... 针对现有的大数据技术Storm和Hadoop,分析其内部实现机制,业务场景以及技术优缺点,提出一种基于Storm和Hadoop的新型大数据处理解决方案,以使得大数据处理更稳定,更高效,并对新型大数据解决方案进行性能测试,证明其高效性和稳定性,所以这种新型架构是高效、稳定、可行的。 展开更多
关键词 大数据 storm HADOOP 解决方案
下载PDF
基于Storm的实时计算框架的研究与应用 被引量:21
11
作者 李川 鄂海红 宋美娜 《软件》 2014年第10期16-20,共5页
互联网数据的增长,催生了一大批新的数据处理技术,Map Reduce,Hadoop及相关技术使得我们能够处理的数据量比以前要大得多,但这些技术的设计目的都不是为了实时计算。然而随着社交网络服务的流行,大规模的实时数据处理已经越来越成为一... 互联网数据的增长,催生了一大批新的数据处理技术,Map Reduce,Hadoop及相关技术使得我们能够处理的数据量比以前要大得多,但这些技术的设计目的都不是为了实时计算。然而随着社交网络服务的流行,大规模的实时数据处理已经越来越成为一种业务需求。Twitter Storm的出现弥补了Hadoop在实时处理方面的不足。本文就Storm的组成、运行机制以及计算模型进行研究,并设计与实现了基于Storm的社交网络中热门话题的实时计算问题。 展开更多
关键词 实时计算 storm框架 TopN问题 大数据
下载PDF
Storm流式计算框架反压机制研究 被引量:4
12
作者 熊安萍 朱恒伟 罗宇豪 《计算机工程与应用》 CSCD 北大核心 2018年第1期102-106,139,共6页
Storm集群提供了强大的实时处理能力,Storm上下游处理节点由于任务差异而导致数据流元组Tuple处理超时从而影响系统吞吐量及其性能。针对该问题,提出了一种能够灵活调节Topology中各环节数据负载的反压机制,该机制采用可变队列,并根据当... Storm集群提供了强大的实时处理能力,Storm上下游处理节点由于任务差异而导致数据流元组Tuple处理超时从而影响系统吞吐量及其性能。针对该问题,提出了一种能够灵活调节Topology中各环节数据负载的反压机制,该机制采用可变队列,并根据当前Tuple负载动态调整队列大小,以适应数据负载的动态变化,并提升系统吞吐量。实验结果表明,该反压机制能够避免反压过程中出现数据流的震荡,同时提高系统性能和稳定性。 展开更多
关键词 storm集群 反压机制 可变队列 数据负载 吞吐量
下载PDF
基于Storm的实时用户日志管理系统 被引量:2
13
作者 陈建峡 张月 +3 位作者 曾金怀 程鹏 王鹰适 倪一鸣 《湖北工业大学学报》 2016年第5期57-62,共6页
研究并开发了具有实时响应的大数据用户日志管理分析平台。采用Storm流式计算框架,完成用户日志分析的实时处理平台架构;采用Elastic Search作为实时搜索引擎,完成实时响应处理;使用Flume、Kafka技术完成海量日志采集、聚合和传输等功... 研究并开发了具有实时响应的大数据用户日志管理分析平台。采用Storm流式计算框架,完成用户日志分析的实时处理平台架构;采用Elastic Search作为实时搜索引擎,完成实时响应处理;使用Flume、Kafka技术完成海量日志采集、聚合和传输等功能。以某城市监狱管理系统的用户日志信息为实验数据,系统取得了良好的实验效果。为同时处理海量数据和实时响应用户请求的系统提供了可行性解决方案。 展开更多
关键词 storm 大数据 日志分析 实时处理 FLUME Kafka
下载PDF
基于Storm的电网时间序列数据实时预测框架 被引量:7
14
作者 吴克河 朱亚运 +1 位作者 李皓阳 李权 《计算机工程》 CAS CSCD 北大核心 2017年第4期8-14,共7页
对电网运行产生的时间序列数据展开实时预测研究,提出基于Storm平台和ARIMA模型的预测框架。分析不同类型电网时序数据的特点,预设拟合模型以降低模型构建的盲目性,缩短预测时间,同时设计基于HBase的新型时序数据存储模式加快数据检索... 对电网运行产生的时间序列数据展开实时预测研究,提出基于Storm平台和ARIMA模型的预测框架。分析不同类型电网时序数据的特点,预设拟合模型以降低模型构建的盲目性,缩短预测时间,同时设计基于HBase的新型时序数据存储模式加快数据检索速度。通过对海量的时序数据源进行并发预测,比较不同数据样本对预测值的影响并实时分析预测误差。经实例从预测精度、运算速度、占用资源3个角度验证了该框架的有效性与实用性。 展开更多
关键词 时间序列数据 实时预测 storm平台 自回归积分移动平均模型 电网 大数据
下载PDF
Storm实现的应用模型研究 被引量:13
15
作者 邓立龙 徐海水 《广东工业大学学报》 CAS 2014年第3期114-118,共5页
通过对Storm的核心理念和编程模型进行探讨,分析了Storm的工作方式和应用方法,并对一个基于Storm实现的数据分析处理系统进行了性能测试和水平扩展测试.实验结果表明,Storm实现的数据分析处理系统在性能和可伸缩性上要优于传统的数据分... 通过对Storm的核心理念和编程模型进行探讨,分析了Storm的工作方式和应用方法,并对一个基于Storm实现的数据分析处理系统进行了性能测试和水平扩展测试.实验结果表明,Storm实现的数据分析处理系统在性能和可伸缩性上要优于传统的数据分析处理系统. 展开更多
关键词 storm 分布式并行计算 大数据
下载PDF
基于Hadoop和Storm构架的水土保持监测系统研究与设计 被引量:2
16
作者 杨琳 张东虞 黄泽河 《信息与电脑》 2021年第1期129-131,共3页
随着水土保持预防监督体系和监测网络的不断完善,各地水土保持部门积累了大量的水土流失原始信息。如何结合水土保持的历史数据和实时数据,及时掌握土壤侵蚀的变化情况是迫切需要解决的问题。为此,本文以铜仁市木寨河小江流域为例,提出... 随着水土保持预防监督体系和监测网络的不断完善,各地水土保持部门积累了大量的水土流失原始信息。如何结合水土保持的历史数据和实时数据,及时掌握土壤侵蚀的变化情况是迫切需要解决的问题。为此,本文以铜仁市木寨河小江流域为例,提出一种基于Hadoop和Storm技术融合的大数据监测系统解决方案。 展开更多
关键词 水土保持 监测系统 大数据 HADOOP storm
下载PDF
基于Storm的涉油气犯罪实时检测系统的研究与应用
17
作者 张丽华 李宏博 +4 位作者 王健 张伟民 李欣欣 李娟 邵国强 《智能计算机与应用》 2023年第7期123-127,共5页
针对重点涉油气企业犯罪人群分布特性,构建一个分析模型至关重要。通过对比分析、经验总结及仿真实验等研究方法来全局掌握涉犯罪人群热度指数、分布密度等因素,并借助服务器和Storm等相关技术搭建数据处理平台,再基于Logstash构建热力... 针对重点涉油气企业犯罪人群分布特性,构建一个分析模型至关重要。通过对比分析、经验总结及仿真实验等研究方法来全局掌握涉犯罪人群热度指数、分布密度等因素,并借助服务器和Storm等相关技术搭建数据处理平台,再基于Logstash构建热力图,对数据具体位置结果进行判定,实现最终的设计及体系架构。经过本次构建研究,可以更精准地监测犯罪者,预判涉油气行业,尤其是在未来涉油气犯罪的总体趋势,充分发挥了数据处理的实时性,为涉油气企业资源犯罪的防控提供了相应的参考依据与保障。 展开更多
关键词 大数据处理 storm技术 Logstash 热力图 实时检测
下载PDF
基于Storm平台的数据迁移合并节能策略 被引量:7
18
作者 蒲勇霖 于炯 +3 位作者 鲁亮 李梓杨 卞琛 廖彬 《通信学报》 EI CSCD 北大核心 2019年第12期68-85,共18页
针对Storm存在低效率、高能耗的问题,通过分析Storm平台的基本框架与拓扑结构,设计了资源约束模型、最优线程数据重组原则和节点降压原则,并在此基础上提出了基于Storm平台的数据迁移合并节能策略(DMM-Storm),包括资源约束算法、数据迁... 针对Storm存在低效率、高能耗的问题,通过分析Storm平台的基本框架与拓扑结构,设计了资源约束模型、最优线程数据重组原则和节点降压原则,并在此基础上提出了基于Storm平台的数据迁移合并节能策略(DMM-Storm),包括资源约束算法、数据迁移合并算法和节点降压算法。其中资源约束算法根据资源约束模型,判断工作节点是否允许数据的迁移;数据迁移合并算法根据最优线程数据重组原则,设计了最优的线程数据迁移方法;节点降压算法根据节点降压限制条件,降低了工作节点的电压。实验结果表明,与现有的节能策略相比,执行DMM-Storm在不影响集群性能的前提下,有效降低了能耗。 展开更多
关键词 大数据 storm 资源约束 数据迁移 能耗
下载PDF
storm平台下工作节点的内存电压调控节能策略 被引量:7
19
作者 蒲勇霖 于炯 +3 位作者 鲁亮 卞琛 廖彬 李梓杨 《通信学报》 EI CSCD 北大核心 2018年第10期97-117,共21页
针对传统大数据流式计算平台节能策略并未考虑数据处理及传输的实时性问题,首先根据数据流处理的特点与storm集群的结构,建立有向无环图、实例并行度、任务资源分配与关键路径模型。其次结合拓扑执行关键路径与系统性能的分析,提出一种s... 针对传统大数据流式计算平台节能策略并未考虑数据处理及传输的实时性问题,首先根据数据流处理的特点与storm集群的结构,建立有向无环图、实例并行度、任务资源分配与关键路径模型。其次结合拓扑执行关键路径与系统性能的分析,提出一种storm平台下工作节点的内存电压调控节能策略(WNDVR-storm,energy-efficient strategy for work node by dram voltage regulation in storm),该策略针对是否有工作节点位于拓扑执行的非关键路径上设计了2种节能算法。最后根据系统数据处理及传输的制约条件确定工作节点CPU使用率与数据传输量的阈值,并对选定的工作节点内存电压做出动态调整。实验结果表明,该策略能有效降低能耗,且制约条件越小节能效率越高。 展开更多
关键词 大数据 流式计算 storm 关键路径 内存电压 能耗
下载PDF
基于Storm的海量数据实时聚类 被引量:30
20
作者 王铭坤 袁少光 +1 位作者 朱永利 王德文 《计算机应用》 CSCD 北大核心 2014年第11期3078-3081,共4页
针对现有平台处理海量数据实时响应能力普遍较差的问题,引入Storm分布式实时计算平台进行大规模数据的聚类分析,设计了基于Storm框架的DBSCAN算法。该算法将整个过程分为数据接入、聚类分析、结果输出等阶段,在框架预定义的组件中分别... 针对现有平台处理海量数据实时响应能力普遍较差的问题,引入Storm分布式实时计算平台进行大规模数据的聚类分析,设计了基于Storm框架的DBSCAN算法。该算法将整个过程分为数据接入、聚类分析、结果输出等阶段,在框架预定义的组件中分别编程实现,各组件通过数据流连通形成任务实体,提交到集群运行完成。通过对比分析和性能监测,验证了所提方案具有低延迟和高吞吐量的优势,集群运行状况良好,负载均衡。实验结果表明Storm平台处理海量数据实时性较高,能够胜任大数据背景下的数据挖掘任务。 展开更多
关键词 storm 海量数据 聚类 实时分析
下载PDF
上一页 1 2 10 下一页 到第
使用帮助 返回顶部