期刊文献+
共找到177篇文章
< 1 2 9 >
每页显示 20 50 100
Thermospheric circulation model in meridian plane (I)——Storm time variations in thermal status and circulation 被引量:2
1
作者 萧佐 王劲松 《Science China(Technological Sciences)》 SCIE EI CAS 2000年第6期577-585,共9页
A thermospheric circulation model in meridian plane (TCMMP) is introduced and a case study on the variations in night side thermosphere caused by energy deposition in auroral oval during a single magnetic substorm is ... A thermospheric circulation model in meridian plane (TCMMP) is introduced and a case study on the variations in night side thermosphere caused by energy deposition in auroral oval during a single magnetic substorm is expounded. Calculations show that TCMMP can correctly reflect the thermospheric thermal status and circulation patterns during storm time and the results are in agreement with previous theoretical and observational ones. This paper and other works also show the validity of TCMMP in researches on medium and large scale changes in mid- and low latitude thermosphere. Results also support strongly some related theory about the cause of ionospheric storms, expecially the negative phase storms. 展开更多
关键词 thermospheric model thermospheric storm storm time CIRCULATION IONOSPHERIC storm
原文传递
基于Storm的涉油气犯罪实时检测系统的研究与应用
2
作者 张丽华 李宏博 +4 位作者 王健 张伟民 李欣欣 李娟 邵国强 《智能计算机与应用》 2023年第7期123-127,共5页
针对重点涉油气企业犯罪人群分布特性,构建一个分析模型至关重要。通过对比分析、经验总结及仿真实验等研究方法来全局掌握涉犯罪人群热度指数、分布密度等因素,并借助服务器和Storm等相关技术搭建数据处理平台,再基于Logstash构建热力... 针对重点涉油气企业犯罪人群分布特性,构建一个分析模型至关重要。通过对比分析、经验总结及仿真实验等研究方法来全局掌握涉犯罪人群热度指数、分布密度等因素,并借助服务器和Storm等相关技术搭建数据处理平台,再基于Logstash构建热力图,对数据具体位置结果进行判定,实现最终的设计及体系架构。经过本次构建研究,可以更精准地监测犯罪者,预判涉油气行业,尤其是在未来涉油气犯罪的总体趋势,充分发挥了数据处理的实时性,为涉油气企业资源犯罪的防控提供了相应的参考依据与保障。 展开更多
关键词 大数据处理 storm技术 Logstash 热力图 实时检测
下载PDF
Characteristic Analysis of Short Time Heavy Rain in Yulin, China
3
作者 Yiqing Xiao Qiyuan Hu +1 位作者 Pingyun Li Jing Yao 《Journal of Geoscience and Environment Protection》 2023年第9期165-175,共11页
National Centers for Environment Prediction (NCEP) reanalysis data, automatic observation data, FY-2E satellite data and Doppler radar data are used to analyze a short-time local heavy rain in Yulin city, Shaanxi, Chi... National Centers for Environment Prediction (NCEP) reanalysis data, automatic observation data, FY-2E satellite data and Doppler radar data are used to analyze a short-time local heavy rain in Yulin city, Shaanxi, China on August 7, 2018. The result shows that the strong convective weather occurred in peripheral subtropical high over west pacific, being caused by short wave disturbance, and surface convergence lines with positive pressure variation are corresponding to areas of short-time heavy precipitation. The degree of temperature change in cold pool caused by thunderstorm may decide the intensity of a short-time rainfall, and local topography plays an important role in extreme precipitation. Local water vapour accumulation and water vapour flux convergence in the middle and lower layers support adequate moisture condition in the process. Moving direction and development direction of mesocale convective cloud are in a line to develop the train effect, leading to local short-time heavy rain in Yulin city, Shaanxi, China. 展开更多
关键词 Short-time Rain storm Precipitable Water Vapor Flux Divergence Train Effect
下载PDF
Storm实现的应用模型研究 被引量:13
4
作者 邓立龙 徐海水 《广东工业大学学报》 CAS 2014年第3期114-118,共5页
通过对Storm的核心理念和编程模型进行探讨,分析了Storm的工作方式和应用方法,并对一个基于Storm实现的数据分析处理系统进行了性能测试和水平扩展测试.实验结果表明,Storm实现的数据分析处理系统在性能和可伸缩性上要优于传统的数据分... 通过对Storm的核心理念和编程模型进行探讨,分析了Storm的工作方式和应用方法,并对一个基于Storm实现的数据分析处理系统进行了性能测试和水平扩展测试.实验结果表明,Storm实现的数据分析处理系统在性能和可伸缩性上要优于传统的数据分析处理系统. 展开更多
关键词 storm 分布式并行计算 大数据
下载PDF
基于Storm的实时计算框架的研究与应用 被引量:21
5
作者 李川 鄂海红 宋美娜 《软件》 2014年第10期16-20,共5页
互联网数据的增长,催生了一大批新的数据处理技术,Map Reduce,Hadoop及相关技术使得我们能够处理的数据量比以前要大得多,但这些技术的设计目的都不是为了实时计算。然而随着社交网络服务的流行,大规模的实时数据处理已经越来越成为一... 互联网数据的增长,催生了一大批新的数据处理技术,Map Reduce,Hadoop及相关技术使得我们能够处理的数据量比以前要大得多,但这些技术的设计目的都不是为了实时计算。然而随着社交网络服务的流行,大规模的实时数据处理已经越来越成为一种业务需求。Twitter Storm的出现弥补了Hadoop在实时处理方面的不足。本文就Storm的组成、运行机制以及计算模型进行研究,并设计与实现了基于Storm的社交网络中热门话题的实时计算问题。 展开更多
关键词 实时计算 storm框架 TopN问题 大数据
下载PDF
面向大数据的Storm框架研究与应用 被引量:9
6
作者 赵菲 林穗 高西刚 《微型机与应用》 2016年第6期12-14,共3页
大数据计算主要包括批量计算和实时计算,针对批量计算处理的都是历史数据而不能实现低延迟高响应的缺点,基于Storm并借助开源框架Flume、Kafka,设计了一个实时数据收集与处理的系统,将数据转为流的形式,对收集来的数据直接在内存以流的... 大数据计算主要包括批量计算和实时计算,针对批量计算处理的都是历史数据而不能实现低延迟高响应的缺点,基于Storm并借助开源框架Flume、Kafka,设计了一个实时数据收集与处理的系统,将数据转为流的形式,对收集来的数据直接在内存以流的形式进行计算,输出有价值的信息。最后对系统进行性能测试以及计算能力的测试。实验结果表明,该系统可扩展性良好,且并行计算能力稳定,适合大量实时数据处理。 展开更多
关键词 实时计算 storm 并行编程
下载PDF
基于Storm的电网时间序列数据实时预测框架 被引量:7
7
作者 吴克河 朱亚运 +1 位作者 李皓阳 李权 《计算机工程》 CAS CSCD 北大核心 2017年第4期8-14,共7页
对电网运行产生的时间序列数据展开实时预测研究,提出基于Storm平台和ARIMA模型的预测框架。分析不同类型电网时序数据的特点,预设拟合模型以降低模型构建的盲目性,缩短预测时间,同时设计基于HBase的新型时序数据存储模式加快数据检索... 对电网运行产生的时间序列数据展开实时预测研究,提出基于Storm平台和ARIMA模型的预测框架。分析不同类型电网时序数据的特点,预设拟合模型以降低模型构建的盲目性,缩短预测时间,同时设计基于HBase的新型时序数据存储模式加快数据检索速度。通过对海量的时序数据源进行并发预测,比较不同数据样本对预测值的影响并实时分析预测误差。经实例从预测精度、运算速度、占用资源3个角度验证了该框架的有效性与实用性。 展开更多
关键词 时间序列数据 实时预测 storm平台 自回归积分移动平均模型 电网 大数据
下载PDF
基于Apache Storm的大规模网络流量实时监控系统研究 被引量:3
8
作者 姚欣 王劲松 《天津理工大学学报》 2016年第6期25-29,47,共6页
近些年来,接入设备的激增、网络应用及协议的不断涌现和互联网流量的爆发式增长为数据分析与处理带来极大挑战,计算速度以及横向扩展能力已成为制约传统架构模式的网络流量监控系统向高并发网络环境迁移的主要瓶颈.本文面向大规模网络,... 近些年来,接入设备的激增、网络应用及协议的不断涌现和互联网流量的爆发式增长为数据分析与处理带来极大挑战,计算速度以及横向扩展能力已成为制约传统架构模式的网络流量监控系统向高并发网络环境迁移的主要瓶颈.本文面向大规模网络,提出并实现了一种以Storm Topology计算模型为基础的网络流量实时监控系统设计方案.通过对天津教育城域网实时Netflow数据的采集与处理,本文对该设计方案的计算性能进行了验证,此外,本文还从系统吞吐量和并发节点数对计算速度的影响这两方面对Storm集群进行了分析与探究. 展开更多
关键词 大规模网络 实时监控 storm NETFLOW
下载PDF
基于Storm的分布式实时信号处理系统
9
作者 周明阳 闫超 +2 位作者 郭良浩 徐鹏 任岁玲 《计算机应用》 CSCD 北大核心 2017年第A01期68-71,共4页
针对传统基于数字信号处理器(DSP)的实时信号处理系统存在的编程复杂、硬软件耦合紧、可靠性和扩展性差等问题,提出了一种基于大数据流式实时处理系统Storm的新型信号处理机架构。该架构利用通用处理器和Storm系统替代DSP处理器和其相... 针对传统基于数字信号处理器(DSP)的实时信号处理系统存在的编程复杂、硬软件耦合紧、可靠性和扩展性差等问题,提出了一种基于大数据流式实时处理系统Storm的新型信号处理机架构。该架构利用通用处理器和Storm系统替代DSP处理器和其相应的数据流程序框架,对阵列信号处理算法进行模块化分解,并揉入Storm拓扑中,由Storm通用处理器集群完成数据的传输和处理。利用常规波束形成算法对新型系统进行测试,其对一拍数据进行傅里叶变换与波束形成计算的时间分别为59.13 ms和5.27 ms,远小于两个数据节拍之间的时间间隔。利用人工去除节点来模拟节点失效,系统能够进行自我修复并继续运行。结果与分析表明新型架构完全能够满足水声阵列信号处理系统对实时性的要求,且可靠性高、可扩展性与程序可复用性好。 展开更多
关键词 信号处理系统 storm 实时 并行计算 波束形成
下载PDF
基于Kafka和Storm的车辆套牌实时分析存储系统 被引量:8
10
作者 任培花 苏铭 《计算机系统应用》 2019年第10期74-79,共6页
城市机动车数量、出行量的增加,使得车辆套牌现象屡禁不止.交管部门为了解决套牌监测的难题,采用传统的识别方式(如基于人工识别、基于牌照识别、基于射频识别等).然而面对海量的日志记录,这些方式普遍存在效率低、实时性差的问题.为此... 城市机动车数量、出行量的增加,使得车辆套牌现象屡禁不止.交管部门为了解决套牌监测的难题,采用传统的识别方式(如基于人工识别、基于牌照识别、基于射频识别等).然而面对海量的日志记录,这些方式普遍存在效率低、实时性差的问题.为此引入大数据技术,提出一个基于Kafka和Storm的车辆套牌实时分析存储系统.Kafka可以作为中间件进行缓存,提高数据采集和数据分析的同步性,还能避免数据丢失;Storm框架可以实现日志信息的实时计算,然后将套牌车辆信息存入指定文档中.整个系统具有实时、分布式存储、稳定、可扩展等特性. 展开更多
关键词 Kafka storm 车辆套牌 实时分析存储
下载PDF
Storm下基于最佳并行度的贪心调度算法 被引量:1
11
作者 熊安萍 段杭彪 蒋亚雄 《计算机应用研究》 CSCD 北大核心 2019年第4期1068-1071,1079,共5页
开源分布式实时计算框架Storm在互联网、金融、电子商务等领域得到了广泛应用。Storm默认采用轮询的调度策略,且依赖用户对topology任务的并行度配置,当配置不合理时依然会造成topology处理时延增大、吞吐量降低等问题。针对该问题,提... 开源分布式实时计算框架Storm在互联网、金融、电子商务等领域得到了广泛应用。Storm默认采用轮询的调度策略,且依赖用户对topology任务的并行度配置,当配置不合理时依然会造成topology处理时延增大、吞吐量降低等问题。针对该问题,提出了一种Storm下基于最佳并行度的贪心调度算法。调度时先求解topology任务中各组件的最佳并行度,再采用贪心策略进行调度,以最小化节点间的网络通信开销。通过与默认调度算法、线上调度算法和热边调度算法进行实验比较,结果表明该算法能够有效降低Storm处理时延,提高系统吞吐量和资源利用率。 展开更多
关键词 实时计算 storm 最佳并行度 贪心策略 调度算法
下载PDF
综艺舞蹈节目的创作问题探究——以《舞蹈风暴》为例
12
作者 宗怡然 魏帅 《淮南师范学院学报》 2024年第1期120-123,共4页
随着“影像技术”的发展,以《舞蹈风暴》为代表的综艺舞蹈节目一度成为“爆款综艺”。就其形式和内容而言,该类型节目有悖于“舞蹈本体”艺术,具体体现在影像技术的泛化、大众审美的干预以及身体语言的弱化等几个方面。基于此,文章提出... 随着“影像技术”的发展,以《舞蹈风暴》为代表的综艺舞蹈节目一度成为“爆款综艺”。就其形式和内容而言,该类型节目有悖于“舞蹈本体”艺术,具体体现在影像技术的泛化、大众审美的干预以及身体语言的弱化等几个方面。基于此,文章提出建构舞蹈动作的“身体修辞”、强化文以载道的“审美标准”,以及形成“本土化意识”的综艺理念,以此为标准对综艺舞蹈节目进行规制与优化。 展开更多
关键词 《舞蹈风暴》 风暴时刻 综艺舞蹈
下载PDF
基于Storm的实时用户日志管理系统 被引量:2
13
作者 陈建峡 张月 +3 位作者 曾金怀 程鹏 王鹰适 倪一鸣 《湖北工业大学学报》 2016年第5期57-62,共6页
研究并开发了具有实时响应的大数据用户日志管理分析平台。采用Storm流式计算框架,完成用户日志分析的实时处理平台架构;采用Elastic Search作为实时搜索引擎,完成实时响应处理;使用Flume、Kafka技术完成海量日志采集、聚合和传输等功... 研究并开发了具有实时响应的大数据用户日志管理分析平台。采用Storm流式计算框架,完成用户日志分析的实时处理平台架构;采用Elastic Search作为实时搜索引擎,完成实时响应处理;使用Flume、Kafka技术完成海量日志采集、聚合和传输等功能。以某城市监狱管理系统的用户日志信息为实验数据,系统取得了良好的实验效果。为同时处理海量数据和实时响应用户请求的系统提供了可行性解决方案。 展开更多
关键词 storm 大数据 日志分析 实时处理 FLUME Kafka
下载PDF
两阶段BSO-SA算法求解带单边软时间窗的多车型VRP问题
14
作者 梁学恒 杨家其 向子权 《武汉理工大学学报(交通科学与工程版)》 2024年第1期19-24,共6页
在标准头脑风暴算法(BSO)的基础上,提出了一种新的两阶段头脑风暴退火算法(BSO-SA).根据多车型问题,设计了基于贪婪算法的编解码形式.使用K-medoids聚类代替BSO算法中的Kmeans聚类,以提高算法聚类性能.同时,采用了四种局部搜索算子,提... 在标准头脑风暴算法(BSO)的基础上,提出了一种新的两阶段头脑风暴退火算法(BSO-SA).根据多车型问题,设计了基于贪婪算法的编解码形式.使用K-medoids聚类代替BSO算法中的Kmeans聚类,以提高算法聚类性能.同时,采用了四种局部搜索算子,提高新解的产生效率.两阶段求解思路,解决了BSO算法容易陷入局部最优值和SA算法收敛较慢的问题.使用三个不同规模的算例用于验证,并与模拟退火、遗传算法、头脑风暴算法进行对比,结果验证了该算法的有效性. 展开更多
关键词 车辆路径优化 头脑风暴算法 两阶段 单边软时间窗
下载PDF
基于Storm的车联网数据实时分析系统 被引量:6
15
作者 张春风 申飞 +2 位作者 张俊 陈杰 刘静 《计算机系统应用》 2018年第3期44-50,共7页
针对传统车联网平台在处理海量数据时存在吞吐量小,实时性差的问题,设计了一种基于大数据流处理技术的实时分析系统.系统分为数据采集、数据转发、实时分析、数据存储和可视化展示5层.为了满足系统高并发接入以及实时性的需求,引入Stor... 针对传统车联网平台在处理海量数据时存在吞吐量小,实时性差的问题,设计了一种基于大数据流处理技术的实时分析系统.系统分为数据采集、数据转发、实时分析、数据存储和可视化展示5层.为了满足系统高并发接入以及实时性的需求,引入Storm实时计算系统进行数据的实时分析.同时,利用Kafka消息队列的异步通信机制将各层之间解耦,采用Hbase进行海量数据存储,从而提高车联网非机构化数据存储效率.另外,针对访问数据库开销大的问题,采用Redis缓存策略,进一步提高查询效率.实验证明,较传统的多线程处理平台,该系统具有低延迟,高吞吐,可拓展等特点,能够满足车联网大数据流处理要求. 展开更多
关键词 车联网 storm 实时分析 低延迟 高吞吐
下载PDF
基于Storm的面向大数据实时流查询系统设计研究 被引量:6
16
作者 蒋晨晨 季一木 +1 位作者 孙雁飞 王汝传 《南京邮电大学学报(自然科学版)》 北大核心 2016年第3期100-105,111,共7页
随着大数据的发展,传统的流查询系统框架不能满足用户实时查询的需求。通过调研传统的集中式查询系统与流计算框架,提出了一种新的能够适应用户处理连续查询的实时查询框架。该框架具备延时小、可拓展的特点。最后实验证明,该框架能够... 随着大数据的发展,传统的流查询系统框架不能满足用户实时查询的需求。通过调研传统的集中式查询系统与流计算框架,提出了一种新的能够适应用户处理连续查询的实时查询框架。该框架具备延时小、可拓展的特点。最后实验证明,该框架能够满足大数据流处理要求。 展开更多
关键词 大数据 流查询系统 storm平台 实时流数据
下载PDF
基于Storm的海量数据实时聚类 被引量:30
17
作者 王铭坤 袁少光 +1 位作者 朱永利 王德文 《计算机应用》 CSCD 北大核心 2014年第11期3078-3081,共4页
针对现有平台处理海量数据实时响应能力普遍较差的问题,引入Storm分布式实时计算平台进行大规模数据的聚类分析,设计了基于Storm框架的DBSCAN算法。该算法将整个过程分为数据接入、聚类分析、结果输出等阶段,在框架预定义的组件中分别... 针对现有平台处理海量数据实时响应能力普遍较差的问题,引入Storm分布式实时计算平台进行大规模数据的聚类分析,设计了基于Storm框架的DBSCAN算法。该算法将整个过程分为数据接入、聚类分析、结果输出等阶段,在框架预定义的组件中分别编程实现,各组件通过数据流连通形成任务实体,提交到集群运行完成。通过对比分析和性能监测,验证了所提方案具有低延迟和高吞吐量的优势,集群运行状况良好,负载均衡。实验结果表明Storm平台处理海量数据实时性较高,能够胜任大数据背景下的数据挖掘任务。 展开更多
关键词 storm 海量数据 聚类 实时分析
下载PDF
Storm集群下基于性能感知的负载均衡策略 被引量:1
18
作者 冯馨锐 谢彬 +1 位作者 唐鹏 秦健 《计算机系统应用》 2018年第12期181-186,共6页
Storm计算框架具有为多源异构大数据提供高效、快速、实时处理的能力.然而因Storm默认的调度策略使用了简单的轮询方法,无法根据集群动态的负载状态调整其任务的分配.针对该问题,提出了基于性能感知的负载均衡策略,根据节点的处理效率... Storm计算框架具有为多源异构大数据提供高效、快速、实时处理的能力.然而因Storm默认的调度策略使用了简单的轮询方法,无法根据集群动态的负载状态调整其任务的分配.针对该问题,提出了基于性能感知的负载均衡策略,根据节点的处理效率计算其性能感知值,并通过贪心调度保证节点的任务量与节点处理能力相匹配,以达到负载均衡的目的.通过与默认调度算法实验比较,结果表明该算法能够有效降低Storm处理时延,提高吞吐量和实现集群负载均衡. 展开更多
关键词 storm 实时计算 性能感知 负载均衡
下载PDF
基于Storm的实时报警服务的设计与实现 被引量:2
19
作者 马庆祥 刘钊远 《信息技术》 2016年第12期162-166,共5页
为检测系统日志和业务日志中的各种错误信息,提出了一种基于Storm的实时报警服务。该服务通过Scribe实时收集持续大流量的日志数据,采用分布式消息系统Kafka缓存,然后经Storm分析过滤、匹配报警规则。实验结果表明,该服务可以及时发现... 为检测系统日志和业务日志中的各种错误信息,提出了一种基于Storm的实时报警服务。该服务通过Scribe实时收集持续大流量的日志数据,采用分布式消息系统Kafka缓存,然后经Storm分析过滤、匹配报警规则。实验结果表明,该服务可以及时发现故障问题并发送报警信息,确保系统和业务的稳定运行。 展开更多
关键词 报警服务 实时流处理技术 storm
下载PDF
基于Storm平台的实时视频分析系统 被引量:7
20
作者 韩杰 陈耀武 《计算机工程》 CAS CSCD 北大核心 2015年第12期26-29,35,共5页
根据云计算平台下智能视频分析的实时性需求,设计一个基于Storm流计算框架的实时视频分析系统。采用短照片组进行视频流分割,损失部分视频传输带宽以降低整体延时,采用合并解码单元和视频分析单元的方法避免耗尽集群带宽,并利用工作窃... 根据云计算平台下智能视频分析的实时性需求,设计一个基于Storm流计算框架的实时视频分析系统。采用短照片组进行视频流分割,损失部分视频传输带宽以降低整体延时,采用合并解码单元和视频分析单元的方法避免耗尽集群带宽,并利用工作窃取机制加速算法执行。通过节点性能监控并利用贪心置换策略动态调节Worker Node负载,改进Storm的默认调度器,降低消息的处理延时。实验结果表明,在运行人脸检测算法的Storm集群中接入多路监控设备,实现100ms之内的消息处理延时和低于1s的整体延时,能够为云环境下多路监控终端提供实时稳定的视频分析服务。 展开更多
关键词 视频监控 storm平台 流计算 智能分析 实时视频分析 集群
下载PDF
上一页 1 2 9 下一页 到第
使用帮助 返回顶部