期刊文献+
共找到1,134篇文章
< 1 2 57 >
每页显示 20 50 100
基于改进的Flume实时数据采集系统应用研究
1
作者 周伟 《河北软件职业技术学院学报》 2023年第4期1-5,共5页
通过对Apache Flume日志采集系统的实时数据采集方案进行比较,并针对Flume现有的实时数据采集方案进行分析,提出了一种基于Flume改进的实时数据采集方案。实验证明,改进后的实时数据采集方案具有可行性。
关键词 flume 日志采集 实时数据采集
下载PDF
Flume Experiment Investigation on Propagation Characteristics of Tidal Bore in A Curved Channel
2
作者 FAN Jun TAO Ai-feng +2 位作者 SHI Mo-quan LI Ying PENG Ji 《China Ocean Engineering》 SCIE EI CSCD 2023年第1期131-144,共14页
Tidal bore is a special and intensive form of flow movement induced by tidal effect in estuary areas, which has complex characteristics of profile, propagation and flow velocity. Although it has been widely studied fo... Tidal bore is a special and intensive form of flow movement induced by tidal effect in estuary areas, which has complex characteristics of profile, propagation and flow velocity. Although it has been widely studied for the generation mechanism, propagation features and influencing factors, the curved channel will complicate the characteristics of tidal bore propagation, which need further investigation compared with straight channel. In this study, the flume experiments for both undular and breaking bores’ propagation in curved channel are performed to measure the freesurface elevation and flow velocity by ultrasonic sensors and ADV respectively. The propagation characteristics,including tidal bore height, cross-section surface gradient, tidal bore propagation celerity, and flow velocity are obtained for both sides of the curved channel. And three bore intensities are set for each type of tidal bores. The freesurface gradients are consistently enlarged in high-curvature section for undular and breaking bores, but have distinct behaviors in low-curvature section. The spatial distributions of tidal bore propagation celerity and flow velocity are compared between concave and convex banks. This work will provide experimental reference for engineering design of beach and seawall protection, erosion reduction and siltation promotion in estuary areas with the existence of tidal bores. 展开更多
关键词 tidal bore curved channel flume experiment propagation celerity bore intensity
下载PDF
Flow Structure and Short-Term Riverbed Evolution in Curved Flumes
3
作者 Shuxian Gao Yonggang Cao +1 位作者 Yuchuan Bai Yanhua Yang 《Fluid Dynamics & Materials Processing》 EI 2023年第2期487-500,共14页
River bending is the major effect responsible for bed topography and bank changes.In this study,fluid velocity(measured by a three-dimensional Doppler advanced point current meter)and bed topographical data have been ... River bending is the major effect responsible for bed topography and bank changes.In this study,fluid velocity(measured by a three-dimensional Doppler advanced point current meter)and bed topographical data have been collected in 40 sections of an experimental model.The whole flume was composed of an organic glass bend,upstream and downstream water tanks,two transition straight sections,a circulation pump,and a connection pipeline.Each section has been found to be characterized by a primary circulation and a small reverse circulation,with some sections even presenting three more or more circulation structures.The minimum circulation intensity has been detected in proximity to the top of the curved channel,while a region with small longitudinal velocity has been observed near the concave bank of each bend,corresponding to the flat bed formed after a short period of scouring.The maximum sediment deposition and scour depth in the presence of a uniform distribution of living flexible vegetation within 10 cm of the flume wall have been found to be smaller than those observed in the tests conducted without vegetation. 展开更多
关键词 Continuous curved flume experimental study flow structure bed short-term evolution living flexible vegetation
下载PDF
基于Flume和Flink的轨道交通智能运维数据接收解析系统
4
作者 王诗航 张明昊 +1 位作者 赵运哲 周钰琳 《技术与市场》 2023年第4期86-90,共5页
随着轨道交通智能运维技术的不断发展,越来越多的车载设备将数据通过车载无线通信设备下发至地面服务器进行存储、分析以及可视化显示。通过研究相关大数据技术,提出一种基于日志收集框架Flume和流数据处理引擎Flink的智能运维数据接收... 随着轨道交通智能运维技术的不断发展,越来越多的车载设备将数据通过车载无线通信设备下发至地面服务器进行存储、分析以及可视化显示。通过研究相关大数据技术,提出一种基于日志收集框架Flume和流数据处理引擎Flink的智能运维数据接收解析系统,可在高吞吐量的基础上保证稳定性与实时性。 展开更多
关键词 轨道交通 智能运维 数据接收解析 flume Flink
下载PDF
基于Flume的分布式日志采集分析系统设计与实现 被引量:26
5
作者 陈飞 艾中良 《软件》 2016年第12期-,共7页
互联网的迅猛发展以及大数据相关技术的兴起,使得日志数据的规模日益剧增,给已有的日志采集及分析系统带来了挑战;同时针对互联网安全的攻击活动也层出不穷,如何在海量的日志中及时提取有效的信息以为企业安全提供信息支撑,也给现有的... 互联网的迅猛发展以及大数据相关技术的兴起,使得日志数据的规模日益剧增,给已有的日志采集及分析系统带来了挑战;同时针对互联网安全的攻击活动也层出不穷,如何在海量的日志中及时提取有效的信息以为企业安全提供信息支撑,也给现有的分析系统提出了新的需求。本文结合使用Flume、Elasticsearch以及Kibana等技术手段提出了一种分布式的日志采集分析系统,从系统设计和架构等方面提出了新的解决思路,并针对Nginx的访问日志进行了实时采集和分析及展示,完成了原型系统的实现,实验证明,基于Flume的分布式的日志采集分析系统方案具有可行性。 展开更多
关键词 信息安全 日志采集 flume Elasticsearch Kibana
下载PDF
基于Flume的MySQL数据自动收集系统 被引量:5
6
作者 于金良 朱志祥 梁小江 《计算机技术与发展》 2016年第12期137-141,共5页
针对分布式系统中、不同数据中心之间的数据收集,同时解决将数据由关系型数据库交换到非关系型数据库的问题,提出一种基于Flume的MySQL数据库数据自动收集系统。为了符合现实中的生产环境,该系统采用的是一种星型拓扑结构。系统可以自... 针对分布式系统中、不同数据中心之间的数据收集,同时解决将数据由关系型数据库交换到非关系型数据库的问题,提出一种基于Flume的MySQL数据库数据自动收集系统。为了符合现实中的生产环境,该系统采用的是一种星型拓扑结构。系统可以自动查询给定的MySQL数据库表,自动检测表中的数据更新,实现自动增量传输,并对原始数据进行封装、解析,最终将数据存储到非关系型数据库HBase中。在测试中,系统中每台机器的平均传输速度可达到1 111 kb/s,系统总的平均传输速度可以达到3 333 kb/s,并且保证了数据的完整性,实现了可靠高效传输的目标。 展开更多
关键词 flume MYSQL数据库 数据收集 HBASE JDBC
下载PDF
基于Apache Flume的分布式日志收集系统设计与实现 被引量:15
7
作者 郝璇 《软件导刊》 2014年第7期110-111,共2页
基于Apache Flume的开源日志收集系统,设计并实现了一个适用于异构网站平台间的分布式日志收集系统。该系统将多个网站的日志集中存储,为进行下一步的日志分析提供了数据支持,也为云平台下的网站日志收集方案提供了参考依据。
关键词 APACHE flume 分布式 日志收集
下载PDF
基于Apache Flume的大数据日志收集系统 被引量:3
8
作者 于秦 《中国新通信》 2016年第18期41-41,共1页
在信息化及大数据时代下,各种应用程序的分散及生成的日志信息成爆炸式增长,怎么有效的收集这些日志,并对它进行在线和离线分析,已经成为这领域的热点。我们在现有的Apache Flume、Hadoop等框架下,设计实现了一种大数据日志收集系统。
关键词 APACHE flume 日志收集 HADOOP
下载PDF
Flume系统的隐蔽信道搜索问题研究 被引量:1
9
作者 曹珲 熊胜超 +1 位作者 张焕国 严飞 《计算机研究与发展》 EI CSCD 北大核心 2013年第11期2367-2374,共8页
Flume系统不仅可以为处于不同安全级别的进程传输信息提供安全保障,还可以通过显式标签机制解决在隐式标签系统中进程间通信连接超时导致的隐蔽信道问题.但是其系统中的部分不合理标签分配机制可能会导致信息在传递过程中同样存在泄露问... Flume系统不仅可以为处于不同安全级别的进程传输信息提供安全保障,还可以通过显式标签机制解决在隐式标签系统中进程间通信连接超时导致的隐蔽信道问题.但是其系统中的部分不合理标签分配机制可能会导致信息在传递过程中同样存在泄露问题.针对这个问题提出一种隐蔽信道搜索模型(covert channel detection model,CCDM),将隐蔽信道的搜索问题抽象为有向图联通问题.最后结合回溯算法的思想提出IniaPathSearch算法和QuickPathSearch算法来对隐蔽信道进行自动搜索.实验结果表明,IniaPathSearch算法和QuickPathSearch算法可以正确有效地对Flume系统中隐蔽信道进行检测,并能为信息传递提供合法最短路径,其结果可以用于指导提高系统的安全性. 展开更多
关键词 flume系统 隐蔽信道 隐蔽信道搜索模型 有向图 安全性
下载PDF
基于改进的Flume的实时数据采集系统 被引量:2
10
作者 朱涛 孙知信 宫婧 《科技资讯》 2021年第11期73-75,79,共4页
任意一个分布式系统都必须满足CAP理论,在数据分析分析系统中,最为重要的是效率以及可靠性,而数据采集时整个分析系统的基石,构建基于改进的Flume的实时数据采集系统,通过Flume采集数据,采用复合型Channel与Flume相结合,在保证数据源的... 任意一个分布式系统都必须满足CAP理论,在数据分析分析系统中,最为重要的是效率以及可靠性,而数据采集时整个分析系统的基石,构建基于改进的Flume的实时数据采集系统,通过Flume采集数据,采用复合型Channel与Flume相结合,在保证数据源的丰富性和可靠性的前提下,提高采集的效率。实验结果表明,该系统的各项功能符合预期结果,Flume使用复合型Channel可以提高采集效率。 展开更多
关键词 flume CAP 实时性 分布式
下载PDF
基于Flume的网络安全可视化系统 被引量:3
11
作者 宋密 王劲松 《天津理工大学学报》 2015年第2期38-42,共5页
随着互联网使用者的快速增长,网络安全问题也不断增多.传统的基于日志的入侵检测系统在处理海量信息时存在着实时性不足,认知负担过重等缺点.本文提出了一种基于Flume的网络安全日志可视化方法,利用Flume处理日志信息的高效性,实时收集... 随着互联网使用者的快速增长,网络安全问题也不断增多.传统的基于日志的入侵检测系统在处理海量信息时存在着实时性不足,认知负担过重等缺点.本文提出了一种基于Flume的网络安全日志可视化方法,利用Flume处理日志信息的高效性,实时收集网络安全日志,结合数据可视化方法,挖掘隐藏的网络异常信息.与传统的基于数据库存储的安全分析相比,提高了数据处理的实时性,能够更直观的展现网络网络异常. 展开更多
关键词 flume 信息熵 可视化
下载PDF
基于Flume的XML数据自动收集系统 被引量:1
12
作者 张晓龙 《科学技术与工程》 北大核心 2013年第30期9061-9065,共5页
针对分布式系统中的数据收集,提出了一种基于Flume的XML数据自动收集系统。根据实际需求,系统设计了一种新型的多层星状拓扑结构,以满足数据收集实时性的要求。该系统能够自动检测指定存储位置的XML数据更新,解析XML文本后存储到HBase... 针对分布式系统中的数据收集,提出了一种基于Flume的XML数据自动收集系统。根据实际需求,系统设计了一种新型的多层星状拓扑结构,以满足数据收集实时性的要求。该系统能够自动检测指定存储位置的XML数据更新,解析XML文本后存储到HBase数据库中。在测试中,该系统中各机器的平均处理速度能够达到550 Kb/s,系统总处理平均速度能够达到1 650 Kb/s。 展开更多
关键词 flume XML 数据收集 HBASE
下载PDF
A two-dimensional numerical wave flume based on SA-MPLS method 被引量:6
13
作者 HUANG Xiaoyun LI Shaowu 《Acta Oceanologica Sinica》 SCIE CAS CSCD 2012年第3期18-30,共13页
A spatially adaptive(SA) two-dimensional(2-D) numerical wave flume is presented based on the quadtree mesh system,in which a new multiple particle level set(MPLS) method is proposed to solve the problem of interface t... A spatially adaptive(SA) two-dimensional(2-D) numerical wave flume is presented based on the quadtree mesh system,in which a new multiple particle level set(MPLS) method is proposed to solve the problem of interface tracking,in which common intersection may be traversed by multiple interfaces.By using the adaptive mesh technique and the MPLS method,mesh resolution is updated automatically with time according to flow characteristics in the modeling process with higher resolution around the free surface and the solid boundary and lower resolution in less important area.The model has good performance in saving computer memory and CPU time and is validated by computational examples of small amplitude wave,second-order Stokes wave and cnoidal wave.Computational results also indicate that standing wave and wave overtopping are also reasonably simulated by the model. 展开更多
关键词 spatially adaptive quadtree MESH system multiple PARTICLE level set method numerical wave flume
下载PDF
Flume experimental study on evolution of a mouth bar under interaction of floods and waves 被引量:2
14
作者 Li Yan Men-wu Wu +2 位作者 Ying Chen Yao Wu Tian-sheng Wu 《Water Science and Engineering》 EI CAS CSCD 2019年第2期162-168,共7页
Based on the characteristics of hydrodynamics and sediment transport in the bar area in the Modaomen Estuary,a flume experiment was performed to study the evolution of the longitudinal profile of the mouth bar.The mou... Based on the characteristics of hydrodynamics and sediment transport in the bar area in the Modaomen Estuary,a flume experiment was performed to study the evolution of the longitudinal profile of the mouth bar.The mouth bar evolution was investigated under the impacts of floods with different return periods as well as flood-wave interaction.The results showed that floods with different return periods had significant influences on the evolution of the river mouth bar.Particularly on the inner slope of the mouth bar,the sediment was substantially active and moveable.The inner slope and the bar crest tended to be remarkably scoured.The erosion was intensified with the increase of the magnitude of floods.Moreover,the bar crest moved seawards,while the elevation of the bar crest barely changed.Under the flood-wave interaction,a remarkable amount of erosion on the inner and outer slopes of the mouth bar was also found.The seaward displacement of the bar crest under the interaction of floods and waves was less than it was under only the impact of floods,while more deposition was found on the crest of the mouth bar in this case. 展开更多
关键词 MODAOMEN MOUTH bar Wave FLOOD flume experiment SEDIMENT transport
下载PDF
基于Ansible和Flume的海量数据自动化采集系统 被引量:11
15
作者 赵创业 唐亮亮 +2 位作者 郭威 王哲 黄晓波 《电子设计工程》 2020年第3期47-51,共5页
随着国产数据库技术的发展,电网企业对相应数据库及中间件的应用逐步增多,业务中产生的大量的运维信息对国产数据库的自动化运维技术要求也随之提高。针对国产数据库和中间件产生的海量运维数据和日志,文中提出一种基于Ansible和Flume... 随着国产数据库技术的发展,电网企业对相应数据库及中间件的应用逐步增多,业务中产生的大量的运维信息对国产数据库的自动化运维技术要求也随之提高。针对国产数据库和中间件产生的海量运维数据和日志,文中提出一种基于Ansible和Flume的高效数据采集系统。该系统通过调用Python脚本的方式定期从Ansible Inventory中拉取各主机的运行状态信息,同时由Flume配置采集agent到各数据库和中间件服务器中,进行日志数据的采集、预处理和下放,并将数据输出到数据库中,实现对数据库和中间件运行数据的自动化采集与管理。经系统测试,该系统可以高效完成多线程Web访问,并在数据采集方面表现出良好的性能。 展开更多
关键词 国产数据库 Ansible flume 数据采集 自动化运维
下载PDF
基于Apache Flume的MR数据采集实现方案 被引量:4
16
作者 周波 《电信科学》 2018年第S1期216-221,共6页
为用户提供高质量的网络覆盖是运营商不变的追求,随着4G业务的发展,作为网络质量分析重要依据的MR数据的数据体量也呈现出井喷式的增长势头。传统的以FTP技术为基础的MR数据采集方案面对越来越高的数据量显得力不从心。针对MR数据采集... 为用户提供高质量的网络覆盖是运营商不变的追求,随着4G业务的发展,作为网络质量分析重要依据的MR数据的数据体量也呈现出井喷式的增长势头。传统的以FTP技术为基础的MR数据采集方案面对越来越高的数据量显得力不从心。针对MR数据采集的业务场景,提出了基于Flume技术的数据采集实现方案,并针对海量数据的运行环境现行方案进行了对比。 展开更多
关键词 flume 数据采集 MR
下载PDF
Numerical Model of Cnoidal Wave Flume 被引量:2
17
作者 王永学 臧军 邱大洪 《China Ocean Engineering》 SCIE EI 1999年第4期391-398,共8页
The volume of fluid(VOF)method is used to set up a wave flume with an absorbing wavemaker of cnoidal waves.Based on the transfer function between wave surface and paddle velocity obtained bythe shallow water wave th... The volume of fluid(VOF)method is used to set up a wave flume with an absorbing wavemaker of cnoidal waves.Based on the transfer function between wave surface and paddle velocity obtained bythe shallow water wave theory,the velocity boundary condition of an absorbing wave maker is introduced toabsorb reflected waves that reach the numerical wave maker.For H/d ranging from 0.1 to 0.59 and T(g/d)<sup>1/2</sup>from 7.9 to 18.3,the parametric studies have been carried out and compared with experiments. 展开更多
关键词 NUMERICAL WAVE flume cnoidal WAVES VOF method
下载PDF
基于Flume的分布式日志聚合系统的研究 被引量:2
18
作者 陈军 《科技视界》 2017年第11期77-77,114,共2页
互联网的迅猛发展以及大数据相关技术的兴起,使得日志数据的规模日益剧增,给已有的日志采集及分析系统带来了挑战;本文结合使用Flume、Elasticsearch以及Kibana等技术手段提出了一种分布式的日志采集分析系统,从系统设计和架构等方面提... 互联网的迅猛发展以及大数据相关技术的兴起,使得日志数据的规模日益剧增,给已有的日志采集及分析系统带来了挑战;本文结合使用Flume、Elasticsearch以及Kibana等技术手段提出了一种分布式的日志采集分析系统,从系统设计和架构等方面提出了新的解决思路,并针对Flume的访问日志进行了实时采集和分析及展示。 展开更多
关键词 日志采集 flume Elasticsearch Kibana
下载PDF
一种基于Flume的海量数据分流方案 被引量:3
19
作者 周波 《电信科学》 北大核心 2016年第S1期220-225,共6页
随着各类业务系统接入数据量的爆炸式增长,传统的基于负载均衡器的数据分流方案已无法满足海量数据业务场景的要求。介绍了一种适用于大数据场景下的负载均衡方案,并讨论了和传统方式相比所具备的主要优势。
关键词 负载均衡 flume 大数据
下载PDF
基于Flume、Kafka的日志采集系统分析研究 被引量:2
20
作者 李柯 《电子技术与软件工程》 2022年第10期255-258,共4页
本文对数据采集工具flume、Kafka进行简单介绍、分析研究和应用,对flume+Kafka的组合优势和原理进行阐述分析。本文通过多种flume和Kafka组件种类的组合,在日志采集系统上的应用进行了分析,并对channel组件吞吐速率和容错率之间的矛盾... 本文对数据采集工具flume、Kafka进行简单介绍、分析研究和应用,对flume+Kafka的组合优势和原理进行阐述分析。本文通过多种flume和Kafka组件种类的组合,在日志采集系统上的应用进行了分析,并对channel组件吞吐速率和容错率之间的矛盾进行讨论研究。数据采集已成为大数据产业的重要组成部分,而日志文件逐渐成为数据分析的主要来源之一。日志文件生成速度快、来源广,使得实时日志采集系统的开发与更新变得至关重要。分布式日志采集系统正在朝着负载均衡、高容错、高可靠的方向发展。 展开更多
关键词 flume Kafka 日志采集 数据采集
下载PDF
上一页 1 2 57 下一页 到第
使用帮助 返回顶部