期刊导航
期刊开放获取
河南省图书馆
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于ELK与Spark的可扩展征信日志挖掘系统研究
被引量:
1
1
作者
陆奎
李存正
沈强
《金陵科技学院学报》
2020年第3期1-6,共6页
ELK架构是目前主流的日志大数据分析解决方案之一,ELK拥有比Spark更高的实时性,集成和部署比Spark简单方便,而且几乎可以在任何系统中进行集成。但是它的其通用性导致了它只能适用于一些简单的场景,无法像Spark一样精确针对每个应用系...
ELK架构是目前主流的日志大数据分析解决方案之一,ELK拥有比Spark更高的实时性,集成和部署比Spark简单方便,而且几乎可以在任何系统中进行集成。但是它的其通用性导致了它只能适用于一些简单的场景,无法像Spark一样精确针对每个应用系统进行复杂业务分析扩展。为了降低日志收集和清洗的开发成本同时兼顾分析的高实时性和可扩展性,结合ELK Stack与Spark,同时引入Kafka消息队列,构建了一套可扩展、高实时性且具有良好稳定性的征信日志挖掘系统。该系统比全栈Hadoop技术的大数据系统的开发工作量减少60%以上,且具有可根据企业需求灵活进行自定义分析组件的优点。
展开更多
关键词
ELK
SPARK
日志挖掘
征信日志
Kafka
下载PDF
职称材料
题名
基于ELK与Spark的可扩展征信日志挖掘系统研究
被引量:
1
1
作者
陆奎
李存正
沈强
机构
安徽理工大学计算机科学与工程学院
金陵
科技
学院网络与通信工程学院
南京务本信息科技有限责任公司
出处
《金陵科技学院学报》
2020年第3期1-6,共6页
基金
国家自然科学基金(61772033)。
文摘
ELK架构是目前主流的日志大数据分析解决方案之一,ELK拥有比Spark更高的实时性,集成和部署比Spark简单方便,而且几乎可以在任何系统中进行集成。但是它的其通用性导致了它只能适用于一些简单的场景,无法像Spark一样精确针对每个应用系统进行复杂业务分析扩展。为了降低日志收集和清洗的开发成本同时兼顾分析的高实时性和可扩展性,结合ELK Stack与Spark,同时引入Kafka消息队列,构建了一套可扩展、高实时性且具有良好稳定性的征信日志挖掘系统。该系统比全栈Hadoop技术的大数据系统的开发工作量减少60%以上,且具有可根据企业需求灵活进行自定义分析组件的优点。
关键词
ELK
SPARK
日志挖掘
征信日志
Kafka
Keywords
ELK
Spark
log mining
credit log
Kafka
分类号
TP319 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于ELK与Spark的可扩展征信日志挖掘系统研究
陆奎
李存正
沈强
《金陵科技学院学报》
2020
1
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部