期刊导航
期刊开放获取
河南省图书馆
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于SQL模版的大数据批处理设计与实现
1
作者
曾姣艳
高宋俤
曾美艳
《沈阳工程学院学报(自然科学版)》
2022年第2期90-96,共7页
大数据的组件种类繁多,选择合适的组件及其调用方式能极大地降低大数据平台的使用成本。基于SQL模版的大数据处理平台,让业务方仅需掌握SQL语句就可以选择平台底层不同的计算引擎完成数据分析工作。平台选用了基于ANTLR解析SQL的大数据...
大数据的组件种类繁多,选择合适的组件及其调用方式能极大地降低大数据平台的使用成本。基于SQL模版的大数据处理平台,让业务方仅需掌握SQL语句就可以选择平台底层不同的计算引擎完成数据分析工作。平台选用了基于ANTLR解析SQL的大数据组件——Hive、SparkSQL、Presto来作为底层批处理和即席查询的计算引擎,利用ANTLR工具实现了对SQL语句二次解析和定制化开发工作,解决了业务方数据权限的难题。平台架构从上往下分为数据拉取层、SQL语句解析路由层及底层计算引擎和分布式存储层,使用Airflow组件作为作业调度,利用SQL语句模版完成了数据拉取、数据质量监控和业务方数据分析处理的工作,极大地降低了业务方的技术成本,简化了大数据平台搭建及二次开发的复杂度。
展开更多
关键词
大数据平台
sql模版
Hive
Spark
sql
Presto
ANTLR
AIRFLOW
下载PDF
职称材料
题名
基于SQL模版的大数据批处理设计与实现
1
作者
曾姣艳
高宋俤
曾美艳
机构
福州外语外贸学院大数据学院
福州悟理妙信息科技有限公司
郴州职业技术学院
出处
《沈阳工程学院学报(自然科学版)》
2022年第2期90-96,共7页
文摘
大数据的组件种类繁多,选择合适的组件及其调用方式能极大地降低大数据平台的使用成本。基于SQL模版的大数据处理平台,让业务方仅需掌握SQL语句就可以选择平台底层不同的计算引擎完成数据分析工作。平台选用了基于ANTLR解析SQL的大数据组件——Hive、SparkSQL、Presto来作为底层批处理和即席查询的计算引擎,利用ANTLR工具实现了对SQL语句二次解析和定制化开发工作,解决了业务方数据权限的难题。平台架构从上往下分为数据拉取层、SQL语句解析路由层及底层计算引擎和分布式存储层,使用Airflow组件作为作业调度,利用SQL语句模版完成了数据拉取、数据质量监控和业务方数据分析处理的工作,极大地降低了业务方的技术成本,简化了大数据平台搭建及二次开发的复杂度。
关键词
大数据平台
sql模版
Hive
Spark
sql
Presto
ANTLR
AIRFLOW
Keywords
Big data platform
sql
template
Hive
Spark
sql
Presto
ANTLR
Airflo
分类号
TP391 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于SQL模版的大数据批处理设计与实现
曾姣艳
高宋俤
曾美艳
《沈阳工程学院学报(自然科学版)》
2022
0
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部