期刊文献+
共找到4篇文章
< 1 >
每页显示 20 50 100
大数据场景下数据存储格式对比研究 被引量:1
1
作者 杨慧 程雪平 《现代计算机》 2023年第18期53-59,共7页
针对大数据场景下的数据存储格式,通过对比分析存储压缩比、读写性能和数据查询效率等方面的差异,从实验角度探究不同存储格式的优劣势。在实验中,选取了常见的数据存储格式进行了对比研究,包括文本格式、CSV格式、JSON格式、Parquet格... 针对大数据场景下的数据存储格式,通过对比分析存储压缩比、读写性能和数据查询效率等方面的差异,从实验角度探究不同存储格式的优劣势。在实验中,选取了常见的数据存储格式进行了对比研究,包括文本格式、CSV格式、JSON格式、Parquet格式、ORC格式等。通过对比实验结果,得出了在不同场景下,不同的数据存储格式都有其适用性和局限性,需要综合考虑各方面因素选择合适的存储格式。本文的研究结果对于数据存储和处理的优化具有一定的指导意义和参考价值。 展开更多
关键词 大数据 压缩 存储格式 ORC PARQUET
下载PDF
Delight and Frustration with Number “Seven” in Plane Geometry and the Regular Heptagon
2
作者 A. Wünsche 《Advances in Pure Mathematics》 2021年第1期63-100,共38页
As starting point for patterns with seven-fold symmetry, we investigate the basic possibility to construct the regular heptagon by bicompasses and ruler. To cover the whole plane with elements of sevenfold symmetry is... As starting point for patterns with seven-fold symmetry, we investigate the basic possibility to construct the regular heptagon by bicompasses and ruler. To cover the whole plane with elements of sevenfold symmetry is only possible by overlaps and (or) gaps between the building stones. Resecting small parts of overlaps and filling gaps between the heptagons, one may come to simple parqueting with only a few kinds of basic tiles related to sevenfold symmetry. This is appropriate for parqueting with a center of seven-fold symmetry that is illustrated by figures. Choosing from the basic patterns with sevenfold symmetry small parts as elementary stripes or elementary cells, one may form by their discrete translation in one or two different directions periodic bordures or tessellation of the whole plane but the sevenfold point-group symmetry of the whole plane is then lost and there remains only such symmetry in small neighborhoods around one or more centers. From periodic tiling, we make the transition to aperiodic tiling of the plane. This is analogous to Penrose tiling which is mostly demonstrated with basic elements of fivefold symmetry and we show that this is also possible with elements of sevenfold symmetry. The two possible regular star-heptagons and a semi-regular star-heptagon play here a basic role. 展开更多
关键词 Bicompasses and Ruler Construction Regular Heptagon Regular and Semi-Regular Star-Heptagons Point-Group Symmetry C7 and C7v parqueting Tiling Tessellation Penrose Tiles Symmetry and Antisymmetry Magnetic and Non-Magnetic Classes Time Inversion Color Groups
下载PDF
大数据环境下Spark性能优化分析研究与应用 被引量:9
3
作者 黄志 苏传程 苏晓红 《气象科技》 2022年第1期51-58,共8页
针对长时间序列、多站点和多气象要素的大数据量查询需求,现有的CIMISS(China Integrated Meteorological Information Sharing System)存在支撑能力严重不足的问题。本研究使用广西气象站点建站至今的历史地面气象记录月报表数据资料... 针对长时间序列、多站点和多气象要素的大数据量查询需求,现有的CIMISS(China Integrated Meteorological Information Sharing System)存在支撑能力严重不足的问题。本研究使用广西气象站点建站至今的历史地面气象记录月报表数据资料和现有Hadoop集群物理资源,重新设计数据ETL流程,构建Parquet格式数据集并完成HDFS转换存储;嵌入Spark的Broadcast广播变量,优化Spark集群执行参数,提高了集群的处理并行度和SparkSql的关联查询效率。结果表明,Parquet格式数据集的最高压缩比超过95%,一次性大数据量的查询效率比原来提升了1~5倍,并支持高并发访问,为各类相关预报预测业务的开展提供了有效的技术支撑。 展开更多
关键词 HADOOP SPARK ETL PARQUET 列式存储 BROADCAST
下载PDF
整车大数据存储与计算优化实现
4
作者 韦统边 司帅锋 +2 位作者 温丽梅 唐莹 苏德 《电子测试》 2022年第14期56-58,113,共4页
随着人民生活水平日益提高,汽车的保有量稳步增长,汽车采集的数据也呈爆炸性增长,每天产生的车辆数据都以TB为单位,海量数据存储会耗费大量存储空间,海量数据计算将会耗费大量算力,所以数据的存储、压缩和读取速度将尤为重要。本文将阐... 随着人民生活水平日益提高,汽车的保有量稳步增长,汽车采集的数据也呈爆炸性增长,每天产生的车辆数据都以TB为单位,海量数据存储会耗费大量存储空间,海量数据计算将会耗费大量算力,所以数据的存储、压缩和读取速度将尤为重要。本文将阐述常规整车大数据存储与计算方式的优缺点和应用场景,并阐述基于Parquet数据格式和压缩算法实现整车大数据存储与计算优化。 展开更多
关键词 海量数据 存储 PARQUET 压缩算法
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部