基于Docker搭建Spark大数据集群数据挖掘平台

搭建大数据集群采用虚拟机部署的传统方法存在效率低、搭建步骤繁琐、时间成本高等问题,无法满足应用需求。随着虚拟化技术的发展,Docker技术由于具有占用资源小、启动速度快、部署快捷等优势,Docker技术能有效解决传统方法存在的问题,使得应用场景非常丰富。为此,提出基于Docker技术搭建Spark大数据集群实现数据挖掘平台。首先,介绍Docker技术的特点,通过与虚拟机技术对比阐述Docker技术的优势,并且介绍Spark集群架构和Kubernetes技术;然后,详细分析数据挖掘平台的搭建步骤,测试Docker技术和虚拟机技术的程序运行速度,测试表明Docker技术具有较短的运行时间,效率更高。为了Spark集群数据挖掘平台在节点扩展和管理更加灵活,提出基于Kubernetes技术改进原来集群,使得新增节点和管理集群更加高效。

浙江一体化培育数据要素产业集群的路径研究

在数字经济快速发展的时代背景下,数据要素流通市场的巨大蓝海已然呈现。浙江省深入实施数字经济“一号工程”,浙江制造、平台经济使得浙江数据资源丰富、产业基础雄厚、数据融合价值驱动的应用场景广泛,数据要素产业已具先发优势。但打造数据要素产业集群仍然面临数据壁垒、数据要素制度体系尚不健全和数据要素安全保障等制约因素。本文提出了通过“全过程+全链条+全要素+全域”一体化培育数据要素产业集群,构筑全球数字产业高地、赋能经济高质量发展的路径。

配电网监测数据索引集群的分布缓存方法

针对配电网监测数据急剧增加导致配电网监控系统响应时间过长的问题,本文提出一种热点数据部分链表分布缓存方法。首先,引入缓存技术并分析原有热点数据链表缓存方法的局限性,提出一种新的缓存方法以提高缓存管理效率;然后,设计预热查询实现索引系统的热启动从而提高索引系统的缓存命中率;最后,以配电网监测数据为算例,验证所提方法的效果。测试结果表明,所提出的缓存方法及设计的预热查询能在不同查询条件下大幅减少索引集群的查询时间,有效提高配电网监测数据索引集群的查询效率。

基于开放数据的城市内涝点空间分布特征及集群识别分析——以昆明市主城区为例

以城市内涝点空间分布特征和同质性内涝点集群的识别及其孕灾环境分析为核心,选取昆明市主城区为案例地展开研究.以2020年新闻媒体公布的内涝点信息作为数据源,首先使用核密度和K函数分析内涝点的整体分布和集聚程度;其次,采用HDBSCAN空间聚类算法识别昆明市主城区不同类型的内涝点集群,并分析其集群特征;最后,结合孕灾环境数据,以集群为最小研究单元,探讨其孕灾环境的差异性.研究结果显示:①内涝点分布在空间上存在显著的尺度分异,呈现出大离散、小集聚的空间分布模式;②昆明市内涝点可划分为8种类型,每种类型至少有2个集群,最多有4个集群;③不同内涝点集群的孕灾环境存在一定差异,其中地形起伏对内涝点分布的影响最大,即集群范围内地形越崎岖不平,其发生内涝灾害的可能性越大.在城市内涝防治工作中可依据集群空间范围及孕灾特征制定差异化的防治措施,从而科学合理的分配防治力度,提高城市内涝治理工作的科学性及精细度.

分布式集群架构在油田生产管理大数据中的应用研究

分布式集群架构应用于油田生产管理大数据,将石油生产、分配、消耗与管理需求数据相结合,可以提高管理数据收集、存储和处理的实时性,确保数据的准确性和可靠性,提升数据处理和分析能力,提高生产效率,降低生产成本。文章从分布式集群架构组成和优势入手,分析油田生产管理大数据的特点,讨论在油田生产管理大数据中如何应用分布式集群架构,以期为油田相关工作人员提供参考。

属性关联模型下大数据集群查询仿真

在数据查询过程中,易受冗余数据、服务器异常、虚拟信息等问题的干扰,导致查询时间长、查询稳定性差等现象产生。为了解决上述问题,提出基于属性关联模型的大数据集群查询算法。采用扩展t-SNE算法对大数据集群中的数据节点做降维处理,避免冗余数据对查询过程产生干扰。将降维后的数据输入到属性关联模型中,实现大数据集群的特征提取,并将提取的特征输入到分布式并行架构中,通过查询负载量的计算完成大数据集群的查询。实验结果表明,所提算法的响应时间短,查询开销小于50Mb,且查询稳定性强。

基于多级索引集群均衡的电力能源大数据采集方法研究

电力能源是现今人们生产、生活使用最为广泛的能源之一,处于持续短缺状态;电力能源产生的数据量级较大,如何在电力能源大数据中精确查询并采集需求数据,对电力能源合理管理与应用至关重要。提出一种基于多级索引集群均衡的电力能源大数据采集方法。深入分析电力能源大数据存储情况(电力能源数据表与元数据表),构建多级索引集群;采用定向任务分配算法均衡处理多级索引集群,确定每个集群节点的任务分配结果;以集群节点任务分配结果为依据,配置并启动多级索引集群;结合电力能源大数据查询需求,对查询数据进行缓存,最终实现电力能源大数据的采集。实验数据表明:相较于对比方法,应用所提方法获得的构建索引耗时和需求数据查询时延均更少,其最小值分别为3 s、12.03 s;数据采集质量参数更大,最大值为9.6,证实了提出方法具有可行性。

民航数字集群数据传输安全研究

针对传统民航数字集群网络数据传输安全性不高、丢包率过大问题,文章提出了一种民航数字集群数据传输安全方法。首先采用瑞利分布法量化无线通信信道特征。然后在此基础上,采用AES128算法对通信协议的数据进行加密,建立专属传输通道,并通过将信息转化为比特和组合值,生成映射表并使用搜索表查询,确保实时处理结果不受附加和解码过程影响。最后采用载波系数传输策略、导频信号、渐进序列和频率控制方法,对窃听者的判断造成干扰,从而实现民航数字集群数据传输安全。实验结果表明,该方法与传统方法相比丢包率更低,信息传输效果更高。

“东数西算”工程背景下韶关数据中心集群建设思路

当今全球已经进入数字化时代,信息数据量迅猛增长,算力资源的重要性也日益提升。为了支持处理这些海量数据,需要建设大量的数据中心建筑。文章基于“东数西算”工程的架构指引,通过总结韶关地区区位环境和产业资源现状,分析了建设韶关数据中心集群在能源利用和算力利用方面面临的挑战,并提出了针对性的建设思路。

基于回溯搜索的电力时序数据库集群拓展方法

现有的电力时序数据库集群拓展方法拓展响应时间较低,导致集群效率较差,因此基于回溯搜索研究了一种新的电力时序数据库集群拓展方法。通过数据库集群搜索拓扑结构的邻接矩阵,计算电力数据库中关联性较高的数据拓扑结构,直接明确数据搜索的目标,缩小数据搜索可确定的范围。针对搜索拓扑内的电力数据,采用回溯搜索算法中的分层回溯原则,为数据库集群内数据搜索行为增加约束条件。根据开关矩阵判断数据节点之间的关系,实现电力时序数据库的集群拓展。实验结果表明,基于回溯搜索的电力时序数据库集群拓展方法的拓展响应时间低于0.5 s,集群效率在98%以上。

面向大规模集群作业并发规模的数据库连接池优化技术

数据库作为地震勘探处理软件系统的多学科数据存储管理的核心组件,在底层支撑着处理作业的读写访问需求。在当前,随着地震勘探处理技术的飞速发展,大规模集群下处理作业的并发规模也快速扩张,底层数据库采用常规的读写一体化部署方式难以支撑大规模并发作业的读写请求。笔者针对地震勘探大规模集群数据资料处理作业并发场景,提出一种“1+N”读写分离部署方式的数据库连接池优化技术,设计了基于数据库服务器节点信息的资源分配器,对并发作业的数据库读写请求进行了合理的优化,并在实验室环境和实际地震勘探数据资料处理生产中进行了验证,能够支撑大规模集群下处理作业长事物、高并发等特征的数据库访问请求。

数据要素赋能制造集群发展机制研究

数据要素作为新生产要素将推动我国经济高质量发展,制造集群利用好数据要素将为集群发展提供新动能。本文构建以区块链技术为支撑的制造集群数据要素共享模型,简要介绍了制造集群实现数据共享的理论机制,使用成本法量化数据要素价值,并提出了数据共享机制对制造集群发展影响的实证研究框架。基于不同主体对数据要素赋能制造集群发展机制展开研究,发现其主要体现为数据要素共享推动制造企业经济效益增长、推动制造集群经济效率提高,同时,数据要素的外部性特征使制造集群外部同样能从中受益。但是,在数据共享机制中依然存在诸多风险与挑战,对此本文提出了相关对策建议。

负荷数据特征分析的用户集群需求响应潜力预测方法

随着电力市场改革的逐步推进,需求响应将在未来新型电力系统中发挥越来越重要作用。针对目前DR潜力计算过程繁琐、用户数据不足的问题,提出了一种基于用户历史负荷、气温和电价数据的用户集群DR潜力预测方法。首先,通过对用户的历史负荷曲线进行数据处理和信息提取,从月负荷规律性、日负荷波动性、峰谷一致性3个方面对各用户的用电行为进行特征值计算,形成评估用户类型的指标体系。继而,提出基于时序带有外部输入的非线性自回归神经网络的用户负荷和DR潜力预测方法。最后,以工业用户为例采用Meanshift算法实现用户集群划分,并对通用零部件制造行业的DR调节功率进行预测,经与实际调节功率数据进行对比分析,验证了本文所提方法的有效性。

大数据Hadoop集群下Sqoop数据传输技术研究

【目的】Hadoop系统是大数据分布式集群系统,其开源的生态圈中有众多功能组件,通过在大数据Hadoop集群系统上部署Sqoop组件,将本地关系型Mysql数据库中的数据和Hive数据仓库中存储的数据进行快速导入导出,进一步研究数据传输性能。【方法】首先在企业服务器上部署配置Hadoop分布式集群系统,其次在该集群上部署Sqoop组件并测试与Mysql数据库和Hive数据仓库的连通性,最后使用Sqoop技术测试本地Mysql数据库和Hive数据仓库之间的导入和导出。【结果】通过Sqoop技术能够更加便捷快速地从本地Mysql数据库上传到Hadoop集群系统,与传统方式下先将本地Mysql数据库中数据导出TXT文档格式后再使用Hive数据仓库的Load数据批量加载功能相比,在时间和效率方面大为提升。【结论】验证了Sqoop组件在Hadoop集群中部署运行的正确性,为大数据技术学习者提供一定程度的参考借鉴。

基于DMP的数据库管理集群在高职院校数据安全领域的应用与研究

随着数据量的激增和网络安全威胁的日益严重,数据备份和恢复策略成为保障信息安全的关键手段。本研究围绕数据管理平台(data management platform, DMP)在珠海城市职业技术学院数据安全环境中的应用,探索了基于DMP的数据库管理集群的部署及其在数据安全管理中的效用。通过实际部署和系统测试,评估DMP、人机交互(human-computer interaction, HCI)和安全复制协议(secure copy protocol, SCP)在实现数据同步、备份和双活系统中的性能,并对其稳定性和安全性进行深入分析。本文创新性地提出了数据库管理集群在服务器安全巡检上的应用,并通过集群和双活技术双重保障数据安全。本研究不仅提高了数据备份和恢复的效率,也显著提高了数据的实时同步能力和系统的整体可靠性。此外,研究还基于实际应用验证了双活技术在提高数据中心抗灾能力和业务连续性中的关键作用,为其他教育机构在数据安全管理上提供了宝贵的参考和借鉴。这些成果有助于推动高职院校在保护敏感数据和确保教育资源稳定可靠访问方面迈出重要步伐。

“东数西算”工程贵州贵安新区数据中心集群统筹产业发展与生态保护 超大型数据中心的节能账

仲夏时节,贵州贵安新区天气清爽。绿树掩映下,数据机楼林立。大楼内,一排排机柜整齐排列,蓝光跃动间,丝丝凉意扑面而来。作为“东数西算”工程规划的国家数据中心集群之一,贵安新区数据中心集群依托当地气候凉爽、能源丰富、地质条件稳定等生态优势,累计引进20个数据(智算)中心,成为全球集聚大型和超大型数据中心最多的地区之一。

张家口集群数据中心绿色发展现状及路径分析

为实现“双碳”目标,推动绿色、低碳发展,介绍张家口集群数据中心的产业规模、政策支持、产业布局等发展现状。在此基础上,分析了张家口集群数据中心的绿色发展优势,包括政策支撑、区位气候、绿电资源、基础设施、产业覆盖全等方面,并结合政策支持、标准引领、开展算力调度等维度提出了绿色发展路径建议。

小堆和数据中心有望引领新型低碳工业集群发展

【英国《国际核工程》网站2024年5月22日报道】比利时特克贝尔公司(Tractebel)及其子公司RED工程设计公司(RED Engineering Design)2024年5月联合发布《推动第四次工业革命--开拓数据中心与先进核能技术创新合作》报告,指出模块化小堆与数据中心战略性结合,不仅能实现优势互补,更有望引领新型低碳工业集群发展,开启全新工业时代。

数据集市云平台赋能商业银行数字化转型

党的二十大报告强调,加快发展数字经济,促进数字经济和实体经济深度融合,打造具有国际竞争力的数字产业集群。数字经济是以数据资源为关键要素,以现代信息网络为主要载体,以数字技术融合应用、全要素数字化转型为重要推动力,促进公平与效率更加统一的新经济形态。

大数据专业集群建设的思考与实践

大数据是近年来国家发展的重点领域,人才需求量大,目前与之相关的专业人才培养刚刚起步。南京理工大学泰州科技学院顺应国家战略发展需求,结合地方产业结构特色,构建大数据专业集群,培养应用型专业人才。介绍了大数据专业集群建设的背景和原则,详细阐述了专业集群架构、运行机制、培养方案、课程建设的举措,以及师资队伍、质量保障体系的构建,以期为应用型本科高校专业集群建设提供有益的参考。