基于Hadoop平台的分布式文件云存储系统设计

数据量的激增促进了分布式文件系统的迅速发展,Hadoop作为一个开源框架,以其高效的数据存储与处理能力在分布式系统中占据重要地位。通过Hadoop Distributed File System(HDFS)实现大规模数据集的分布式存储,YARN为资源管理提供了弹性调度,使得Hadoop成为处理大数据问题的理想平台。本文探讨了基于Hadoop平台的分布式文件云存储系统设计,旨在提供一种高效可靠的分布式文件云存储解决方案,以支持大数据时代下的数据存储与处理需求。

企业级客户信息系统云原生分布式架构转型的探索与实践

数字时代,农村商业银行的经营模式正逐步从“以账户为中心”向“以客户为中心”转变,以期能迅速提升自身的核心竞争力。在此背景下,江西农信以数字化转型为契机,在深入分析企业级客户信息系统改造方案和挑战的基础上,探索构建分布式架构与集中式架构双态并行的云原生微服务体系,显著提升了科技赋能业务的质量和效率。

基于HDFS分布式云存储系统的重复数据检测与删除研究

传统最远点采样(FPS)算法、数据类型分析(WFC)算法的去重冗余度高,在同一数据集分块、去重检测中的数据重复率达到70~90%。基于这一实际情况,提出基于Hadoop分布式软件框架、分布式文件系统(HDFS)等云服务技术,建构用于复杂数据结构分析、数据分块去重的HDFS-SDBS云存储管理系统,使用基于文件相似度的抽样删除索引(SDBS)算法进行文件数据分块、哈希值(Hash)计算、随机抽样的相似度判定,利用元数据索引查重方式完成输入文件数据、内存数据的比对,删除相似度过高的重复数据,以提升云环境下的数据存储效率与准确率。

数据中心分布式云化策略研究

数据中心分布式云化是云计算发展的必然趋势,其通过将计算、存储和网络资源分别部署在多个数据中心,构建一个逻辑统一、地理分散的云计算平台,以满足日益增长的业务需求和用户体验。因此,文章将从数据中心分布式云化的战略目标与愿景出发,剖析实现分布式云化的策略,并结合实际案例,明确了分布式云化实施成效,以期为业界提供理论参考与实践指导。

分布式金融云在银行金融科技底座建设中的实践方案

随着数字化改革的持续推进,传统数据中心架构已不足以满足日新月异的资源需求和应对不断变化的安全挑战。文章通过广州农村商业银行搭建的分布式金融云的实践案例进行分析,探索可靠、安全、敏捷的数智化金融科技底座建设路径和解决方案。

运营商级分布式开放云计算

重点分析了运营商级云计算系统的需求和挑战,并针对需求和挑战,提出高效云系统的软硬件配置、分布式基础设施部署模块和运营管理流程,提升基于云的终端用户应用体验。运营商通过提供低延迟和高带宽的骨干网络和服务交付网络,优化在线游戏、高清视频等应用。

基于分布式战术云的下一代通用信号处理平台架构

通过分析复杂作战环境对军事电子信息系统能力的需求,以航空电子系统集成的发展历程为牵引,从信号处理系统结构、平台硬件架构和软件架构设计出发,提出了基于分布式战术云平台的下一代通用信号处理架构,以实现功能软件与硬件平台的解耦、任务模式和实现方式的解耦为目标,进而从异构处理资源虚拟化、包分组交换网络传输和基于蓝图建模的感知部署等方面探讨了技术实现途径,最后总结了新平台技术特征,并给出了发展建议。

基于分布式云计算的地铁监控系统研究

为了解决地铁监控中站点多、视频量大和数据共享的问题,本文设计了基于分布式云计算的地铁监控系统。首先,设计了分布式地铁监控系统的总体架构。然后,给出了视频云平台模型,采用星形拓扑结构将地铁监控服务迁移到云端实现,采用分布式资源管理的资源调度机制实现云节点之间的通信。最后建立统计模型并对云节点进行资源分析,实现分布式云服务器的总体监控。分布式云计算的地铁监控系统可靠性高,系统资源需求小,对智能化地铁监控有重要的应用价值。

基于分布式云的智能视频分析系统在油田的应用研究

随着油田“二次加快发展”和数字化转型、智能化发展的进程加快,在云计算、人工智能、图像处理以及深度学习等信息技术日臻成熟的大背景下,油气田现场智能视频监控系统的研究应用可以完成对复杂油气田现场实时视频图像数据的分析处理,提升现场安全合规管理和智能化水平;同时,分布式视频云的应用可以解决传统视频监控场景中存在的信息孤岛问题,实现数据资源的共建,进一步降低建设与运行成本,提升油田智能化水平。

关于分布式云数据中心架构及管理关键技术研究

对于当前的云计算程序,其最主要的功能是对单个云数据中心问题进行解决,而对于多个云数据之间的资源共享以及统一的管理等问题,我国当前的云计算程序对其还无法进行解决。为了有效解决我国的云数据中心问题,逐渐开始进行分布式云数据中心系统的建设,并对该数据中心的相关管理服务等的关键技术进行有效的分析。同传统的数据中心模式不同,分布式云数据中心采用的是一种全新的架构和管理模式,其架构采用的是扁平式的构成,且对数据中心的资源进行统一的管理,通过这种模式能够对不同地域和不同阶段的单体云数据资源进行共享,实现资源的统一管理,使云数据能够提供更加高效和可靠的服务。

基于云服务器集群三层分布式云监控系统的设计与实现

云服务器集群本身的分布异构性,强大虚拟化、海量数据处理、高可扩展性和高可靠性等特征与需求,使得云服务器集群的管理和监控面临巨大挑战。文章分析了云服务器集群的特征与面临的挑战;探讨了三层分布式云监控系统的体系结构;提出了三层分布式云监控系统的设计思路及具体方案。

基于Hadoop的分布式云计算/云存储方案的研究与设计

通过介绍云计算技术的发展背景以及目前云计算技术的几种技术架构,对分布式云计算/云存储技术进行了详尽的研究,包括分布式云计算/云存储的整体架构、分布式文件系统、分布式数据库、分布式数据仓库、分布式同步软件等,并通过与并行关系型数据库、MPP数据库的对比,分析了基于Hadoop的分布式云计算/云存储架构的竞争优势,基于Hadoop的分布式云计算/云存储将更有效支撑未来电信运营商业务的发展。

分布式云的研究进展综述

云计算作为全新的计算模式,将数据中心的资源包括计算、存储等基础设施资源通过虚拟化技术以服务的形式交付给用户,使得用户可以通过互联网按需访问云内计算资源来运行应用.为面向用户提供更好的服务,分布式云跨区域联合多个云站点,创建巨大的资源池,同时利用地理分布优势改善服务质量.近年来,分布式云的研究逐渐成为学术界和工业界的热点.围绕分布式云系统中研究的基本问题,介绍了国际、国内的研究现状,包括分布式云系统的架构设计、资源调度与性能优化策略和云安全方案等,并展望分布式云的发展趋势.

喷泉码的分布式云存储教学系统设计

为满足新工科建设和物联网课程教学的需求,结合存储和纠删码领域的前沿知识,提出了一套基于喷泉码的分布式云存储教学系统,将物联网中传输层协议与喷泉码特性灵活结合。以“物联网技术及应用”课程为例,介绍了基于喷泉码的分布式云存储教学系统开展分层次实验教学的具体案例——传统三副本+TCP模式分布式云存储系统的实现与喷泉码+UDP模式分布式云存储系统的实现。实践表明,通过该系统的使用,学生可以有效将理论学习与实际应用相结合,锻炼自身编程能力和工程实践能力。

边云协同的分布式云基础设施管理系统

5G、IoT、AI等新兴业务要求构建整体规划、层次化布局、统一管理的大规模分布式云基础设施,介绍了分布式云基础设施领域相关关键技术,对分布式云基础设施管理的需求进行分析,给出了分布式云基础设施管理体系框架,并阐述了基于开源StarlingX的分布式云基础设施管理系统设计与功能实现。

基于门限属性加密的安全分布式云存储模型

针对云存储存在越来越多的安全问题,设计了一种新的基于门限属性加密的安全分布式云存储模型。该模型由加密、存储、解密三个阶段组成且均具有分布式特点。利用基于属性加密体制不仅提高数据存储的安全性,而且多属性服务器的模式也使得该模型能支持门限解密功能及任意个属性服务器的加入与撤出问题;在存储阶段使用的分布式删除码可充分保障模型的健壮性,且该模型能抵抗共谋攻击。在一些特有云环境中,该模型可向用户提供较好的安全云存储服务。

大规模光伏电站小信号建模与降阶-分布式云算法

大规模光伏并网导致系统频繁发生次同步振荡,使得对大规模光伏发电系统进行建模以研究其运行特性成为关注的热点。在建立光伏单元详细的小信号模型基础上,该文推导大规模光伏电站经传输线接入系统的数学模型,模型考虑光伏电站的地理分布特性及光照强度等重要的运行因素。针对大规模工程模型计算中可能出现"维数灾问题",对大系统状态矩阵的特征值求解进行分析,提出降阶-分布式云算法,该算法可实现高阶矩阵的分块及行列式的降阶,解决大系统仿真的计算限制问题,通过对比变换前后模型计算结果验证所提方法的准确性。基于降阶-分布式云算法对大规模光伏电站的振荡模态进行研究,分别探讨光照强度变化、设备参数不同对光伏系统振荡模态的影响。仿真证实算法的有效性。

云环境下支持可更新加密的分布式数据编码存储方案

由于云存储密文的静态性特征,密钥泄露成为影响存储数据安全性的重要因素.数据重加密是应对密钥泄露的有效手段,但相应的计算开销以及上传下载的通信开销增加了用户和存储系统的负担.此外,对基于分布式编码的数据存储而言,密文更新需要在解密密文的基础上进行,密文合并过程同样增加了系统的通信及计算开销.针对上述问题,提出一种云环境下支持可更新加密的分布式数据编码存储方案(distributed data encoding storage scheme supporting updatable encryption,DDES-UE).通过利用密钥同态伪随机函数构造可更新加密方案,可避免密文更新的计算与通信开销过大问题;基于密文分割与改进FMSR编码实现数据分布式存储,保证存储数据的高可用性和各存储节点的直接数据更新.安全性证明及性能分析表明:提出的方案在保证数据存储安全性的同时,能够支持部分存储节点损坏时安全高效的数据可恢复性以及解密数据的完整性验证.与传统的数据重加密相比,DDES-UE能够避免数据重加密及数据上传、下载、解码、合并带来的计算和通信开销,对于构建支持直接数据更新的安全高效云存储系统有重要意义.此外,周期性密钥更新可有效增加攻击者通过获取密钥破解密文的时间成本,从而增强了系统的主动安全防御能力.

分布式并行云存储系统Parastor及在石油勘探领域的应用

针对石油勘探领域的发展现状与日益增长的海量地震数据存储的需求,探索将云技术应用到石油勘探业务系统中。选用新型高效的Parastor并行分布式云存储文件系统,构建石油勘探云存储一体化架构。该系统包括存储子系统、计算子系统、网络子系统、地震资料处理与计算子系统,从而解决了石油勘探行业大规模数据存储,高I/O带宽与高浮点计算性能需求。其中存储子系统Parastor由硬件节点层、数据处理层与应用协议层三层架构组成,具有强大的小文件聚合与高效数据容错重构功能。与传统的分布式文件系统架构相比,该架构在系统扩展性、可靠性和服务性等多方面均更加具有优势。能够适应日益增长的石油勘探系统海量数据存储需求,解决石油勘探系统中大容量数据存储的瓶颈,从而为用户提供高质量的云存储服务。

基于观测器的智能微电网分布式云储能系统H-infinite控制方法

为解决目前智能微电网分布式云储能系统运行架设成本较高且难寻有效整体控制规律的问题,引入一种基于观测器的H∞控制器设计方法。在分段仿射Lyapunov函数的基础上,应用投影定理以及几个基本引理,寻求基于观测器且满足鲁棒H∞性能指标的反馈控制器设计方法,获得闭环控制系统的反馈控制器增益和观测器增益,并将云储能供电系统与传统电力系统进行比较。结果表明:采用该控制方法构建的电网使得新型能源的利用率更高,同时传统常规电力系统耗能有所下降。