基于Hadoop分布式存储的医疗影像数据平台建设与应用

设计了一套基于Hadoop分布式存储的高效医疗影像数据平台,利用一种优化后的文件处理策略将多个小文件合并成一个大文件,降低了NameNode管理的元数据数量,同时根据文件的访问频率自动调整合并策略,提高存储的效率和数据访问速度,增加可靠性,实现降本增效.

Hadoop分布式存储架构的性能分析

近几十年,随着互联网的发展,数据正在呈爆炸式增长。为了保存和处理这些数据,传统的IT架构已经满足不了,云计算应运而生。Hadoop是云计算下的一种分布式处理的软件架构,能够对大数据进行存储和处理,而它最核心的两大组件就是HDFS和Map Reduce,分别实现了分布式文件存储和分布式并行任务处理。文中,将基于PEPA对HDFS进行建模分析,并对HDFS的性能进行评估。

基于Hadoop分布式存储的区域医联体云PACS的研究与应用

目的设计并实现以Hadoop分布式存储技术为核心的区域医联体云医疗影像储存系统(Picture Archiving and Communication System,PACS),用以提升医联体框架下医学影像的读取、管理能力,促进优质医学影像资源的共享共用。方法以Hadoop分布式存储技术为核心,以Web用户接口、中间接口、HDFS分布式存储、虚拟化容错和虚拟化为系统架构组成,设计并实现区域医联体下的云PACS。结果所设计的系统包含单点登录、患者信息管理、影像读片等功能,满足区域医联体医学影像调阅、管理的工作需求。进一步,通过对比网络文件系统(Network File System,NFS)的文件读取测试结果发现,有着平均2.4倍的速度提升,且两者比较差异有统计学差异(t=82.6,P<0.01)。结论在系统实现方面,该研究描述了系统的核心实现方法、架构、部件及用户界面,具有良好的借鉴意义。在系统应用方面,所设计系统的文件读取速度要明显优于传统NFS的系统,对于医联体的信息化水平提升、医学影像信息的共享共用促进等有着积极作用。

基于Hadoop平台的分布式文件云存储系统设计

数据量的激增促进了分布式文件系统的迅速发展,Hadoop作为一个开源框架,以其高效的数据存储与处理能力在分布式系统中占据重要地位。通过Hadoop Distributed File System(HDFS)实现大规模数据集的分布式存储,YARN为资源管理提供了弹性调度,使得Hadoop成为处理大数据问题的理想平台。本文探讨了基于Hadoop平台的分布式文件云存储系统设计,旨在提供一种高效可靠的分布式文件云存储解决方案,以支持大数据时代下的数据存储与处理需求。

基于密度划分的分布式数据容错存储算法研究

为保证数据安全性,缓解数据存储空间,提出基于密度划分的分布式数据容错存储算法。过滤分布式数据高密度数据区域,将具有高度相似的目标划分到不同区域,通过数据来源样本点描述数据的密度分布,设定数据弹性,利用概率以及数据粒度推算出对应的存储梯度和强度指数,并在信息存储中引入数据存储梯度和数据弹性,完成分布式数据容错存储。实验证明,所提算法有较高的容错性,带宽吞吐量平稳,平均路径长度较小,能提高网络数据的安全性。

基于Hadoop分布式架构的云存储系统设计

为满足海量数据的便捷化、智能化存储和分析需求,充分发挥和利用Hadoop分布式架构的运行成本低、容错性高等优势,应用Hadoop分布式架构设计一款新型、先进的云存储系统,从系统架构设计和系统数据库设计两个方面入手,完成系统总体设计。根据系统功能列表,依次设计文件上传、文件下载、文件浏览、其他操作等模块。在Hadoop分布式架构的应用背景下,文章中所设计的云存储系统具有内存开销率低、集群读取效率高、安全可靠等优点,符合预期设计标准和要求。

基于大数据的分布式文件存储系统架构设计

针对目前数据量庞大对文件存储的需求激增,本文研究基于大数据的分布式文件存储系统(Hadoop distributed file system,HDFS)架构设计。通过分析HDFS架构的基本原理,讨论数据分布策略、数据备份与恢复机制以及一致性与性能优化的方法,提出针对名称节点和数据节点的改进措施,包括在名称节点中引入高速闪存驱动器以管理元数据,并在数据节点中实施元数据缓存机制。研究结果表明:分布式文件存储系统可以优化元数据管理,减少网络成本,并提高系统性能,对改善大数据存储系统的性能具有重要作用。

基于Hadoop的分布式集群大数据动态存储系统设计

由于大数据计算需求逐渐增大,数据存储需求也逐渐增长,传统集成式大数据存储系统未能合理均衡存储服务器负载情况,导致系统存储效率低,易出现系统崩溃状况。针对该问题,设计基于Hadoop的分布式集群大数据动态存储系统。首先,通过中央控制集群获取用户需求;然后,通过高速以太网连接模块下达采集指令至大数据采集集群,大数据采集集群受中央控制集群的调度,快速采集动态数据并定期把缓存数据导入大数据永久存储集群中,实现数据定期存储更新;最后,采用改进动态负载均衡算法均衡系统存储服务器的负载情况,获取综合指标参数值,将最大参数值的服务器存储动态数据。经验证,所提设计系统的存储响应速度快、存储耗时短,负载均衡性能优。

基于Hadoop架构的分布式计算和存储技术及其应用

介绍了Hadoop架构的主要构成,通过一个实例详细阐述了Hadoop架构的MapReduce实现机制;开发了一个基于Hadoop架构职工工资统计应用实例,并根据该实例分析了其在单节点模式、伪分布模式和完全分布模式应用中的运行效率.

移动分布式存储系统中自适应数据布局策略

分布式存储系统在移动网络场景中正受到越来越多的关注,作为其关键技术,数据布局对于提高数据分布式存储的成功率至关重要.然而,移动环境下无线信号不稳定,网络带宽波动大,传统的数据布局策略,如随机策略和存储容量感知策略,在数据布局时并未考虑节点的网络带宽,导致数据传输成功率低.面向高动态移动网络环境,针对移动分布式存储系统面临的数据布局问题,提出一种带宽感知的自适应数据布局策略.其基本思想是将网络带宽和节点上的其他信息结合,从而选择性能良好的节点,实现自适应数据布局,提高数据传输成功率.所提策略包含3个设计要点:(1)采用群组移动模型感知节点的网络带宽;(2)分组管理节点信息,减少通信开销,并利用小根堆的特性构建节点选择树;(3)自适应数据布局根据节点可用性动态选择性能良好的节点,提高数据传输成功率.实验结果表明:当网络动态变化时,所提策略的数据传输成功率相较于随机策略和存储容量感知策略分别提升30.6%,34.6%,并始终将通信开销维持在较低的水平.

地震数据分布式存储系统建设模式与服务效能研究

我国地震监测系统历经了数字化、网络化和自动化的变革。随着地震监测站网规模的不断扩大,作为国家数据中心,中国地震台网中心面临数万地震台站观测数据处理和存储压力。本文基于前期国家地震烈度速报与预警工程、公共安全信息化工程(中国地震局)建设项目等建设经验,总结地震数据分布式存储系统的建设模式,并验证其合理性。同时以历史数据迁移归档业务为例,分析共享存储系统的服务效能,为海量观测数据的高效存储管理、共享数据存储系统建设提供参考。

大数据环境下hadoop分布式文件系统分散式动态副本存储优化策略研究

在不影响hadoop分布式文件系统分散式存储结构的前提下,结合动态副本存储和伽罗华有限域理论对范德蒙码的计算方法和计算模式进行整体优化,降低了编译码的时间代价和计算的内存压力,节约了hadoop分布式文件系统约35%的存储开销,提高了hadoop分布式文件系统节点负载均衡能力和译码恢复效率。这种算法更适合于医疗专业文书的处理,解决临床科研需求和数据供给2个方面的问题。既能节省了存储容量,可以容纳与日俱增且越发复杂化的医疗数据,又能降低硬件服务器成本,为医院节省资金开销,更能快速查询获取数据池中的有效数据,让这些躺着的数据变成活的,充分发挥他们的临床使用价值和科研价值。这一套完整的、系统的优化方案,为未来hadoop分布式文件系统的发展提供了一条有效途径。

面向战场条件的无人机集群分布式存储方法

无人机是世界军事强国执行战术行动的重要武器装备,利用无人机实现战场数据存储是保障作战的重要手段.为更好地满足无人机集群在恶劣战场条件下数据存储需求,在分析无人机数据存储军事应用背景基础上,总结战场无人机数据资源特征和数据存储技术军事需求,并提出适用于我军无人机战术行动的数据存储设计方法流程;结合学术和产业界的成果,梳理数据存储技术的分类和发展历程,并总结数据存储的主要类型;提出面向无人集群战术行动场景的分布式数据存储关键技术方法和存储系统;介绍国内外学者在分布式存储海量数据处理、数据实时传输和数据可靠性等相关算法模型的研究现状;展望未来战术行动中无人机数据运用方法的研究趋势,强调在战场条件下无人机集群数据存储是未来重要的研究领域.

基于Hadoop的气象数据分布式存储技术研究

针对目前气象数据存储所面临的海量扩张、高并发读写、结构化和非结构化数据并存以及长时间序列和大数据集检索效率低下等问题,提出了以Hadoop开源框架为基础的气象数据分布式存储方案。通过对气象数据自身属性和特点进行分析,得出了气象数据在经过充分优化的基础上,在分布式存储框架中具有很强的适应性和规模化应用的潜力;并在HBase数据库中的Row Key设计和小文件合并策略方面做了创新。最后针对气象数据中广泛存在的结构化和非结构化这两种主要数据类型,以自动气象站数据和雷达产品数据为具体实例,给出了详细的设计思路和实现方法。

基于分布式存储的外包EHR隐私保护分类审计方案

随着电子医疗领域的发展,电子健康记录(EHR)常被外包到雾节点上进行分布式存储以提升可靠性。EHR中包含大量隐私信息,然而数据外包易造成安全隐患,可能破坏EHR的完整性与隐私性。为确保EHR的安全存储,提出一种高效的基于EHR分类的分布式数据完整性审计方案。该方案将分类标签与布隆过滤器相结合以提升审计效率,利用Shamir秘密共享完成分布式审计,采用属性基可搜索加密以保护EHR所属类别信息的隐私。实验结果表明,所提方案的通信开销和计算开销较低。

基于分布式区块链的医用影像数据存储与传输策略

为解决医疗机构影像数据的安全加密存储与传输问题,文中提出了一种基于分布式区块链的安全存储与传输策略。该策略分别对患者、医疗机构和云存储服务商进行建模,采用改进BLS签名技术对影像数据进行加密存储,并通过密钥协商协议实现了患者和医疗机构的安全密钥交换。同时,所提策略还融入了Lucene检索机制,从而提高了影像数据的调阅速度。在某医疗影像云上进行的实验结果显示,所提方案的加解密时间较短,而且能够抵御篡改攻击、中间攻击和共谋攻击,综合结果均优于现有的加密存储模型。

基于Hadoop的分布式云计算/云存储方案的研究与设计

通过介绍云计算技术的发展背景以及目前云计算技术的几种技术架构,对分布式云计算/云存储技术进行了详尽的研究,包括分布式云计算/云存储的整体架构、分布式文件系统、分布式数据库、分布式数据仓库、分布式同步软件等,并通过与并行关系型数据库、MPP数据库的对比,分析了基于Hadoop的分布式云计算/云存储架构的竞争优势,基于Hadoop的分布式云计算/云存储将更有效支撑未来电信运营商业务的发展。

基于Raft共识协议的分布式键值对存储系统研究与实现

针对工业物联网、大数据等领域对分布式数据存储基础设施提出的高性能、高可用性和高可靠性需求,简要回顾和分析了分布式共识协议的相关理论与关键技术,研究了具有高性能、高可用性和高可靠性的分布式键值对存储系统,并设计开发了基于Raft共识协议和LevelDB的分布式键值对存储系统。最后,测试了该系统的功能和性能指标。实验结果表明,该系统具有高稳定性、高可用性和良好的性能。

基于数据库标签感知分片的制造过程测量数据分布式存储

针对零件在线测量过程中多种测量仪器无法协同存储、仪器内数据查询聚合困难等问题,对多工序测量仪器集群的数据分布式存储和共享方法进行了研究。首先,在多个嵌入式测量仪器中,移植非关系型数据库集群对零件数据进行了分布式存储,简化了零件数据存储模型;然后,引入标签感知分片(tag-aware sharding),实现了零件不同工序测量数据的分类存储目的;最后,使用多个搭载嵌入式Linux系统的树莓派3B+开发板作为测量仪器系统平台,搭建了基于MongoDB数据库的在线测量分布式存储集群,通过大量测试数据验证了该集群在多节点存储时数据分布均匀、性能稳定;将存储集群与企业制造执行系统(MES)进行了对接,其可以实时监控分析零件测量数据,快速汇总所有测量节点内的工序数据并生成报表。研究结果表明:当集群中数据量达到7.2×10^(5)条时,单节点查询响应速度稳定在125 ms~208 ms范围内,相比哈希分片,其最高提升了88.15%;多节点协同查询响应速度为1308 ms,相比“升序键+搜索键”方案,其提升了了61.64%;多个测量节点内,1×10^(5)个零件数据聚合统计仅需5 s左右。该存储集群可以监控零件生产情况,在减少零件制造误差、提高制造效率和质量方面具有重要作用。

基于电网分布式存储构建业务分析模型的探索和研究

由于电网大数据分散存储在不同的独立存储服务中,难以保证文档检索全面性和准确性,影响查询业务质量。为此,构建基于电网分布式存储的业务分析模型。切分待存储文件,组成文件碎片,分布存储到不同的存储节点中,构建电网分布式存储模型。针对该模型,扩展查询业务关键词,增大查询范围。基于查询业务扩展结果,构建业务探索分析模型,从分布式数据库中检索相关文档。实验结果表明:所构建模型的各类电网大数据检索F1值接近1,提高了电网分布式存储文档检索的全面性和准确性。