期刊文献+
共找到1,601篇文章
< 1 2 81 >
每页显示 20 50 100
基于密度划分的分布式数据容错存储算法研究 被引量:2
1
作者 翁锦阳 朱铁兵 柏志安 《吉林大学学报(信息科学版)》 CAS 2024年第1期67-73,共7页
为保证数据安全性,缓解数据存储空间,提出基于密度划分的分布式数据容错存储算法。过滤分布式数据高密度数据区域,将具有高度相似的目标划分到不同区域,通过数据来源样本点描述数据的密度分布,设定数据弹性,利用概率以及数据粒度推算出... 为保证数据安全性,缓解数据存储空间,提出基于密度划分的分布式数据容错存储算法。过滤分布式数据高密度数据区域,将具有高度相似的目标划分到不同区域,通过数据来源样本点描述数据的密度分布,设定数据弹性,利用概率以及数据粒度推算出对应的存储梯度和强度指数,并在信息存储中引入数据存储梯度和数据弹性,完成分布式数据容错存储。实验证明,所提算法有较高的容错性,带宽吞吐量平稳,平均路径长度较小,能提高网络数据的安全性。 展开更多
关键词 密度划分 分布式数据 数据容错存储 数据粒度 强度指数
下载PDF
基于大数据的分布式文件存储系统架构设计
2
作者 杨明 《信息记录材料》 2024年第4期177-179,共3页
针对目前数据量庞大对文件存储的需求激增,本文研究基于大数据的分布式文件存储系统(Hadoop distributed file system,HDFS)架构设计。通过分析HDFS架构的基本原理,讨论数据分布策略、数据备份与恢复机制以及一致性与性能优化的方法,提... 针对目前数据量庞大对文件存储的需求激增,本文研究基于大数据的分布式文件存储系统(Hadoop distributed file system,HDFS)架构设计。通过分析HDFS架构的基本原理,讨论数据分布策略、数据备份与恢复机制以及一致性与性能优化的方法,提出针对名称节点和数据节点的改进措施,包括在名称节点中引入高速闪存驱动器以管理元数据,并在数据节点中实施元数据缓存机制。研究结果表明:分布式文件存储系统可以优化元数据管理,减少网络成本,并提高系统性能,对改善大数据存储系统的性能具有重要作用。 展开更多
关键词 数据 分布式文件存储 文件存储系统设计
下载PDF
面向分布式多传感器的FOA大数据融合算法研究
3
作者 王锦 《北部湾大学学报》 2024年第4期60-67,共8页
分布式多传感器融合能够获得更好的数据监控效果,构建一种分布式多传感器数据融合模型以解决数据融合中出现的时序偏差问题。该模型通过对多个传感器测量的数据值进行综合分析,基于相对梯度值剔除冗余干扰以改善数据融合的精度,并基于FO... 分布式多传感器融合能够获得更好的数据监控效果,构建一种分布式多传感器数据融合模型以解决数据融合中出现的时序偏差问题。该模型通过对多个传感器测量的数据值进行综合分析,基于相对梯度值剔除冗余干扰以改善数据融合的精度,并基于FOA优化算法模拟果蝇找寻食物的过程,在全局范围内寻找最优解,解决了传感器系统参数优化和选择时遇到的局部早熟问题。实验结果表明,采用FOA算法的多传感器融合效率更高、时间更短,随着数据源数量的增加,算法的融合精度衰减较慢。 展开更多
关键词 分布式 多传感器 FOA 数据融合 全局寻优
下载PDF
物联网平台下的分布式数据融合管理系统设计与实现
4
作者 张辉 张博 +3 位作者 但扬溪 王刚 李翰夫 朱晓庆 《长江信息通信》 2024年第10期150-152,共3页
随着物联网技术的快速发展,感知终端之间的数据融合、交互与共享成为智能物联网高层应用的基础。目前,我国各行业的管理系统还存在较大的“信息孤岛”现象,本文为了解决上述问题而提出的总体方案和总体方案。在此基础上,设计了数据融合... 随着物联网技术的快速发展,感知终端之间的数据融合、交互与共享成为智能物联网高层应用的基础。目前,我国各行业的管理系统还存在较大的“信息孤岛”现象,本文为了解决上述问题而提出的总体方案和总体方案。在此基础上,设计了数据融合平台、分布式实时库管理等各子系统的功能结构,针对个问题提出来系统的总模块设计与总架构设计。并对系统五大子系统:数据融合平台、分布式实时库管理、客户端代理、集群、元数据服务器的功能架构进行了设计。为高效处理、分布式存储等提供借鉴。 展开更多
关键词 物联网平台 分布式 数据融合 系统设计
下载PDF
基于多源数据融合的分布式光伏聚合超短期预测方法 被引量:2
5
作者 曾锃 肖茂然 +3 位作者 毕思博 张明轩 李世豪 窦春霞 《电力信息与通信技术》 2024年第2期9-15,共7页
分布式光伏聚合发电的超短期预测是支撑其功率快速调节的前提保障,由于规模化接入的分布式光伏容量小、分布广,其发电时序特性差异性大、非平稳性强,导致其超短期预测精度难以保证。为此,文章提出基于多源数据融合的分布式光伏聚合超短... 分布式光伏聚合发电的超短期预测是支撑其功率快速调节的前提保障,由于规模化接入的分布式光伏容量小、分布广,其发电时序特性差异性大、非平稳性强,导致其超短期预测精度难以保证。为此,文章提出基于多源数据融合的分布式光伏聚合超短期预测方法。该方法基于变分模态分解法,充分挖掘分布式光伏聚合发电非平稳性特性,并采用核主成分分析法对引发光伏发电非平稳性的影响因素即温度、湿度、光照、云量等多源数据进行量化解析,同时结合改进的长短期记忆神经网络,创建了多源数据融合方法,实现了分布式光伏聚合发电超短期预测。仿真结果表明,该方法有效提升了模型的预测精度。与传统方法相比,提出的预测方法对随机性波动严重的光伏超短期预测具有显著优势。 展开更多
关键词 分布式光伏聚合预测 变分模态分解 非平稳性 核主成分分析 多源数据融合 长短期记忆神经网络
下载PDF
移动分布式存储系统中自适应数据布局策略
6
作者 伍代涛 谭玉娟 +4 位作者 刘铎 魏鑫蕾 吴宇 陈咸彰 乔磊 《软件学报》 EI CSCD 北大核心 2024年第10期4912-4929,共18页
分布式存储系统在移动网络场景中正受到越来越多的关注,作为其关键技术,数据布局对于提高数据分布式存储的成功率至关重要.然而,移动环境下无线信号不稳定,网络带宽波动大,传统的数据布局策略,如随机策略和存储容量感知策略,在数据布局... 分布式存储系统在移动网络场景中正受到越来越多的关注,作为其关键技术,数据布局对于提高数据分布式存储的成功率至关重要.然而,移动环境下无线信号不稳定,网络带宽波动大,传统的数据布局策略,如随机策略和存储容量感知策略,在数据布局时并未考虑节点的网络带宽,导致数据传输成功率低.面向高动态移动网络环境,针对移动分布式存储系统面临的数据布局问题,提出一种带宽感知的自适应数据布局策略.其基本思想是将网络带宽和节点上的其他信息结合,从而选择性能良好的节点,实现自适应数据布局,提高数据传输成功率.所提策略包含3个设计要点:(1)采用群组移动模型感知节点的网络带宽;(2)分组管理节点信息,减少通信开销,并利用小根堆的特性构建节点选择树;(3)自适应数据布局根据节点可用性动态选择性能良好的节点,提高数据传输成功率.实验结果表明:当网络动态变化时,所提策略的数据传输成功率相较于随机策略和存储容量感知策略分别提升30.6%,34.6%,并始终将通信开销维持在较低的水平. 展开更多
关键词 分布式存储 数据布局 带宽感知 移动网络 群组移动模型
下载PDF
地震数据分布式存储系统建设模式与服务效能研究
7
作者 吴峥 董翔 +2 位作者 李杰飞 曾薇 刘晓京 《中国地震》 北大核心 2024年第1期251-259,共9页
我国地震监测系统历经了数字化、网络化和自动化的变革。随着地震监测站网规模的不断扩大,作为国家数据中心,中国地震台网中心面临数万地震台站观测数据处理和存储压力。本文基于前期国家地震烈度速报与预警工程、公共安全信息化工程(... 我国地震监测系统历经了数字化、网络化和自动化的变革。随着地震监测站网规模的不断扩大,作为国家数据中心,中国地震台网中心面临数万地震台站观测数据处理和存储压力。本文基于前期国家地震烈度速报与预警工程、公共安全信息化工程(中国地震局)建设项目等建设经验,总结地震数据分布式存储系统的建设模式,并验证其合理性。同时以历史数据迁移归档业务为例,分析共享存储系统的服务效能,为海量观测数据的高效存储管理、共享数据存储系统建设提供参考。 展开更多
关键词 地震数据 分布式存储系统 建设模式 服务效能
下载PDF
跨院区分布式医疗数据采集融合平台设计与实现
8
作者 杜青 孙晓玮 +2 位作者 冷金昌 黄士琴 李爽 《中国卫生信息管理杂志》 2024年第4期518-525,533,共9页
目的 解决区域性数据中心或多院区医疗机构进行跨院区数据采集、融合所面临的突出困难。方法综合运用全增量无缝衔接、数据变更捕获、一致性比对、容错机制及带宽优化等关键技术,设计了数据汇聚部署、同步组织、管理控制等平台功能模块... 目的 解决区域性数据中心或多院区医疗机构进行跨院区数据采集、融合所面临的突出困难。方法综合运用全增量无缝衔接、数据变更捕获、一致性比对、容错机制及带宽优化等关键技术,设计了数据汇聚部署、同步组织、管理控制等平台功能模块。结果 构建了分布式数据采集融合平台,解决多源异构数据归一性、完整性和保鲜性问题,实现跨院区、跨系统、跨领域的医疗数据实时汇聚融合。结论 分布式数据采集融合平台支持区域性数据中心或多院区医疗机构对医疗、管理、科研等方面数据价值进行挖掘,对满足全量实时贴源数据的迫切需求进行有效的技术性探索。 展开更多
关键词 区域性数据中心 多院区医疗机构 多源异构数据库归一 数据变更捕获 分布式数据采集融合
下载PDF
基于LSM-Tree的分布式数据库异步融合机制研究与实现
9
作者 杜轶德 刘文洁 《西北工业大学学报》 EI CAS CSCD 北大核心 2024年第2期303-309,共7页
信息技术的不断发展,使得分布式数据库成为研究热点。由于NoSQL架构的分布式数据库对SQL支持有限且在事务处理及一致性方面存在缺陷,基于LSM-Tree的NewSQL数据库逐渐成为应用的主流,例如TiDB、OceanBase等。分布式LSM-Tree的存储架构将... 信息技术的不断发展,使得分布式数据库成为研究热点。由于NoSQL架构的分布式数据库对SQL支持有限且在事务处理及一致性方面存在缺陷,基于LSM-Tree的NewSQL数据库逐渐成为应用的主流,例如TiDB、OceanBase等。分布式LSM-Tree的存储架构将数据分为基线数据与增量数据,通过合并操作将不同分区的增量数据与基线数据不断融合,并存储在磁盘,从而减少内存压力。但合并会占用大量系统资源,严重影响系统可用性。因此提出了一种基于LSM-Tree架构的异步融合机制,通过细分合并流程,将数据融合异步化,有效地缩短了单次数据合并的时间。实验表明,提出的异步融合机制可显著缩短数据合并时间,提高系统在高频写入场景下的鲁棒性和可用性。 展开更多
关键词 分布式数据 LSM-Tree 数据合并 异步融合 数据分区
下载PDF
基于数据库标签感知分片的制造过程测量数据分布式存储
10
作者 王佺珅 张爱梅 《机电工程》 北大核心 2024年第1期149-157,共9页
针对零件在线测量过程中多种测量仪器无法协同存储、仪器内数据查询聚合困难等问题,对多工序测量仪器集群的数据分布式存储和共享方法进行了研究。首先,在多个嵌入式测量仪器中,移植非关系型数据库集群对零件数据进行了分布式存储,简化... 针对零件在线测量过程中多种测量仪器无法协同存储、仪器内数据查询聚合困难等问题,对多工序测量仪器集群的数据分布式存储和共享方法进行了研究。首先,在多个嵌入式测量仪器中,移植非关系型数据库集群对零件数据进行了分布式存储,简化了零件数据存储模型;然后,引入标签感知分片(tag-aware sharding),实现了零件不同工序测量数据的分类存储目的;最后,使用多个搭载嵌入式Linux系统的树莓派3B+开发板作为测量仪器系统平台,搭建了基于MongoDB数据库的在线测量分布式存储集群,通过大量测试数据验证了该集群在多节点存储时数据分布均匀、性能稳定;将存储集群与企业制造执行系统(MES)进行了对接,其可以实时监控分析零件测量数据,快速汇总所有测量节点内的工序数据并生成报表。研究结果表明:当集群中数据量达到7.2×10^(5)条时,单节点查询响应速度稳定在125 ms~208 ms范围内,相比哈希分片,其最高提升了88.15%;多节点协同查询响应速度为1308 ms,相比“升序键+搜索键”方案,其提升了了61.64%;多个测量节点内,1×10^(5)个零件数据聚合统计仅需5 s左右。该存储集群可以监控零件生产情况,在减少零件制造误差、提高制造效率和质量方面具有重要作用。 展开更多
关键词 零件在线测量 分布式数据存储 标签感知分片 MONGODB 嵌入式测量仪器 制造执行系统
下载PDF
分布式异构系统中数据融合与存储的实现方法 被引量:5
11
作者 段长明 刘载文 《测控技术》 CSCD 2005年第2期5-9,共5页
介绍了在 Visual C++环境下,运用多线程技术实现分布式异构系统中数据融合与存储的方法。包括使用 RS-485 总线串行通信方式和公共电话网通信方式来实现监测数据的融合;以内存实时数据库和 SQLServer2000 关系数据库作为存储介质,使用 A... 介绍了在 Visual C++环境下,运用多线程技术实现分布式异构系统中数据融合与存储的方法。包括使用 RS-485 总线串行通信方式和公共电话网通信方式来实现监测数据的融合;以内存实时数据库和 SQLServer2000 关系数据库作为存储介质,使用 ADO 技术实现对数据的存储管理。实践证明该方法弥补了组态软件的不足,设计灵活,系统运行稳定、可靠。 展开更多
关键词 分布式异构系统 VISUAL C++ 多线程 串行通信 数据存储与管理
下载PDF
基于OBE理念和主线引领的大数据分布式存储课程教学改革探索
12
作者 杨军 宁玉富 +1 位作者 孙浩 宋招 《电脑知识与技术》 2024年第32期65-67,共3页
科技进步引领时代发展。近年来,随着新一代信息技术的涌现,“云、大、物、移、智”等新兴技术不断改变着我们的生活,同时也在潜移默化地进入高校课堂。大数据分布式存储课程是数据科学与大数据技术专业的专业必修课程。文章结合该课程... 科技进步引领时代发展。近年来,随着新一代信息技术的涌现,“云、大、物、移、智”等新兴技术不断改变着我们的生活,同时也在潜移默化地进入高校课堂。大数据分布式存储课程是数据科学与大数据技术专业的专业必修课程。文章结合该课程的特点,针对实际教育需求,按照OBE理念进行课程设计,将混合式教学理论融入课程教学中。同时,结合主线引领等教学方法,探索出混合式学习的实施思路,提出实践操作和线上线下混合式教学的教改模式。文章通过反向设计思路,以学生学习成果为导向,结合大数据分布式存储的学习主线,按照实践教学课程设计思路与方法进行教学改革与实践。同时,通过将数学、自然科学、工程基础和专业知识融合在日常教学中,旨在有效提高学生自主学习、合作、实践和创新的能力。 展开更多
关键词 OBE理念 主线引领 数据分布式存储
下载PDF
基于数据驱动的分布式光伏发电功率预测方法研究进展 被引量:5
13
作者 董明 李晓枫 +4 位作者 杨章 常益 任明 张崇兴 焦在滨 《电网与清洁能源》 CSCD 北大核心 2024年第1期8-17,28,共11页
从综述的角度,以分布式光伏系统为对象,分析了功率预测技术的发展情况、存在的难点以及主要影响因素,梳理了应用数据驱动方法实现功率准确预测的技术路线。再以空间相关性、历史出力功率以及气象等影响因素为切入点,梳理了光伏系统数据... 从综述的角度,以分布式光伏系统为对象,分析了功率预测技术的发展情况、存在的难点以及主要影响因素,梳理了应用数据驱动方法实现功率准确预测的技术路线。再以空间相关性、历史出力功率以及气象等影响因素为切入点,梳理了光伏系统数据驱动的功率预测研究现状,分析其相应的数据增强、时空图信息以及特征融合的手段,讨论了技术的优缺点。最后给出了功率预测数据驱动方法研究方向和发展建议。 展开更多
关键词 分布式光伏出力特性 数据驱动 数据增强 时空图信息 特征融合
下载PDF
基于随机森林的电网GIS数据分布式存储方法
14
作者 杨秋勇 王建欣 +1 位作者 符飞虎 罗政 《电子设计工程》 2024年第17期27-30,35,共5页
内部电网地理信息系统(Geographic Information Systern,GIS)数据体量增加,对电网数据存储性能造成了极大的困难,为此,提出一种基于随机森林的电网GIS数据分布式存储方法。以跨域资源共享(Cross-Origin Resource Sharing,CORS)技术在电... 内部电网地理信息系统(Geographic Information Systern,GIS)数据体量增加,对电网数据存储性能造成了极大的困难,为此,提出一种基于随机森林的电网GIS数据分布式存储方法。以跨域资源共享(Cross-Origin Resource Sharing,CORS)技术在电网GIS空间信息服务平台中获取的电网GIS数据为基础,根据类区分度数值选择电网GIS数据特征,引入随机森林算法分类处理电网GIS数据,将其合理分发给不同的服务器,采用并行处理手段存储分类数据,从而实现了电网GIS数据的分布式存储。实验数据显示:应用所提方法后,电网GIS数据分类精度达到了96.8%,电网GIS数据分布式存储时间最小值为5.2 s,充分证实了所提方法数据存储性能更佳。 展开更多
关键词 数据分类 电网GIS数据 并行处理 分布式存储 随机森林算法 类区分度
下载PDF
分布式云存储的设备装架与数据部署方法
15
作者 蔡文君 武振宇 +3 位作者 牛瑛霞 刘鹏 王凡 刘畅 《电信工程技术与标准化》 2024年第1期31-35,共5页
本文分析了分布式云存储的设备装架现状,指出目前装架的不足之处,然后根据分布式云存储的数据冗余存储特征,给出了一种分布式云存储服务器设备装架方法。该方法从设备安装上架开始就考虑冗余副本数据在机架间的均匀分布,确保分布式存储... 本文分析了分布式云存储的设备装架现状,指出目前装架的不足之处,然后根据分布式云存储的数据冗余存储特征,给出了一种分布式云存储服务器设备装架方法。该方法从设备安装上架开始就考虑冗余副本数据在机架间的均匀分布,确保分布式存储机架级的高可用,并给出了该装架方式下的数据部署方式建议,解决了分布式云存储机架级数据的高可用问题,使得数据均匀分布,提高了数据存取效率。 展开更多
关键词 分布式存储 数据部署 数据冗余 设备装架
下载PDF
分布式存储模式下的数据错误检测方法综述
16
作者 范帅 李晓军 +1 位作者 姚俊萍 王印铭 《中国电子科学研究院学报》 2024年第3期281-295,共15页
数据错误检测是数据质量保证的重要环节,直接关系到数据全生命周期分析结果的可信度。随着云边端数据中心架构应用领域及范围的逐渐扩大,以及网络节点存储计算能力的提升,数据分布式本地存储日益普遍,传统数据集中式存储模式下的数据错... 数据错误检测是数据质量保证的重要环节,直接关系到数据全生命周期分析结果的可信度。随着云边端数据中心架构应用领域及范围的逐渐扩大,以及网络节点存储计算能力的提升,数据分布式本地存储日益普遍,传统数据集中式存储模式下的数据错误检测方法难以适应数据分布式存储模式。基于此,开展分布式存储模式下的数据错误检测方法综述,在数据错误检测问题描述与分类基础上,从技术原理、模型方法、主要进展等角度,对基于传统分布式学习的数据错误检测方法、基于联邦学习框架的数据错误检测方法进行总结分析,比较了二者之间的区别及联系,并展望提出领域相关潜在研究机会及关注问题,为开展分布式存储模式下的数据错误检测及相关研究提供借鉴和参考。 展开更多
关键词 分布式存储 数据错误检测 传统机器学习 联邦学习
下载PDF
调控云架构下的长短期电网运维行为大数据防泄露分布式存储仿真
17
作者 马煜 杨晨辉 隋雨杉 《微型电脑应用》 2024年第7期153-156,167,共5页
为了实现大数据安全体系,对边界安全、访问控制和授权、数据保护、审计和监控提供支持,增强大数据存储的稳定性与安全性,提出调控云架构下的长短期电网运维行为大数据防泄露分布式存储仿真。构建长短期电网运维行为大数据防泄露分布式... 为了实现大数据安全体系,对边界安全、访问控制和授权、数据保护、审计和监控提供支持,增强大数据存储的稳定性与安全性,提出调控云架构下的长短期电网运维行为大数据防泄露分布式存储仿真。构建长短期电网运维行为大数据防泄露分布式存储的调控云架构,采用网格技术构建大数据的分布式存储结构,对网格信息进行分级与调度,通过分类并处理冗余数据降低冗余数据对分布式存储的影响,并采用密度演化结合数据特征压缩的存储方法,实现长短期电网运维行为的数据分布式存储;调控云架构的云安全加密部分通过调控云架构初始化、密钥产生、明文信息加密、密文分布式存储,防止分布式存储大数据泄露。实验结果表明:该方法存储性能好,数据上传速度快,存储过程稳定,能够保证存储数据安全性及计算机系统负载均衡。 展开更多
关键词 云架构 电网运维行为 数据防泄漏 分布式存储 密度演化 冗余数据
下载PDF
基于大数据技术的非关系型数据库分布式存储方法研究
18
作者 韩烨 《信息与电脑》 2024年第4期166-168,共3页
在当今信息时代,数据的复杂性不断增加,传统的关系型数据库在大规模数据存储和处理方面面临着挑战。非关系型数据库(Not Only SQL,NoSQL)作为一种新的存储和处理数据的方法,受到了广泛关注,并在分布式存储领域取得了显著的成就。文章重... 在当今信息时代,数据的复杂性不断增加,传统的关系型数据库在大规模数据存储和处理方面面临着挑战。非关系型数据库(Not Only SQL,NoSQL)作为一种新的存储和处理数据的方法,受到了广泛关注,并在分布式存储领域取得了显著的成就。文章重点探讨基于大数据技术的非关系型数据库分布式存储方法,并通过实验进行评估,发现其在可扩展性和安全性方面具有优势,可以为相关研究提供参考。 展开更多
关键词 数据技术 非关系型数据 分布式存储 数据存储方法 数据处理
下载PDF
面向大数据的分布式存储与访问优化框架
19
作者 马洒 尹孟洋 《通信电源技术》 2024年第7期225-227,共3页
文章针对大数据时代的存储与访问挑战,提出一种面向大数据的分布式存储与访问优化框架。提出总体框架设计,明确了分布式存储与访问系统的整体架构和功能模块。针对数据存储问题,研究了数据压缩和存储技术的优化方法,以提高存储效率和数... 文章针对大数据时代的存储与访问挑战,提出一种面向大数据的分布式存储与访问优化框架。提出总体框架设计,明确了分布式存储与访问系统的整体架构和功能模块。针对数据存储问题,研究了数据压缩和存储技术的优化方法,以提高存储效率和数据可靠性。针对分布式访问问题,研究了基于负载均衡的数据访问优化方法,以提高系统的整体性能和吞吐量。通过分析和讨论,探讨了方法的特点和改进空间,为分布式存储与访问技术的进一步研究提供了参考。 展开更多
关键词 数据 分布式存储 小波变换 负载均衡
下载PDF
基于HDFS分布式云存储系统的重复数据检测与删除研究
20
作者 王储 《电脑编程技巧与维护》 2024年第1期92-95,共4页
传统最远点采样(FPS)算法、数据类型分析(WFC)算法的去重冗余度高,在同一数据集分块、去重检测中的数据重复率达到70~90%。基于这一实际情况,提出基于Hadoop分布式软件框架、分布式文件系统(HDFS)等云服务技术,建构用于复杂数据结构分... 传统最远点采样(FPS)算法、数据类型分析(WFC)算法的去重冗余度高,在同一数据集分块、去重检测中的数据重复率达到70~90%。基于这一实际情况,提出基于Hadoop分布式软件框架、分布式文件系统(HDFS)等云服务技术,建构用于复杂数据结构分析、数据分块去重的HDFS-SDBS云存储管理系统,使用基于文件相似度的抽样删除索引(SDBS)算法进行文件数据分块、哈希值(Hash)计算、随机抽样的相似度判定,利用元数据索引查重方式完成输入文件数据、内存数据的比对,删除相似度过高的重复数据,以提升云环境下的数据存储效率与准确率。 展开更多
关键词 HDFS-SDBS 分布式存储系统 重复数据检测 删除
下载PDF
上一页 1 2 81 下一页 到第
使用帮助 返回顶部