分布式大数据资产权益管理问题与对策

[目的/意义]数字技术成为数据生产要素充分开发利用的重要驱动力量,充分利用数据资源的底层伴生议题是产权管理。数据流转中存在所有权与使用权分离的问题,在合理合法、保障用户权益的基础上进行数据资源管理活动成为亟待解决的问题。[方法/过程]基于“实践基础-抽象化分析-一般的具体认识”总思路,本文首先识别出分布式大数据资产的实践情况,而后从技术资源规范、合理使用边界、权益复杂性和使用权解析这4方面抽象化分析其权益管理关键内容。[结果/结论]基于抽象化分析,从机构层面具体说明:1)数据政策的原理和条款,2)权益组合的场景与内容规划,3)数据资产的配置管理,和4)数据资产管理业务的建构标准、工作流程、涉及的协议与规定、评估措施,以期对图书馆等数据资源管理机构在分布式大数据环境下为用户开展数据资产权益管理提供启发。

基于属性分类的分布式大数据隐私保护加密控制模型设计

在分布式大数据的存储和传输过程中,数据极易被恶意用户攻击,造成数据的泄露和丢失;为提高分布式大数据的存储和传输安全性,设计了基于属性分类的分布式大数据隐私保护加密控制模型;挖掘用户隐私数据,以分布式结构存储;根据分布式隐私数据特征,判断数据的属性类型;利用Logistic混沌映射,迭代生成数据隐私保护密钥,通过匿名化、混沌映射、同态加密等步骤,实现对隐私数据的加密处理;利用属性分类技术,控制隐私保护数据访问进程,在传输协议的约束下,实现分布式大数据隐私保护加密控制;实验结果表明,设计模型的明文和密文相似度较低,访问撤销控制准确率高达98.9%,在有、无攻击工况下,隐私数据损失量较少,具有较好的加密、控制性能和隐私保护效果,有效降低了隐私数据的泄露风险,提高了分布式大数据的存储和传输安全性。

支持分布式大数据应用建模的模型理论

针对当前尚无面向分布式大数据应用、支持多组件协作应用建模的一般实用模型理论的问题。首先,给出了分布式大数据应用问题的形式化定义和问题求解的一般表达形式;然后,引入包含多结构化状态关系代数、协议代数和交互计算总线格代数的交互式计算范畴,并由此建立了交互式计算模型MIC,作为分布式大数据应用建模的模型理论基础。目前,MIC已在住房和城乡建设部的信息资源统一规划和国家住房信息系统建设中取得了成功的应用。

云计算下分布式大数据智能融合算法仿真

当前分布式数据融合算法存在网络能耗高、数据融合后网络节点生存期较短等问题,提出基于估计机制的分布式大数据智能融合算法。对于连续不确定的数据流,通过滑动时间窗口细分数据。并在滑动时间窗口中依据网格法将数据划分至各网格中,于各网格中通过信息熵对正常数据进行筛选,采用局部异常因子对于剩余可能是异常的数据进行判断,根据判断结果将异常数据剔除。利用分布式网络参数以及数据特性和变化规律判断最优分簇规模。利用最优分簇结果对数据簇头的生成区域进行限定,将数据节点剩余能量估计当作簇头选取的依据,选择某区域内剩余能量较大的数据节点作为簇头。将在异常数据剔除结果中采集到的正常数据传输至簇头节点,完成分布式数据智能融合。实验表明,上述算法平均网络能耗为32nJ/bit,网络节点存活期较长。所提算法具有较强的可实践性,是一种可靠且科学的数据融合算法。

基于分布式大数据的Expectile回归分析

为应对分布式大数据对传统统计建模分析带来的巨大挑战,考虑Expec tile回归模型以实现基于分布式大数据的有效数据处理和统计推断.其新颖之处在于对分布式存储于每台机器中的数据,分别应用Expectile回归,再通过平均方法聚合这些回归结果并进行综合推断.在算法上,考虑在处理大数据计算中热门的交替方向乘子算法(ADMM)基础上,提出了分块ADMM算法,该迭代算法易于并行计算,结果稳健,而且可以显著减少存储大数据所需的容量.不仅基于分布式大数据的Expectile回归模型的参数估计具有良好的有效性和渐近性质,而且数值模拟和实证分析也都验证了该方法在处理分布式大数据时的有效性.

基于特征加权的分布式大数据相关性挖掘方法

针对传统方法存在计算时间较长,任务分配均匀程度较差的问题,提出基于特征加权的分布式大数据相关性挖掘方法。对软子空间进行聚类,根据特征加权的不确定性表示加权聚类中心,并求解权值。设计特征选择的技术框架对特征加权进行选择,依据特征空间搜索机制完成特征筛选。根据特征筛选结果运用MapReduce编程模型对数据簇的聚类中心进行反复扫描,计算样本到聚类中心的距离,去除其中的孤立点。利用Shuffle均衡分组机制计算频繁项集,开始新项的FP树建立及频繁项集挖掘,直至完成所有频繁项集的挖掘。实验结果表明,所提方法的挖掘时间低于传统方法,并且任务分配均衡性较高,说明上述方法具有一定的应用价值。

基于密度演化的分布式大数据云存储方法仿真

针对传统分布式大数据存储方法效率慢、能耗高、容易出现冗余信息的问题,提出一种基于密度演化的分布式大数据云存储方法。采用随机系统分析密度演化基础理论,确定相关参数值和关联规则,据此建立分布式云存储基础模型,保证大数据传输存储过程中每条数据能够独立存在,并增强冗余数据的分配准确率和分配效率,通过计算获得云存储中冗余数度分类,构建最佳冗余数据分配策略,最大程度将低存储时间和空间。通过计算数据融合概率实现存储压缩,得出大数据的变化特征识别数学模型,由此实现密度演化的分布式大数据云存储。仿真结果表明,所提方法能够有效减少冗余信息对云存储的影响,且整个过程耗时短、耗能低、效率高,可广泛使用在现实环境中。

基于Spark视域下的分布式大数据算法分析——以计算机维修实验室管理系统为例

本文根据计算机维修实验室管理系统功能需求,提出了基于Spark应用分布式大数据算法。研究过程中,以分布式算法为切入点,分析算法应用消息传递系统、流媒体数据处理系统,构建预测模型,以此为基础开展系统实体框架设计,且对系统进行测试,结果表明系统功能、性能均满足管理要求。

基于Spark的分布式大数据分析建模系统的设计与实现

针对分布式大数据对数据存储、清洗、转化、聚合、挖掘和分析工作所造成的挑战,设计并实现了一种基于Spark的分布式大数据分析建模系统。该系统通过数据采集、数据存储、数据分析、数据管理和数据应用5个模块,实现结构化、半结构化及非结构化数据的适配采集与离线、在线分析处理;并使用管理和控制平台,实现系统的协调运行。软硬件实现及建模测试结果表明,所提出的系统能实现具体场景故障诊断数据的有效、精确聚类,并可满足大数据处理的速度和精度需求。

云计算下分布式大数据智能存储算法仿真

为解决传统大数据存储方法存在的存储响应时间长、数据聚类效果差的问题,提出云计算下分布式大数据智能存储算法。通过分析分布式大数据序列,得出归一化的RGB直方图计算大数据直方图的绝对差,映射数据序列的变化,以此对分布式大数据进行分类,再使用K-means算法选择聚类的中心,并拟定聚类数量和标准的测评阈值对数据进行聚类,把所有聚类集合内相应的数据通过长短缓存区将其补全,随后以数据流的形式存储到标签中使其组成完整的分布式大数据文件,从而达到对分布式大数据智能存储的目的。仿真结果证明,研究方法的大数据存储过程耗时更短,且不易受到外界异常干扰,有效增强了大数据的聚类效果,从而提高了分布式大数据的智能存储性能。

混合云存储架构下分布式大数据异步迁移系统设计

在大数据呈爆发式增长情况下,采用传统迁移系统存在迁移响应速率慢的问题,针对该问题,设计了混合云存储架构下分布式大数据异步迁移系统。采用主从同步服务器,通过SQL thread线程读取,实现数据库主从同步与分离。依据大数据迁移流程,分析时长和访问频率,由此获取迁移函数,在混合云存储架构下,对敏感数据集进行判断,实现对迁移函数最大数据集的迁移。系统运行结果表明,混合云存储架构下设计的系统迁移响应速率更快,优化了迁移系统性能。

云计算环境下分布式大数据多信道并行控制系统

分布式大数据控制受到信道数量影响易产生不同步现象,导致信道控制性能较差,设计一种云计算环境下分布式大数据多信道并行控制系统;系统硬件:节点处理模块由FPGA芯片以及抗干扰器组成;无线通信模块主要由射频芯片与无线收发器组成;USB模块由接口芯片、寄存器、存储芯片以及周边电路构成;系统软件:分布式大数据多信道数据存储与处理模块的构成同步存储数据单元与数据多路实时处理单元;多信道并行控制模块主要由多信道并行管理单元、多信道状态扫查单元以及生成数据流单元构成;通过硬件与软件相结合实现了分布式大数据多信道并行控制;实验结果证明,分布式大数据信道平均传输速率数据则分布、保持的较为均匀,实现了性能提升。

基于Spark的分布式大数据并行化聚类方法研究

为提高异构复合存储数据库中分布式大数据的检索识别能力,提出一种基于Spark融合聚类的异构复合存储数据库中的分布式大数据并行化聚类方法,构建异构复合存储数据库存储结构模型,提取数据库中的分布式大数据的统计序列特征量,采用相空间结构重组方法进行分布式大数据的信息特征挖掘,在高维相空间中实现分布式大数据关联信息检测和特征挖掘。对提取的特征量采用Spark融合聚类方法实现并行聚类,结合自适应的学习算法实现数据聚类中心的自动搜索,提高聚类的收敛性。仿真结果表明,采用该方法进行异构复合存储数据库中分布式大数据聚类的自适应性能较好,聚类准确度较高,误分率较低,具有很好的数据库检索和特征识别能力。

基于网格技术的分布式大数据混合云存储方法

为提升分布式大数据的存储能力,实现大数据的定向迁移与应用,提出基于网格技术的分布式大数据混合云存储方法。采用网格技术设计Hadoop型云框架、大数据调度模块、信息互感平台,完成分布式存储结构搭建。在此基础上,通过划分大数据存储关系,定义混合云存储的具体格式,实现分布式大数据混合云存储方法设计。实验结果表明,与传统分级信息存储方法相比,新方法的大数据定向迁移速率达到4.5×10^7T/h,存储容量的上限也明显提升,能够充分满足分布式大数据存储需求。

分布式大数据存储在融合新闻生产平台中的应用

本文结合深圳广电的实践,介绍了在融合新闻生产的业务背景下,分布式大数据存储技术、架构和特点,实现了对融合新闻生产平台的有效支撑,对存储系统与融合生产业务的结合进行了展望。

基于Hadoop的分布式大数据检索系统设计

传统的分布式大数据检索系统构建的数据仓库模型不稳定,导致数据检索时间较长,因此设计基于Hadoop的分布式大数据检索系统。该系统硬件上采用SSD固态硬盘存储数据,软件上根据分布式大数据检索系统的特性设置实时数据更新模式扩宽检索范围,基于Hadoop构建数据仓库模型,采用数据聚类融合算法检索分布式大数据。实验结果表明,设计系统能够有效缩短检索时间,节约检索成本。

基于分布式大数据框架的全比较问题文件分发策略研究与平台构建

分析了现有解决大数据集全比较问题的数据分发相关研究成果存在的问题和混合整数线性规划模型在优化问题中的应用,在此基础上构建了一种分布式系统下数据文件分发策略模型并进行了数据文件分发算法设计,基于大数据平台框架和数据分发算法建立了一个分布式数据文件分发平台.实验结果表明:本文提出的数据分发策略模型和算法具有数据完全本地化、计算负载均衡和存储占用少等优点.

基于计算机技术的遥感大数据分布式管理与训练云平台设计

随着遥感技术的发展,遥感数据类型从数据量小、处理周期短的数据发展到大容量、处理周期长的数据,对大数据技术的依赖日益突出。近年来,基于云计算的分布式计算技术逐渐应用于大数据领域,将其与云存储、云服务器、云应用系统有机结合起来,实现了在资源池中动态分配和调度大数据计算任务。在遥感大数据的处理中,通过分布式计算技术,将计算任务分散到各个计算节点上,实现对遥感数据的分布式处理和管理。同时,通过训练云计算平台中的大数据应用框架以及机器学习算法等技术来提高训练效率。

非关系型分布式大数据多分辨率采集系统设计

为了满足用户的数据采集与应用需求,提出非关系型分布式大数据多分辨率采集系统设计。搭建分布式大数据多分辨率采集架构,引入Boosting算法将同一空间分辨率数据划分为同一类别,完成大数据的聚类处理;测量数据传输延时与时钟偏移量,同步配置分布式时钟;以大数据聚类结果为基础,以分布式时钟同步配置为依据,以用户需求数据分辨率范围为限制,在大数据聚类集合中提取相关数据,选取适当的存储节点保存提取数据,从而实现分布式大数据的多分辨率采集。实验结果表明:应用设计系统获得的数据采集速率最大值为140 MB/s,数据采集质量因子最大值为9.4,证实设计系统应用性能更佳。

基于群体智能算法的大数据分布式存储方法

采用目前方法对大数据进行存储时,无法有效分配数据中存在的冗余数据,导致方法存在带宽占用率高、负载均衡度低、节点剩余能量低和数据存储量低的问题。提出基于群体智能算法的大数据分布式存储方法,利用一致性树分布存储方法完成大数据的分布存储,通过群体智能算法选择存储节点,对存储节点和大数据进行映射处理,将数据映射到对应的存储节点中,并采用遗传算法对大数据中存在的冗余数据进行分配,完成大数据的分布式存储。实验结果表明,所提方法的带宽占用率低、负载均衡度高、节点剩余能量高、数据存储量高。