基于LSM树的视频数据扩容存储系统设计

针对视频清晰度过高导致存储容量不足以及处理耗时长的问题,设计基于LSM树的视频数据扩容存储系统。利用EMCX4-480磁盘阵列储存备份数据,使用FPGA实现数据缓存管理与控制。应用LSM树控制存储过程中出现的延迟问题,并通过分割机制计算数据节点的分割存储数量,由此完成系统扩容。利用LSM树组织视频数据,应用概率描述存储期望值,实现视频数据扩容存储。由实验结果可知,该系统能够将所有视频数据存储在系统中,且数据存储最大耗时为179 ms,能够达到在短时间内实现全部视频数据有效存储的目的。

基于Android的ContentProvider实现数据共享的研究与探讨

由于Android中没有提供所有应用共同访问的公共存储区域,Android系统中提供了ContentProvider类,该类用于保存和获取数据,并使其对所有应用程序可见。本文主要介绍了ContentProvider基本概念、ContentProvider的常用方法以及利用ContentProvider获取Android的用户隐私的方法。

考虑移动氢能存储的港口多能微网两阶段分布鲁棒优化调度

为有效应对海上风电固有的间歇及波动性给港口多能微网带来的不确定性风险,提出一种考虑移动氢能存储的港口多能微网两阶段分布鲁棒优化调度模型。首先,结合Wasserstein距离实现风电出力概率分布模糊集的精确刻画,并通过非参数核密度估计拟合海上风电预测误差概率分布,获得不同置信水平下风电出力区间及场景。其次,分析氢能船舶、汽车等移动氢能存储资源对间歇性风电出力的能源存储潜力,并结合用能心理、交通属性差异,将两者分别建模为激励型、价格型需求响应,实现港口移动氢能存储灵活性资源的高效聚合。再次,针对含移动氢能存储的港口多能微网,构建基于概率分布模糊集的日前-日内两阶段分布鲁棒优化调度模型,并运用线性决策规则与强对偶理论将其转换为混合整数线性规划模型求解。最后,基于海上风电实测数据进行仿真验证。结果证明,移动氢能存储可显著提升港口多能微网的低碳灵活性,所提模型在兼顾港口多能微网经济性的同时,可进一步保证风电不确定性风险下的鲁棒性。

基于密度划分的分布式数据容错存储算法研究

为保证数据安全性,缓解数据存储空间,提出基于密度划分的分布式数据容错存储算法。过滤分布式数据高密度数据区域,将具有高度相似的目标划分到不同区域,通过数据来源样本点描述数据的密度分布,设定数据弹性,利用概率以及数据粒度推算出对应的存储梯度和强度指数,并在信息存储中引入数据存储梯度和数据弹性,完成分布式数据容错存储。实验证明,所提算法有较高的容错性,带宽吞吐量平稳,平均路径长度较小,能提高网络数据的安全性。

具有高价值密度的农业物联网数据区块链压缩存储方案

针对现有区块链物联网体系主要采用链上存储摘要链下保留原始数据的存储方式中链上无法直接获得真实数据的问题,该研究提出了一种具有高价值密度的农业物联网数据区块链压缩存储方案。首先,边缘服务器将收集的同一批数据聚合到同一批事务中;其次,设计离群值可处理的自适应有损压缩方法,在满足用户保真度要求的前提下降低数据冗余;最后,压缩数据上链,实现区块链上物联网数据的高价值密度存储。与现有方案相比,该方案能提高链上存储真实物联网数据的效率。试验结果表明,在使用自适应压缩方法压缩数据时,针对不同的数据集会自适应选取k值,在满足用户重建精度的前提下,获得良好压缩效果,减少链上存储空间,提高了数据价值密度;相对于风速之类频率较高的数据,温湿度、二氧化碳等变化频率较低的数据可以获得较高的压缩比;当假设正常数据压缩比为10:1时,该方案可节省约85%的链上存储空间,相应的价值密度提高了约85%。该研究可为农产品溯源过程中的物联网数据高效存储提供解决方案,为实现分布式农业物联网数据压缩存储提供技术支持。

云计算环境下的大数据存储与处理优化策略分析

本文分析了云计算环境下的大数据存储与处理优化的策略,优化大数据存储可以提高性能、降低成本、提升可扩展性。通过对云计算和大数据技术的融合趋势,以及现有挑战和问题,深入阐述了存储优化策略、数据分区、压缩、副本管理等,以降低存储成本。通过案例研究和实验结果,验证了这些策略的有效性。

DNA存储场景下的大小喷泉码模型设计

在DNA存储等应用场景中,传统喷泉码算法需要占用额外信道资源将源文件分组数目K传递给解码端。在实际应用中,虽然可以将K嵌入在每一个编码数据分组中进行传递,但这种做法会严重浪费信道的带宽。针对上述问题,提出了一种大小喷泉码模型,通过增加小喷泉码这一带外信道来优化关键参数的传递。小喷泉码将每个编码分组中有关参数K所占用空间的粒度降至1 bit,有效减少了带宽资源的消耗。此外,小喷泉码还能适应由于DNA存储介质不均匀所导致的编码序列不定长的限制条件,一定条件下甚至可以完全不占用额外信道带宽。

面向云存储的属性基双边访问控制方案

针对目前云存储中细粒度双边访问控制机制安全模型较弱且外包解密结果缺乏验证的问题,提出了一种面向云存储数据的属性基双边访问控制方案。首先,提出了自适应安全可验证外包双边CP-ABE的形式化定义和安全模型;其次,以此为基础并结合批量可验证技术在合数阶群上设计了双边访问控制方案,支持数据拥有者与数据使用者同时为对方定义访问策略;最后,安全性分析表明,所提方案在自适应安全模型下针对选择明文攻击与选择消息攻击是不可区分的和存在性不可伪造的。实验结果显示,所提方案减轻了用户端的匹配、解密以及验证阶段的计算开销。

TEB:GPU上矩阵分解重构的高效SpMV存储格式

稀疏矩阵向量乘法(SpMV)是科学与工程领域中一个至关重要的计算过程,CSR(compressed sparse row)格式是最常用的稀疏矩阵存储格式之一,在图形处理器(GPU)平台上实现并行SpMV的过程中,其只存储稀疏矩阵的非零元,避免零元素填充所带来的计算冗余,节约存储空间,但存在着负载不均衡的问题,浪费了计算资源。针对上述问题,对近年来效果良好的存储格式进行了研究,提出了一种逐行分解重组存储格式——TEB(threshold-exchangeorder block)格式。该格式采用启发式阈值选择算法确定合适分割阈值,并结合基于重排序的行归并算法,对稀疏矩阵进行重构分解,使得块与块之间非零元个数尽可能得相近,其次结合CUDA(computer unified device architecture)线程技术,提出了基于TEB存储格式的子块间并行SpMV算法,能够合理分配计算资源,解决负载不均衡问题,从而提高SpMV并行计算效率。为了验证TEB存储格式的有效性,在NVIDIA Tesla V100平台上进行实验,结果表明TEB相较于PBC(partition-block-CSR)、AMF-CSR(adaptive multi-row folding of CSR)、CSR-Scalar(compressed sparse row-scalar)和CSR5(compressed sparse row 5)存储格式,在SpMV的时间性能方面平均可提升3.23、5.83、2.33和2.21倍;在浮点计算性能方面,平均可提高3.36、5.95、2.29和2.13倍。

基于知识图谱的存储系统单元教学设计

针对存储系统教学单元概念复杂、术语众多以及理解难度大等特点,提出一种基于知识图谱的教学设计方法。该方法通过知识图谱将碎片化的知识点体系化、可视化,从教学内容分析、知识图谱构建、重难点分析及对策设计、教学策略设计、教学过程设计和过程性考核设计等多个环节进行教学设计,并融入思政元素、职业素养,促进“德法知技”综合育人。

基于多链存储优化的水产品交易匹配模型研究

区块链技术应用到水产品线上交易架构中可以使交易双方隐私信息得到基本保障,然而,目前区块链水产品线上交易模型和系统存在海量数据存储负载大、维护成本高、数据查询效率低等问题。为进一步缓解以上问题,在梳理和分析水产品交易流程基础上,根据水产品交易业务技术需求,提出了基于多链存储优化的水产品交易匹配模型。该模型在智能合约中通过贪心算法实现了效率较高的多属性水产品线上交易匹配过程,通过区块链多通道技术构建了水产品交易多链架构,实现了用户交易信息分布式存储,提高了交易信息查询效率,同时,采用区块链与本地数据库双模式存储技术,缓解了区块链网络中各个节点海量数据存储的负载。基于Hyperledger Fabric平台实现了基于多链存储优化的水产品交易原型系统。该原型系统测试结果表明,临界值900s平均最多可以完成1296笔交易,说明系统在处理千条交易数据量时可以正常运行,满足水产品线上交易平台日常实际交易业务需求,同时在链上存储1600条合同信息时查询1条用户合同信息平均时间为4.018s,多链存储结构提高了链上数据查询速度。

多GPU系统非一致存储访问优化:研究进展与展望

随着晶体管缩小速度的减缓,单GPU(Graphics Processing Units)的性能提升已经变得越来越具有挑战性,因此,多GPU系统成为了提高GPU系统性能的主要手段.然而,由于片外物理设计的制约,多GPU系统中处理器间的带宽不均衡导致了非一致存储访问(Non-Uniform Memory Access,NUMA)问题,严重影响多GPU系统的性能.为了减少非一致存储访问所导致的性能损失,本文首先分析了非一致存储访问出现的原因,并对现有的非一致存储访问解决方案进行了对比.针对不同维度的非一致存储访问,本文从减少远程访问流量和提升远程访问性能两个方向出发,对非一致存储访问的优化方案进行了总结.最后,结合这些方案的优缺点,提出了未来多GPU系统非一致存储访问优化的发展方向.

基于级联编码的区块链分片存储方案

传统区块链存在存储可扩展性难题,现有研究基于纠删码理论降低了区块链存储开销,但在区块的译码恢复时会带来高额的计算与通信开销。为解决以上难题,提出了一种基于级联编码的区块链分片存储方案。通过添加预编码层改进现有无码率纠删码,实现了Ο(n)的编译码复杂度。考虑译码过程中节点间的通信时延差异,提出了基于Metis的时延感知分片算法,通过时延权重决定节点的分片归属,降低译码过程中的通信开销。仿真结果表明,所提方案不仅保证了区块链数据可靠性而且所需的计算开销与通信开销也优于传统方案。

SL-tgStore:新的时序知识图谱存储模型

为了解决时序知识图谱的存储问题,提出结合快照和日志模式的时序知识图谱存储模型SL-tgStore.模型由若干时间桶组成,每个时间桶由一系列的时间窗口组成.在首个时间窗口引入初始快照作为时序知识图谱存储和处理的基本单元,在接下来的时间窗口存储为增量日志.提出相应的阈值来确定初始快照的生成,即生成一个新的时间桶,以达到初始快照数量与增量日志数量的平衡,并提出临时快照生成算法.所提模型能够有效解决快照存储模式消耗内存大,日志存储模式查询效率低的问题.为了对SL-tgStore模型进行高效查询,在此基础上提出4种索引结构.在4个真实数据集上进行实验,理论研究与实验结果表明所提出的SL-tgStore存储模型具有高效性.

基于Room的持久存储的设计与优化

Room库作为一种强大的数据库轻量级持久化框架,广泛应用于Android应用的持久存储设计。文章介绍了Room库的核心架构和组件,提出了Room性能优化的策略,以提高数据库操作的效率和响应性,对构建高质量、高性能的Android应用程序有一定的指导意义。

知识图谱特征重构下无线传感网络数据存储恢复

为了提升无线传感网络数据存储恢复成功率,保障无线传感网络数据存储安全性,提出知识图谱特征重构下无线传感网络数据存储恢复方法。通过基于知识图谱的特征重构方法优化数据存储结构;利用BP神经网络和LEACH算法,对特征重构后的数据进行融合。最后,结合多级网络编码和纠删码的原理,构建多级编码矩阵对融合数据进行多级编码,并生成多份数据副本进行存储,实现无线传感网络数据存储恢复。实验结果表明,该方法能够提升数据存储恢复成功率至90%以上,通信代价低于1.5×10^(5) Mbit/s,存储恢复时间低于0.7 ms,可以在提升恢复成功率的同时,降低存储通信代价和存储恢复时间。

一种使用Flash阵列存储数据的方法研究

在航空航天领域,随着飞行器性能的提升,研制过程中试验所需的数据存储量和数据存储速度也在不断提高。该文基于高速大容量数据存储的目的,利用FPGA的强大数据处理能力,进行Flash存储阵列及流水线管理的设计,并针对Flash阵列坏块检测和突发坏块提出了对应处理方法。通过对不同组合方式的存储阵列速度及存储容量进行研究对比,得到了一种使用Flash阵列进行高速数据存储的设计方法。相较单片存储,设计的存储阵列数据存储容量和速度成倍增加,且存储阵列的有效块利用率在99%以上。

一种存储式测井的扭矩卸放和压力监测装置研制

存储式测井一般是通过钻具、油管或者连续油管对其进行输送,仪器在推进的过程中可能会产生较大的扭矩,为保护仪器安全,需将该力消除掉;为解决定时法不能准确启动或停止井下仪工作的不足,通过压力量变化情况来实现此功能。研制一种主要由转动机构、油压平衡机构以及压力传感组件构成的装置。当扭矩值大于一定阈值的时,转动机构起作用;油压平衡结构则保障其在高温、高压力的泥浆介质中可靠转动;压力传感组件测量端面能够充分感知井下泥浆的压力变化情况,输出端具有良好的密封承压功能。该装置工作可靠,并有效地提高了测井仪器的使用安全。

基于RTD1296的私有存储设备的设计

为满足私有存储设备传输安全、传输数据高效、节省电能的需求,设计一种以RTD1296为控制核心的千兆私有存储设备。该设备搭载Ubuntu系统和SFTP服务器,确保数据传输安全;采用千兆以太网和千兆无线网卡无缝连接互联网,确保数据高效传输;使用ZeroTier异地组网技术实现内网穿透;使用MQTT技术实现设备远程开关机,达到节省电能和保护磁盘数据安全的效果;使用AIRKISS+ESPTOUCH技术实现智能手机配网;具有蓝牙连接一键唤醒设备,提醒用户备份,易用高效。实验结果表明,所设计的私有存储设备能够保证数据传输安全,相比于RTD1195存储设备,该设备的下载速度快3倍,上传速度快7倍,整机节能高达50%,可实现安全、高效、节能、易用的目标。

云存储环境下基于模格算法的数据存储完整度检测

在云存储环境下进行数据保存后,需要依托于数据持有性证明检测数据存储完整度,每次验证的计算较为庞大,导致完整度检测的时间较长.对此,提出存储环境下基于模格算法的数据存储完整度检测方法 .基于热点循迹的数据分块技术,得到待检测的存储数据子块.根据数据块数量搭建包含众多叶子节点的多分支路径树,并通过哈希值匹配实现验证数据块动态更新.考虑数据存储完整度检测的3种参与实体,建立包含6种算法的验证机制,指导完整度检测的具体流程.最后,利用模格算法实现数据存储完整度检测.实验结果表明:在数据量为1 024 MB时,采用所提方法进行数据存储完整度检测的时间开销仅为3.5 s,满足了云存储数据检测要求.