前言

进入数字经济时代,数据已成为新的核心生产要素,其重要战略资源地位日益凸显,数据潜能的有效激发取决于数据的存储与分析处理.随着先进计算以计算为核心逐步向以数据为中心的不断演进,高效安全存储和智能数据分析成为学术界和产业界广泛关注的焦点.

面向存算联调的跨云纠删码自适应数据访问方法

日益旺盛的跨云存算联调需求对跨云数据访问速度提出较高要求.因此,跨云数据访问速度较高的基于数据冗余技术(纠删码和多副本)的跨云数据访问方法逐渐受到关注.其中,基于纠删码的跨云数据访问方法因其存储开销较低、容错性较高而成为当前研究热点.为通过缩短编码块传输用时以提高数据访问速度,现有基于纠删码的跨云数据访问方法尝试引入缓存技术并优化编码数据访问方案.然而,由于现有方法的缓存管理粒度较粗且未协同优化缓存管理与编码数据访问方案,导致其存在缓存命中量低、缓存命中增效低、低传输速度编码块访问量大等问题,使得其编码块传输用时仍较长.为此,首先提出了一种基于星际文件系统(interplanetary file system,IPFS)的跨云存储系统框架(IPFS-based cross-cloud storage system framework,IBCS),可基于IPFS数据分片管理机制实现细粒度的缓存管理,从而可提高缓存命中量.然后,提出一种面向存算联调的跨云纠删码自适应数据访问方法(adaptive erasure-coded data access method for cross-cloud collaborative scheduling of storage and computation,AECAM).AECAM以编码块(含缓存编码块)与数据访问节点的分布为依据评估数据访问过程中各编码块的传输速度,并据此制定可避免访问低传输速度编码块的编码数据访问方案.此外,AECAM可识别出其制定编码数据访问方案时易选中且实际传输速度较低的编码块,并将其缓存在数据访问节点附近,从而可同时提高缓存命中量和命中增效.最后,基于IBCS和AECAM构建了面向跨云存算联调的存储系统(cross-cloud storage system for collaborative scheduling of storage and computation,C2S2).跨云环境下的实验表明,相较于现有引入缓存的基于纠删码的存储系统,C2S2可以将数据访问速度提高75.22%~81.29%.

前言

计算机存储系统承载数据,是信息平台的核心基础设施.近年来,全球数据规模爆发式增长,计算机存储系统面临着高速数据访问、海量数据存储以及存储服务质量保障的挑战.同时,由于新型硬件(如NVMe SSD、持久内存、异构加速设备等)的发展与成熟,存储系统技术研究面临着诸多新的机遇.基于上述背景,为促进存储领域的技术交流,《计算机研究与发展》推出了本期存储专题.本期专题收录了6篇论文,分别展示了新硬件环境下存储系统设计和大规模数据存储服务质量保障等存储领域关注热点的研究现状和最新研究成果,希望能为从事相关工作的读者提供借鉴和帮助.

基于融合学习的无监督多维时间序列异常检测

随着多云时代的到来,云际智能运维能够提前检测处理云平台的故障,从而确保其高可用性.由于云系统的复杂性,运维数据在数据局部性和数据全局性上呈现出多样的时间依赖和维度间依赖,这给多维时间序列异常检测带来很大的挑战.然而,现有的多维时间序列异常检测方法大多是从正常时序数据中学习到特征表示并基于重构误差或预测误差检测异常,这些方法无法同时捕获多维时间序列在局部性和全局性上的信息依赖,从而导致异常检测效果差.针对上述问题,提出了一种基于融合学习的无监督多维时间序列异常检测方法,同时对多维时间序列的数据局部特征和数据全局特征进行建模,得到更加丰富的时序重构信息,并基于重构误差检测异常.具体地,通过在时域卷积网络中引入自注意力机制使得模型在构建局部关联性的同时更加关注数据全局特征,并在时域卷积模块和自注意力模块间加入信息共享机制实现信息融合,从而能够更好地对多维时序的正常模式进行重构.在多个多维时间序列真实数据集上的实验结果表明,相较于之前的多维时间序列异常检测,提出的方法在F1分数上提升了高达0.0882.

云计算环境下的分布存储关键技术

云计算作为下一代计算模式,在科学计算和商业计算领域均发挥着重要作用,受到当前学术界和企业界的广泛关注.云计算环境下的分布存储主要研究数据在数据中心上的组织和管理,作为云计算环境的核心基础设施,数据中心通常由百万级以上节点组成,存储其上的数据规模往往达到PB级甚至EB级,导致数据失效成为一种常态行为,极大地限制了云计算的应用和推广,增加了云计算的成本.因此,提高可扩展性和容错性、降低成本,成为云计算环境下分布存储研究的若干关键技术.针对如何提高存储的可扩展性、容错性以及降低存储的能耗等目标,从数据中心网络的设计、数据的存储组织方式等方面对当前分布存储的关键技术进行了综述.首先,介绍并对比了当前典型的数据中心网络结构的优缺点;其次,介绍并对比了当前常用的两种分布存储容错技术,即基于复制的容错技术和基于纠删码的容错技术;第三,介绍了当前典型的分布存储节能技术,并分析了各项技术的优缺点;最后指出了当前技术面临的主要挑战和下一步研究的方向.

数据网格及其关键技术研究

从应用需求出发 ,首先分析探讨了数据网格的基本目标 :命名的透明性、定位的透明性、协议的透明性和时间的透明性 ,以及数据网格提供的基本服务 :目录服务、注册与发布、信息发现、存储资源代理服务、身份认证与访问控制、调度和方法执行等 ,深入研究了数据网格的关键技术——元数据目录和存储资源代理 。

低跨云数据中心修复流量的纠删码的快速构造方法

近年来,云数据中心故障频发,因而各大机构纷纷采用跨云数据中心多副本技术对数据进行容灾存储.与跨云数据中心多副本技术相比,跨云数据中心纠删码技术可靠性更高、冗余度更低.但是,现有跨云数据中心纠删码技术无法同时满足低跨云数据中心修复流量、高编码参数适应性和高纠删码构造效率,因而尚未在生产系统中得到普遍应用.提出一种低跨云数据中心修复流量的纠删码的快速构造方法(fast construction method of the erasure code with small cross-cloud data center repair traffic,FMEL),该方法可在不同编码参数下快速构造具有低跨云数据中心修复流量的纠删码.具体而言,FMEL首先将纠删码修复组分布方案及用户指定的编码参数转换为定长特征向量,并基于支持向量机对各特征向量进行快速分类以检验其对应纠删码修复组分布方案和编码参数的匹配性--某特征向量属于正类表示其对应纠删码修复组分布方案与编码参数相匹配.而后,FMEL用一种并行搜索算法从所有通过检验的纠删码修复组分布方案中选出平均跨云数据中心修复流量较小的一个方案,并用一种试错算法将其转换为具有低跨云数据中心修复流量的纠删码的生成矩阵.跨云数据中心环境中的实验表明,与现有的可在不同编码参数下构造出能达到平均跨云数据中心修复流量下限的最优码的工作相比,FMEL可将纠删码构造用时缩短89%,且在大部分编码参数下,二者构造的纠删码的跨云数据中心修复流量相同.此外,与其他几类常用纠删码相比,FMEL构造的纠删码可将跨云数据中心修复流量降低42.9%~56.0%.

不确定数据查询技术研究

当前不确定数据广泛存在于诸如传感器网络、RFID网络、基于位置服务以及移动对象管理等各种现实的不确定性应用中.不确定数据查询作为不确定数据管理的重要组成部分,在信息检索、数据挖掘、决策制定和环境监控等众多应用中发挥重要作用,目前已成为数据库和网络计算等领域的一个研究热点.从目前不确定数据查询研究的各种查询类型介绍和查询特点分析出发,主要综述了4种典型的不确定数据查询类型,即不确定Skyline查询、不确定Top-k查询、不确定最近邻(NN)查询以及不确定聚集查询;重点论述了各种不确定数据查询的定义,各类查询的特点,并分类介绍了当前各类不确定数据查询研究的现状和各种查询方法的优缺点;最后,基于当前不确定数据查询技术的最新研究动态指出了未来研究工作的趋势.

分布式存储中的纠删码容错技术研究

大数据规模上体量大和增长速度快的特点对存储系统的性能和可扩展性提出了严峻挑战.使用普通商用服务器构建的分布式存储系统服务能力强、成本低廉且极易扩展,在大数据的存储管理中得到了极为广泛的应用.分布式存储系统庞大的节点数量导致节点失效情况频发,必须采用一定的容错技术来保证数据可靠性.常用的容错技术主要包括多副本技术和纠删码技术两种.与多副本容错技术相比,纠删码容错技术能够以低得多的存储开销提供相同甚至更高的数据可靠性.随着近年来数据规模的爆炸式增长,纠删码容错技术受到了业界的广泛关注.该文综述了分布式存储中纠删码容错技术的研究现状.首先,介绍了纠删码容错技术的基本原理和概念,指出了纠删码容错技术在大规模分布式存储中面临的主要技术挑战;然后,从编码实现、纠删码设计、数据修复和数据更新等方面阐述了分布式存储中纠删码容错技术的研究进展,重点研究分析了各项关键技术的特点和局限性,并依据主要评价指标对现有纠删码的编码性能和修复性能进行了对比和分析;最后,基于最新研究动态指出了分布式存储中纠删容错技术未来的研究方向,包括同步编码实现技术、低冗余再生码设计和数据失效预测技术等.

不确定Skyline查询技术研究

当前不确定数据广泛存在于诸如传感器网络、RFID网络、基于位置服务、移动对象管理网上购物和市场监控等各种实际应用中.不确定Skyline查询作为不确定数据管理的一个重要方面,由于其在决策制定、市场分析、环境监控和数据挖掘等方面的重要作用,近年来在数据库和网络计算领域受到广泛关注.首先,概述了各种不确定数据类型上的Skyline查询定义,包括离散、连续概率分布模型以及不完全数据上的Skyline查询定义;其次,分析了不确定Skyline查询的特点,并在此基础上综述了现有的各种不确定数据集上的集中式和分布式Skyline查询方法,重点分析了各种算法的原理和优缺点;再次,介绍了不确定数据流上的Skyline查询定义并综述了各种不确定数据流上的Skyline查询方法;最后,基于最新研究动态指出了未来不确定Skyline查询研究的趋势.

基于半连接的并行查询处理算法的研究

多元连接查询的并行执行是并行数据库的研究重点 ,传统的并行查询处理算法没有利用面向对象数据库及其查询的特点 ,算法效率较低 .借鉴分布式数据库查询处理中基于半连接的优化思想 ,提出了基于半连接的并行查询处理算法 .性能评价表明了其实用性和有效性 .

网络距离预测技术研究

P2P网络中节点间的距离信息是实现拓扑感知以优化覆盖网应用以及解决网络监管等问题的基础.P2P网络的大规模、自组织、高度动态等复杂特征使得要准确、完全地测量节点间的距离信息面临着极大的困难.因此,研究者们提出各种预测技术,目前对网络距离预测技术的研究已成为P2P领域的研究热点.首先,提出了一个网络距离预测技术的研究框架,指出了研究的重点以及相关技术问题,分析了研究历史;其次,对各种预测方法加以分类,在分类的基础上,介绍了各种典型的预测方法并进行了对比分析;最后总结了各种精确性度量标准,并指出了未来的研究趋势.

人工神经网络的并行分布处理

神经元的映射分配是人工神经网络虚拟实现中的重要研究课题．本文系统地分析了人工神经网络的重要性质──并行分布处理，并对映射分配问题中的两个关键性概念──负载均衡和通信开销进行了深入讨论．以此为基础，提出了一系列映射算法，并对算法性能进行了分析．其中，吸收算法最大程度地开发了人工神经网络固有的并行性，是一个实时的算法．

面向对象数据库管理系统中的事务管理

一、引言事务是进行一致可靠计算的基本单元,由一系列原子操作组成。事务满足ACID准则;原子性、一致性、隔离性、持久性.在数据库管理系统(DBMs)中。

面向对象数据库中的事务标识分配策略

在深入分析嵌套事务模型下事务处理对事务标识的需求的基础上，提出了一系列实用有效的分配策略，其中，混合策略实际应用于自行研制的面向对象数据库系统KDOODB中。

嵌套事务模型下的恢复策略

针对嵌套事务模型的特点，以先写日志协议为基础，提出了一种灵活、可扩展的恢复策略WAL＿P，它能有效地处理各种故障。

基于Tornado码的复制算法

面向Internet的分布存储系统具有数据种类多、数据量大、分布广泛等特点,为了提高分布存储系统的数据访问效率,提出了一种基于Tornado码的复制算法。与传统的复制算法相比,基于Tornado码的复制算法能够提供更高的可用性、持久性和安全性,并且具有更低的存储开销和带宽开销。

一个基于Win32平台的面向对象数据库系统

针对我国信息产业快速发展对国产面向对象数据库系统的迫切需要,我们从应用需求出发,采用在面向对象程序设计环境(C^(++))中加入数据库功能的方法,参照ODMG—93国际标准,研制开发了具有新型开放结构的、能支持面向对象程序设计语言和支持数据一致性的面向对象数据库系统KDOO-DB,重点研究实现了合理有效的存储策略、实用的查询优化算法和循环查询处理策略以及灵活有效的事务管理机制。基于KDOODB系统,我们开发了城市道路路面技术数据管理系统和项目合同管理系统,在实际应用中,应用系统得到了用户的一致好评。

移动数据管理的研究与发展

一、引言随着社会信息化的不断发展和普及,Internet和无线移动通信技术的成熟,以及计算机处理能力的不断提高,新的业务和应用不断涌现,人们要求不仅能够在办公室和家庭等固定场所中获得和处理信息,而且能够在移动环境中进行相应的工作.于是,移动计算,这一满足人们移动信息处理要求的新兴技术应运而生.

面向对象数据库系统中的查询执行规划生成

本文首先定义了一个对象管理器接口，它由一系列操作组成，而查询执行规划就是以接口中的这些操作作为基本可执行单元。根据面向对象数据库查询的具体特点，我们提出了一个为基于对象代数表示的查询生成相应查询执行规划的算法，该算法能快速地生成查询执行规划。