跨域数据管理

随着数据成为新的生产要素和数字中国顶层战略的推进,跨域数据共享和流通对于实现数据要素价值最大化变得至关重要。国家通过布局全国一体化大数据中心体系、启动“东数西算”工程等一系列举措,为数据要素的跨域应用提供了基础设施。然而,传统的数据管理局限于单一域内,无法满足跨域场景下的数据管理需求。跨域数据管理面临通信层面的跨空间域挑战、数据建模层面的异构模型融合问题,以及数据访问层面的跨信任域挑战。从跨空间域、跨管辖域和跨信任域3个视角出发,探讨了跨域数据管理的内涵、研究挑战及关键技术,并展望了其未来发展趋势。

基于非易失性内存的知识图谱系统优化研究

分布式系统的高扩展性和高可用性使得在其上构建大规模知识图谱已经成为产业发展趋势。新兴的分布式图数据库更推崇采用NoSQL等数据模型,如键值存储作为其存储引擎,以进一步提高其可扩展性和实用性。在这种情况下,上层的图查询语言的语句会被翻译成一组混合的键值操作。为了加速查询翻译生成的键值操作,提出了基于非易失性内存查询性能加速(knowledge graph booster,KGB)的知识图谱系统。KGB主要包含面向邻域查询加速的NVM辅助索引,用于降低键值存储的读取成本;快速响应的改进Raft算法,用于实现高效的键值存取操作;以及面向键值存储引擎的调优机制,为知识图谱存储系统获得额外的性能提升。通过实验表明,KGB能有效降低知识图谱系统的平均延迟和尾延迟的影响,实现更高的性能提升。

云数据库资源与参数协同调优方法研究

云数据库中存在许多配置项,包括数据库内部的配置参数以及部署环境的虚拟机资源配置,这些配置项共同决定了数据库的读写性能和资源消耗。在资源弹性伸缩的云环境下,用户关注数据库的服务性能和资源消耗成本。然而,由于配置项众多且负载变化快速,寻找最优的配置项组合变得困难。文中针对负载动态变化的在线调优场景提出了CoTune,一种协同调节云数据库资源与参数的快速调优方法。该方法针对OLTP型动态负载,通过迭代调节云虚拟机资源配置和数据库参数配置,在保障服务质量的前提下降低资源消耗。该方法的创新点如下:首先,在每个调优周期内,采用三阶段方案对资源配额和数据库参数进行调节,优先保障服务质量;其次,根据数据库参数对不同资源的影响进行分类,减小搜索空间,快速调节参数;最后,在数据库参数调节的强化学习模型中,设计特定的奖励函数,快速获取奖励值,加快调节频率。实验结果表明,该方法相比同时调节资源和参数、单独调节资源等方法,能够在保障服务质量的前提下降低资源消耗。通过快速迭代调优,能够应对负载变化的挑战,并在动态负载环境中实现更高效的资源利用。

大数据技术前瞻

世界主要国家高度重视大数据发展,我国也将发展大数据作为国家战略,发展大数据技术具有重要意义。大数据技术涉及从采集、传输到管理、处理、分析、应用的全生命周期以及生命周期各阶段的数据治理。选取数据生命周期中的管理、处理和分析技术以及大数据治理技术来梳理国内外技术发展现状,特别是研判我国大数据技术发展与国际先进技术之间的差距。另外,在大数据应用需求的驱动下,计算技术体系正面临重构,从“以计算为中心”向“以数据为中心”转型,在新的计算技术体系下,一系列基础理论和核心技术问题亟待破解,新型大数据系统技术成为重要发展方向。在计算体系重构的背景下,提出大数据技术发展的四大技术挑战和十大发展趋势。

跨空间域数据管理分布式共识算法:现状、挑战和展望

随着数字经济的飞速发展,以及“全国一体化数据中心”和“东数西算”等基础设施的不断完善,数据要素流通的大趋势使数据服务逐步由面向单一空间域的数据管理转变为面向跨空间域的数据管理。跨域数据管理需要通过分布式共识算法使数据一致。然而,已有的分布式共识算法仅考虑单数据中心的情况,没有考虑跨数据中心之间的网络通信的不确定性,从而在跨空间域场景下面临日志同步时延大、系统吞吐量低下等问题。系统地梳理了跨空间域下的分布式共识算法的现状以及面临的新挑战,并针对解决这些挑战的技术路线进行了展望。

移动网格中负载自平衡的集群式边缘流媒体服务器

迅速发展的3G网络和覆盖范围可达整个城域的Wi-Fi网络的逐渐普及,使移动网络环境中对流媒体服务的需求迅速增长.由于移动用户主要依赖Internet上的流媒体服务资源提供服务,所以位于无线网络和Internet交界处的边缘流媒体服务器可以充当桥梁和缓冲区,对于降低网络负载和提高服务质量有显著的效果,因而提出一种新的集群架构的边缘流媒体服务器(CESS)的设计,而且针对集群服务器中最重要的负载均衡问题做了分析和测试,提出了一种新的MCLBS缓存替换算法来使CESS能够达到自适应的负载均衡.最后,实验测试和结果分析证明,相对于传统的缓冲替换算法,MCLBS算法更适合集群式的服务器体系结构,在同样的条件下,缓存命中率明显提高,大大降低远程服务器的带宽.

冷数据集中的流媒体存储系统节能方法

快速增长的数据量使流媒体存储系统在降低能耗方面遇到严峻的挑战,而针对流媒体应用而进行的节能方法的研究还很少。在对流媒体存储系统的节能问题进行详细建模的基础上,定量地分析了数据分布对节能和流媒体服务质量的影响,发现只有冷门数据的分布对节能的贡献最大,而且对服务质量的负面影响最小。提出了一种冷数据集中的节能方法,亦即将最冷的一部分数据集中存储在部分磁盘上来优化节能效果。实验表明,冷数据集中的节能算法在保障服务质量的前提下,使流媒体存储系统的节能效果获得了显著的提升。

关于高端集群式流媒体服务器仿真的研究

流媒体应用在近年来获得了飞速的发展,流媒体服务器在用户并发度和存储容量两个方面的需求日益增高,在这种背景下,集群式流媒体服务器逐渐成为高端流媒体服务器的主流.集群式流媒体服务器的研究工作非常需要科学的仿真工具来协助,一方面能够测试算法的性能和普适性,另一方面可以通过仿真分析对服务器的硬件资源进行优化配置.本文在介绍集群式流媒体服务器的体系结构和性能分析的基础上,设计并实现了一套分布式流媒体仿真工具和集群式流媒体服务器实验床.最后基于仿真实验的数据,得到一些提高集群式流媒体服务器性能和资源优化配置的有益结论.

HybSim:一种混合型流媒体存储的仿真系统

高性能和低功耗的特点使闪存逐渐赢得广泛关注,而最常见的闪存使用方式是和内存、磁盘一起构成混合型存储系统,对于流媒体这样对存储容量和访问性能要求都非常高的应用来说尤其如此。但是,目前还缺少准确、全面的混合型存储仿真工具来支持混合存储的研究工作。首先,在对基于闪存缓存的混合存储的体系结构和能耗等关键问题进行建模的基础上,设计并实现了一套混合型流媒体存储的仿真系统HybSim。相对于目前国际上广泛使用的存储仿真系统DiskSim及其闪存补丁,HybSim增加了各类典型的混合型存储系统的实现、能耗模块、文件级管理和访问支持、流媒体服务模式支持,以及对性能、服务质量、能耗、设备耗损程度的统计模块等。基于HybSim对混合型流媒体存储系统在性能和节能两个方面进行了详细的仿真实验,并对几种典型的混合型存储系统体系结构在性能、服务质量、节能、设备磨损等方面的优劣进行了详细分析和比较。

新工科背景下以数据为中心的计算机专业教学改革

工科人才培养的关键是要根据产业和技术的最新发展,创新性地改革人才培养模式、改造课程体系、改革教学范式。本文针对大数据、云计算和人工智能等新技术和新产业对计算机专业人才培养提出的新要求,对传统计算机专业教育存在的问题进行分析和总结,探索以数据为中心的适应时代发展和产业需求的新型计算机专业课程体系,通过课程建设全面更新教学内容、促进新工科建设,并在中国人民大学信息学院进行实践。

大规模RDF图数据上高效率分布式查询处理

知识图谱是智能数据的主要表现形式,随着知识图谱领域的不断发展,大量的智能图数据以资源描述框架(resourcedescriptionframework,简称RDF)形式发布出来.RDF图上的SPARQL查询语义对应于图同态,是一个NP-完全问题.因此,如何使用分布式方法在大规模RDF图上有效回答SPARQL查询是一个富有挑战性的问题.目前已有研究使用MapReduce计算模型处理大规模RDF数据,但其将SPARQL查询拆分成单个的查询子句,没有考虑RDF数据的丰富语义和自身的图特性,导致Map Reduce迭代次数过多.首先,利用RDF数据内嵌的语义和结构信息作为启发式信息,将查询图分解为星形的集合,可以在更少次迭代内得到查询结果.同时,分解算法给出中间结果较少的星形匹配顺序,基于此顺序,每轮Map Reduce操作通过连接操作匹配一个新的星形,直至产生最终的答案.最后,在标准合成数据集WatDiv和真实数据集DBpedia上进行大量的实验评估.实验结果表明:所提基于星形分解的分布式SPARQLBGP匹配算法能够高效回答查询,查询时间比SHARD和S2X算法的查询时间平均提高一个数量级,且优化算法的查询时间与基本算法相比缩短了49.63%～78.71%.

基于非重叠前缀集合的并行路由查找系统

快速的路由查找机制是高性能路由器设计的关键 .最长匹配查找是路由查找的难点所在 .本文提出一个并行路由查找系统 .它使用一种路由表划分方法 ,可将路由表中的前缀划分为若干个集合 ,集合内前缀没有重叠 .从而把路由表前缀的最长匹配查找转化为若干个集合内前缀的唯一匹配查找 .基于这种方法 ,本文还提出一个通用的并行路由查找框架 ,框架适用于大多数路由查找算法 .并行查找框架可简化查找算法的设计 ,提高查找算法的速度 .使用二分查找算法 ,并行查找系统可以达到log2 (2N/B)的查找复杂度 (N为路由表前缀数目 ,B为大于 4的整数 ) .同时 ,并行查找系统对IPv6也具有很好的扩展性 .

固态硬盘混合存储数据库的数据分布优化算法

基于闪存的固态硬盘(SSD)可以有效提升联机事务处理(OLTP)数据库的性能,但由于目前SSD价格仍然较高,一般多与磁盘组成混合存储。为此,提出数据分布的自适应优化算法以及具体的优化策略。该算法能够自动适应应用的特征,通过观测判断各个数据元素的性能提升效率,从而在SSD和磁盘之间自动形成理想的数据分布。基于实际数据库系统的实验结果表明,该算法可适应各种SSD空间配置,使基于混合存储的OLTP数据性能得到有效提升。

一种新型瓦记录磁盘的高可靠数据存储方法

近年来,传统磁记录的存储密度增长已经达到极限,为了满足快速增长的数据容量需求,多种新型存储技术不断涌现,其中瓦记录(shingledmagneticrecording,SMR)技术已实现商业化,在企业实际应用.由于瓦记录磁盘的叠瓦式结构,磁盘在随机写入时会引起写放大,造成磁盘性能下降.这一问题在部署传统的高可靠存储方案(如RAID5)时会变得更加严重,原因在于校验数据更新频率很高,磁盘内出现大量的随机写请求.研究发现瓦记录内部其实存在具有原位更新能力的“可覆盖写磁道(freetrack)”,基于“可覆盖写磁道”,提出了一种专门针对瓦记录盘的高可靠数据存储方法——FT-RAID,以替代经典的RAID5方法,实现一种廉价、大容量、高可靠的存储系统.FT-RAID包含两个部分:“可覆盖写磁道映射(FT-mapping)”和“可覆盖写磁道缓冲区(FT-buffer)”.FT-mapping实现了一种瓦记录友好的RAID映射方式,将频繁更新的校验块数据映射至“可覆盖写磁道”;FT-buffer实现了一种瓦记录友好的两层缓冲区结构,上层确保了热数据能够原位更新,下层提高了缓冲区的容量.基于真实企业I/O访问记录的实验结果表明,与传统RAID5相比,FT-RAID能够减少80.4%的写放大率,显著提高存储系统整体性能.

数据网格分布式动态分类系统及其在乳腺癌网格中的应用

数据网格作为面向服务的架构,为远程用户提供分布式数据查询、存储和管理等服务,而数据网格中的数据分类日益成为研究者们所关注的问题.本文描述了用于数据网格的一种高效的分类系统.该系统动态综合作为网格服务的多种分类方法(Dynamical Synthesis of Multiple Methods,DSMM),能够动态地改善传统分类方法的低准确率点,以负载平衡为前提将分类工作分布于网格中的各个结点上.另外,DSMM提供的生命周期管理保障了其作为一个网格应用的鲁棒性和灵活性,适合于网格的松耦合体系结构.实验采用了2927个乳腺癌患者病例,结果显示DSMM系统的确能够在数据网格环境中发挥其灵活性、高效性并提高分类的准确率.

基于SSD-SMR混合存储的LSM树键值存储系统的性能优化

大数据对存储系统的可扩展性、性能和成本等方面提出了更高的要求。瓦记录(Shingled Magnetic Recording,SMR)硬盘由于存储密度高、价格便宜,正逐步被广泛应用于大数据存储系统。但是,SMR硬盘的随机写性能较差,与快速的基于闪存的固态硬盘(Solid State Drive,SSD)一起构成混合存储时可以显著提升性能。同时,基于写优化的日志结构合并(Log-Structured Merge,LSM)树的键值存储已被广泛应用于许多NoSQL系统,如BigTable,Cassandra和HBase等。因此,如何基于新型的SSD-SMR混合存储构建出高性能的LSM树键值存储系统是一个具有很大研究价值的问题。首先建立基于SSD-SMR混合存储的LSM树键值系统的性能模型,然后针对SSD和SMR的硬件特征以及LSM树键值存储的软件特点,设计了一套面向SSD-SMR混合存储进行性能优化的LSM树键值存储系统,并基于LevelDB实现了该系统。在仅仅使用0.4%~2%空间的SSD的情况下,所提方法可以使SSD-SMR混合存储方案比普通磁盘方案的随机写性能提高20%,随机读性能提高5倍。

面向SSD寿命优化的访问序列折叠缓存替换算法

SSD(solid state drive)的写入寿命比较有限,因此除命中率外,SSD缓存设备的写入量成为评价缓存替换算法的另一个关键指标。如何使算法提高写入数据转化为缓存命中的效率,从而延长SSD的使用寿命,具有重要的研究意义。目前,已有缓存替换算法的设计一般基于时间局部性,即刚被访问的数据短期内被访问的概率较高,因此需要频繁的数据更新和较高写入量来保证较高命中率;或是通过不低的开销屏蔽相对最差的部分数据来减少一定的写入量,还缺少用低开销获得数据长期热度规律,有效提高缓存数据质量的算法。提出了访问序列折叠的缓存替换算法,用比较低的开销定位拥有长期稳定热度的数据写入缓存,明显提高了SSD缓存数据质量,在保证命中率的同时减少了SSD的写入量。实验表明,访问序列折叠算法相比LRU(least recently used)算法可在命中率损失低于10%的情况下减少90%的写入量,与SieveStore、L2ARC(level2 adjustable replacement cache)等写入优化缓存算法相比,命中率相当时可将写入量减少50%以上,有效达到了通过缓存高质量数据,减少SSD的写入量,延长其使用寿命的目的。

一种基于WSRF和WSN的数据网格中间件DGM及其实践

数据网格是网格应用的一个重要领域,对网格服务和网格数据集的管理都基于一个有效的网格中间件平台.为满足数据网格中对网格服务和数据集的管理以及数据通知等需求,本文遵循WSRF和WSN等协议规范,使用Globus Toolkit 4(GT4)提供的工具包和API,设计了一个数据网格(乳腺癌网格)中间件平台(简称DGM).本文介绍了DGM的体系结构和具体的实现过程,并通过在乳腺癌网格平台之上的应用实例说明DGM各功能模块的协同运行过程,同时也对DGM进行了性能测试,实验证明了DGM应用于数据网格领域的可行性和有效性.

一种基于闪存的混合存储仿真系统

近年来闪存发展非常迅速,已成为一种大容量、高性能、低功耗、非易失的新型存储产品,其可以有效弥补内存和磁盘的性能差距完善存储系统。为此,设计一种基于闪存的混合存储仿真系统Hybrid Arch,增加文件分布层,支持文件的分割、分布和文件接口访问,并实现5种混合存储体系结构,包括传统的内存-磁盘双层结构、纯闪存结构、闪存作为部分磁盘结构、塔式结构和水平缓存结构。基于Hybrid Arch对上述混合存储体系结构进行仿真实验,分析比较其在性能和闪存写入量等方面的优劣,结果表明,水平缓存体系结构在性能、性价比、闪存设备寿命等方面综合表现较好。

一种新的稳货钢丝绳的绳速控制方式

目前大部分的重型浮吊上都装配着稳货卷筒,通过稳货钢丝绳上的张力使货物稳定。然而稳货电机的控制模式一般都是恒张力控制,需要司机根据吊装货物的不同重量,自行设定电机输出力矩,进而调节稳货钢丝绳上的张力。文章提出了一种新的控制模式,使得稳货钢丝绳的绳速可以跟随主钩钢丝绳的绳速,与此同时电机可以始终保持最大的输出力矩,用以稳住货物。