在Linux内实现基于内容存储的驱动器(CASD)

针对目前基于内容存储（CAS）系统原型绝大多数因建立在已有的各种文件系统上而使其性能和应用范围受到限制的情况，设计和实现了一种在Linux内核中用作块设备驱动器的CAS驱动器（CASD），它可作为Linux的基本构件组成各种CAS系统以支持不同应用，并且可以用作Linux支持的单机存储系统和客户．服务器网络或对等网络存储系统。论述了此CASD主要功能部件的设计选择、在Linux内的实现方法及其性能评价。在iSCSI存储网络上的性能测试结果表明，此CASD的写性能比Ext2更高，且读性能相近。进一步提高其性能瓶颈在于对文件内容的Hash计算和通过Hash索引查找对象元数据这两个环节。

运营商CDN系统视频内容存储调度策略探讨

为了使网络视频业务有更好的体验,运营商在全国各省都建设了CDN系统以提供TV视频服务。由于用户数量和视频内容的增加产生了大规模的建设需求,CDN系统边缘节点众多且各边缘节点的存储能力也建设得很庞大,对于边缘节点内容存储以及调度管理亟需更加精细化的运营,通过从内容管理方面对运营商CDN系统视频内容的存储策略进行相应研究探讨,提出了如何在有限的存储容量下提高CDN边缘节点的调度效率和服务能力。

非结构化地质数据内容存储方法研究

地质工作已迈入大数据时代,但地学信息被记录成的报告、图件等非结构化数据,仍按照较为简单的方式组织归类到一起并存储在文件系统中,形成很多个内部构成复杂的数据集。这种方式不能很好的表达非结构化数据承载的丰富地学信息,也不便表达信息之间的复杂关系,更不利于发现跨数据集存在的深层知识。为尝试解决这个问题,笔者提出了多粒度级别内容树模型和支持演化的数据建模方式。这些特性使得通过模型可以对数据内容进行不同尺度的拆分,对信息的精确定位,还可以使模型根据数据主体需要,拓展主体特征描述的维度,逐步发现数据包含的信息和建立信息与信息之间的关系。考虑到地质大数据的特点,设计了以HBase为核心的数据模型持久化方式,以达到使用大数据技术体系下技术分析处理数据的目的;最后给出了对成果地质数据进行建模的实例,将文档、图件等非结构化数据以内容实体为最小单元进行拆分和重构,达到了较好的内容组织和信息表达效果。

数字时代对内容存储管理的要求——媒体资产管理

媒体资产管理是当今数字化改造的热门话题,媒体行业甚至社会各行各业已经拉开建设媒体资产管理系统的脚步。本文介绍了媒体资产管理的技术背景、实施步骤、数字化基础工作、编目索引要点、海量存储管理,并介绍了世界先进的参考案例和国内首家上海文广集团系统,力图点面结合剖析媒体资产管理,使人注意它的细节,认识到媒体资产管理系统是以数字化为基础,成功地实施媒体资产管理系统关键在于好的概念和对细节的考虑。

IPTV中基于切片技术的内容存储策略研究

为解决IPTV系统中出现的网络拥赛,服务器过载,系统响应时间过长,缓存容量不足等问题,本文提出了一种基于切片技术的媒体内容存储机制,通过把大的视频文件切成小的片段以及在此基础上实现的存储策略,来改善系统的服务性能。这套策略不仅避免了网络拥赛,改善了负载均衡,提高了响应速度,而且在很大程度上提高了系统的服务质量,提升了用户体验。

海量固定内容存储系统的开发及应用

MFCSS是一个能为用户提供高性能、高扩展、高性价比,并集存储服务、内容管理、内容服务为一体的海量固定内容存储系统平台。系统采用在对象存储方案基础上将CAS技术与内容管理有机结合起来,为多种访问模式提供统一的访问界面,既提供固定内容存储又提供内容搜索功能,使二者紧密地结合。海量固定内容存储系统的研究及其产品化有着广阔的市场前景和重要的经济价值。

THCASN——一种基于内容存储区域网络

基于内容存储(CAS)是一种可用于保存内容不变数字记录的存储设备。为解决CAS在安全和性能上的问题,该文介绍了清华大学实现的基于内容存储的区域网络原型——THCASN,遵从对象存储设备标准OSDT-10,提出一个分析I/O路径上开销的性能评价模型,找出系统性能瓶颈是对象内容Hash值计算和Hash-元数据变换表搜索。THCASN、NFS和iSCSI存储器性能测试结果表明其性能是接近的,但THCASN写性能高出一倍。实验结果与评价模型对性能瓶颈的分析相符。

一种基于包围盒的存储高效SDN规则缓存算法

软件定义网络(Software Defined Networking,SDN)是一种革命性的网络架构,主要思想是将控制平面与数据平面分离,并且还拥有开放可编程特性。其对数据包转发以及网络资源管理方面有着极高的要求。三态内容寻址存储器(Ternary Content Addressable Memory,TCAM)因其快速规则匹配能力通常作为规则的缓存应用于SDN交换机中。规则缓存将大部分流量引导到高性能的硬件路径上,可以显著提升网络性能。然而,规则之间存在的依赖关系使得缓存的利用率变低。因此,合理的规则缓存算法对本就稀有的TCAM资源来说十分重要。聚焦规则间的依赖关系,该文提出了CacheBand规则缓存算法。该算法利用包围盒思想,通过对规则及当前流量的分析,智能产生绷带规则,切断了规则间的依赖关系。实验证明,在不同数据包速率下,与同类算法相比,CacheBand可减少约68%的缓存条目,显著降低了流表压力,为数据转发提供了可靠的缓存方案。

内容感知存储系统中自动分级存储模型研究

提出一种基于内容感知存储系统的自动分级存储模型.该模型从文件中提取内容元数据作为分级特征信息,并以领域本体表示分级存储规则的语义.采用一种基于特征词权重的算法计算分级特征对领域本体的支持度,并通过分级判断规则得出文件的存储级别.算法通过引入修正权重系数提高了基于支持度的分级准确率.实验结果表明,这种模型对于携带特征信息量较多的数据能实现较高的准确率,对系统写入性能的影响随着系统平均数据大小的增加而降低.

云存储内容分发网络中的能耗优化方法

针对云存储内容分发网络(CCDN)中的高能耗问题,研究CCDN的能耗优化管理方法。首先,分析CCDN运行原理,给出每台云服务器和每条网络链路的能耗计算公式,利用加权图刻画整个网络系统;然后,基于加权图,给出满足CCDN系统服务质量(Qo S)和网络系统数据分发的能耗优化图(MEG)算法。通过模拟实验将该算法与贪心站点(GS)算法和优化静态放置和路由(OSPR)算法进行比较,结果显示:在系统可扩展实验中,MEG能耗比GS和OSPR能耗分别少6.6%和30%;在保证用户Qo S的实验中,MEG能耗比GS和OSPR能耗分别少28.9%和60.2%;在网络拓扑密度实验中,MEG的能耗比GS和OSPR能耗分别少32.2%和89.3%。实验结果表明,所提算法能够大幅度降低CCDN的能耗开销。

THCAS:内容存储系统及其性能优化

为实现开源的基于内容存储系统及性能优化,以应对固定内容数据存储的急速增长而带来的对这种存储系统结构的广泛需求,该文设计并实现了清华大学的基于内容存储(THCAS)系统,并对系统性能进行了分析和评价,在此基础上,提出了多线程Hash和存储流水线2种基于内容存储的优化方法。在正常操作系统I/O Buffer和去掉异步I/O 2种情况下,将优化后的系统与原系统的写数据吞吐率和CPU使用率进行测试比较,优化后系统在2种情况下均提升了原系统的写数据性能,多线程Hash提高了150%,而存储流水线提高了25%。

内容感知存储系统中的两阶段检索策略

随着存储系统规模的不断扩大,如何有效组织、管理和查询存储系统中的资源,成为了研究者必须应对的一个问题。目前存储系统中的查询需求主要来自系统管理员对元数据的查询以及普通用户对关键字内容的查询等两个方面。而内容感知存储系统自身所具备的重复数据删除和块相似性检测能力并没有被用于优化上述查询过程。为了充分利用存储系统感知到的上层语义和底层重复数据块信息,为使用者提供高效、便捷的查询服务,提出了内容感知网络存储系统中的两阶段检索策略。该策略将上层基于元数据和关键字的查询与底层存储系统的块相似性查询相结合,利用两次查询相关度的加权平均值作为相似度评价指标。最终的实验结果表明了该策略在降低失效性、提高查全率等方面的有效性。

基于FPGA的内容可寻址存储器研究设计与应用

内容可寻址存储器 (CAM )是一种快速匹配存储器件 ,在通信、雷达等许多领域有着广泛的应用。在介绍CAM基本原理的基础上 ,提出了在两类新型FPGA上实现CAM的设计方法 ,并讨论了两种基于CAM的新型关联比较器 (CP)实现途径 ,通过半实物仿真实验 ,验证了CAM和CP的实时信号处理性能。

利用域转换的三态内容寻址存储器报文分类算法

针对基于三态内容寻址存储器(TCAM)的报文分类存在范围扩张导致空间利用率较低的问题,提出了一种利用域转换的报文分类算法(DTRM)。首先将规则集独立的范围预编码算法中范围规则编码所需的比特数量由2k-1替换为任意值,从而能够利用TCAM中的所有冗余位进行编码,实现新范围域的构建,然后利用范围规则的分布特征,以规则集能够表示为较少的TCAM表项为原则,设计域转换函数,将规则集原始范围域转换为新构建的范围域。报文分类时,利用域转换函数将报文头部转换为新构建范围域中的某一数值或范围,并与TCAM表项进行并行比较,最终得到分类结果。仿真结果表明,与并行报文分类算法相比,DTRM算法的范围扩张因子由1.6减少至1.21,TCAM空间利用率由63%增加至82%,同时支持规则的增量更新。

基于三态内容寻址存储器的路由表压缩和存储技术研究

针对高性能路由器中的路由存储和快速查找问题,提出了将冗余裁减算法和掩码扩展技术相结合的方法来压缩路由表.冗余裁减算法寻找路由表中的等价路由并删除冗余表项;掩码扩展技术则利用三态内容寻址存储器(TCAM)的非连续掩码的特点,对具有相同下一跳和相同前缀长度的路由项进行归并,并利用基于前缀扩展和逻辑最小化思想的增量更新算法,实现路由表动态更新过程中路由的重新归并.实验结果表明,本方法可以将路由表条目至少减少40%.

一种基于FPGA的内容可寻址存储器的设计

介绍了内容可寻址存储器的传统电路模型、工作原理及其特点,进而提出了一种基于FPGA内部逻辑资源的新型等效逻辑电路。相比现有电路,该电路可以通过分析实际需求的单位数据字长以及数据控制精度减少片内寄存器等逻辑资源的开销,从而实现使用较少的资源构建相同规模的内容可寻址存储器。该电路可以在绝大多数FPGA芯片上得到实现,使用成本低,配置灵活,易于构建。

基于双向跳表的命名数据网内容存储池

针对命名数据网中内容存储池须要快速检索差异化名称数据、高效存储数据信息和有效支持缓存替换策略的设计需求,提出了一种基于双向跳表的命名数据网内容存储池的存储结构学习树-双向跳表(LT-DSL).该存储结构由部署于片上的学习树和部署于片下的双向跳表(DSL)两种数据结构组成.LT-DSL通过重新设计索引数据结构来学习索引内容在存储器中的分布情况,实现了数据的均匀映射,提升了存储效率,降低了存储开销;同时,通过采用全新的名称数据检索算法来快速检索名称数据,LT-DSL有效支持了缓存替换策略,加速了数据处理过程.实验结果表明:相比其他基于跳表的内容存储池方案,LT-DSL在有效支持缓存替换策略和满足网络丢包率低于1%的前提下,进一步提升了数据检索速度,降低了整体存储开销.

一种基于ARM和内容可寻址存储器的硬件防火墙

该文介绍了一种基于ARM的硬件防火墙方案,由于采用了内容可寻址存储器芯片MCM69C232,使得系统处理能力强,简单可靠,使用灵活,适用性强,具有良好的应用前景。

内容寻址存储系统与数字图书馆研究

信息资源有效地存储、快速访问与有效利用是数字图书馆的基础,随着固定内容存储需求的增大,内容寻址存储系统(CAS)将成为信息资源的主流存储架构。文章探讨了固定内容存储的概念、发展需求与现状,分析了内容寻址存储系统所具有的七大技术优势,并对其在数字图书馆建设中的典型应用(电子邮件业务及医疗成像系统等)进行了阐述。