基于Bloom Filter本地差分隐私的基数估计

计算机技术和通信技术的共同发展,使得数据呈现指数大爆炸式的增长。数据中蕴含的巨大价值是有目共睹的。但是对数据集的肆意收集与分析,使用户的隐私数据处在被泄露的风险中。为保护用户的敏感数据的同时实现对基数查询的有效响应,提出一种基于差分隐私的隐私保护算法BFRRCE(Bloom Filter Random Response for Cardinality Estimation)。首先对用户的数据利用Bloom Filter数据结构进行数据预处理,然后利用本地差分隐私的扰动算法对数据进行扰动,达到保护用户敏感数据的目的。

一种基于双重Counter Bloom Filter的长流识别算法

提出了一种基于双层Counter Bloom Filter的长流识别算法(algorithm based on double counter bloom filter for long flows identification,简称CCBF).该算法使用两层Counter Bloom Filter结构,将长流过滤和长流存在分开处理.分析了该算法的误判率,通过模拟数据分析了算法错误率和内存资源限制的关系,并在相同内存资源限制的条件下,将该算法与类似算法的准确性进行了比较.结果表明,在数据量较大的情况下,该算法具有比现有算法更小的平均错误率;对算法的时间效率分析表明,该算法可以达到1500kpps的处理速度.各项指标反映出,该算法可以应用于大规模主干网的长流监测.

基于有状态Bloom filter引擎的高速分组检测

越来越多的网络安全技术通过分析网络分组中的内容来检测报文中是否含有恶意攻击代码.为了能够在线检测攻击,部署在路由器中的分组检测模块对于分组检测的速度也提出了越来越高的要求.虽然在这个领域已有很多研究工作,然而在性能、可扩展性和适用性方面还有很多可研究的空间.提出了一种基于有状态Bloomfilter引擎的高速分组检测方法State-BasedBloomfilterengine(SABFE).通过并行查找Bloomfilter和前缀寄存器堆,以及利用多个并行的Bloomfilter引擎进行流并行检测,达到了较高的吞吐性能.同时,利用快速查找表和前缀寄存器堆保存当前子串的匹配状态来检测长的规则.分析和模拟实验表明:该方法在规则长度增加时依然保持了较高的吞吐性能,可以实现线速的分组检测,同时,极大地减少了硬件资源开销,提高了可扩展性.

Bloom Filter及其应用综述

Bloom Filter对数据集合采用一个位串表示并能有效支持集合元素的哈希查找操作。本文对Bloom Filter及其改进型进行了综述性分析研究,探讨了它的实用性。较为详细地阐述了它在P2P网络文件存储系统OceanStore和文本检索系统中的应用情况。最后指出了进一步的研究方向。

一种基于并行Bloom Filter的高速URL查找算法

URL查找是众多网络系统中重要的组成部分,如URL过滤系统、Web缓存等.随着互联网的迅速发展,URL查找面临的主要挑战是实现大规模URL集合下的高速查找,同时保证低存储和低功耗.本文提出了一种基于并行Bloom Filter的URL查找算法,CaBF.该算法高度并行化,提供大规模URL集合下的高速最长前缀匹配,并很好地适应集合中不同数量的URL组件.理论分析和真实网络数据集上的实验表明,该算法相比现有算法可以降低假阳性概率达一个数量级(或者在满足相同假阳性概率的前提下降低存储和硬件逻辑资源消耗).此外,该方法的体系结构很容易映射到FPGA等硬件器件上,提供每秒超过150M次的URL查找速度.

基于Bloom Filter的大规模网页去重策略研究

针对大规模信息采集,运用Bloom Filter及其改进算法,在误差允许的条件下,通过URL散列运算可以有效地对同源网页进行去重。实践证明,通过对其参数进行合理的调整,可以达到满意的结果。

基于Bloom filter的多模式匹配引擎

基于Bloom filter,结合位拆分状态机设计了一种适合硬件实现的多模式匹配引擎,由bloom filter过滤出可疑字符,位拆分状态机进行精确匹配.提出了过滤引擎和精确匹配引擎的流水线连接结构,通过增加分配器、缓存等硬件单元解决两引擎处理速度不匹配的问题,利用引擎的并行处理达到较高的吞吐性能.还通过设定规则长度等简化设计使引擎在保持高吞吐量的同时减小资源占用量,提高了可扩展性.

一种基于Bloom Filter的正则表达式集合快速搜索算法

正则表达式搜索算法的性能与从非确定性有限状态自动机(NFA)的初始状态到终止状态的最短路径Lmin成正比,与正则表达式所表达的语言的前缀集合Pref(RE)成反比,而一般情况下Pref(RE)较大,确定Pref(RE)中的元素在目标文本中的出现位置比较困难.文中提出了一种基于Bloom Filter的正则表达式集合搜索算法,此算法利用BloomFilter集合查询时间与集合大小无关的特点,可以快速准备定位Pref(RE)的出现位置,使得搜索速度不受Pref(RE)的影响,如果采用多个Bloom Filter并行,还可以间接增大Lmin.分析与测试结果表明,该算法较大地加快了正则表达式的搜索速度,对于正则表达式集合,算法性能改善尤其明显,在Lmin较长、Pref(RE)较大时,搜索速度可以提高数倍至数十倍,适合大规模的多正则表达式的快速搜索.

针对动态集的矩阵型Bloom filter表示与查找

提出一种针对动态集合的矩阵型Bloom filter表示与查找法(matrix Bloom filter,MBF),它使用一个s×m位矩阵对数据集合进行哈希表示与查找,较同类算法SBF和DBF,能继承Bloom filter算法常数查找开销的基本精髓。

4种计数型Bloom Filter的性能分析与比较

对3种已有的计数型Bloom filter——Nave Counting Bloom Filter(NCBF),Space-Code Bloom Filter(SCBF)和d-left Counting Bloom Filter(dlCBF)--的查询错误概率进行了分析,得出了NCBF的计数器防溢出条件以及SCBF和dlCBF的参数最优设置准则.提出了一种衡量计数型Bloom filter性能的指标:负载适应性.针对dlCBF负载适应性差的问题,对dlCBF进行了改进,提出了一种计数型Bloom filter:Binary Shrinking d-left Counting Bloom Filter(BSdlCBF).通过仿真实验,以计数误差、空间复杂度以及负载适应性为性能指标,对上述4种CBF进行了比较.实验结果表明,BSdlCBF具有最低的空间复杂度、最小的计数误差以及最佳的负载适应性.BSdlCBF赢得上述性能优势的代价在于其计算复杂度比其他3种计数型Bloom filter略高.

基于副本复制和Bloom Filter的P2P概率路由算法

非结构化P2P网络资源定位过程中的查询延迟、查准率和查询成本难以同时被优化,为此,提出一种基于副本复制和Bloom Filter技术的P2P概率路由算法DCBF(data copying and Bloom Filter).DCBF基于有向随机网络,对资源对象进行少量的复制,并将各个副本随机路由给网络中的节点;接收副本的节点,以分布式衰减Bloom Filter向邻近节点传递副本的成员资格信息.理论分析和实验结果均表明,DCBF仅需复制少量的副本,通过以分布式衰减Bloom Filter传递副本的成员资格信息,使得网络中的绝大多数节点能够感知到副本的成员资格信息,从而使得各个节点能够以极低的查询代价,在较低的路由延迟范围内,高概率地将查询路由到目标节点.

Bloom Filter研究进展

近年来,由于Bloom filter具有可压缩性和高效查询性,其在分布式数据库、网络缓存、对等网和信息检索等领域引起了越来越多的研究者关注。随着Bloom filter不同应用需求的出现,多种Bloom filter变体被提了出来,诸如:支持删除元素的CBF;可以统计频次型的SBF、DCF、dlCBF;大小可以动态伸长的DBF、SBF;压缩型BF等。本文对Bloom filter及其各种变体进行了介绍,并对其特点进行了分析比较,总结了它们各自的优势和不足,并进一步指出了Bloom filter未来的一些研究方向。

Bloom Filter和Weighted Bloom Filter的比较与研究

Bloom filter是一个简单的空间效率极高的数据结构,用于判别一个元素是否属于某个集合.Weighted Bloom filter和Bloom filter已经被建议作为共享Web cache信息的一种方式.利用Bloom filter表示共享信息的内容,大大降低了用于存储索引的空间消耗,减少了访问延迟.因为在代理之间只需传输Bloom filter而不是完整的cache目录表.分别从理论和实践方面比较了Bloom filter和Weighted Bloom filter,结果证明Bloom filter比Weighted Bloom filter更好.

基于Bloom filter的高效正则表达式匹配算法

针对确定有限自动机(DFA)的正则表达式匹配技术存在状态膨胀和一次状态转移只能处理单个字符的问题,提出了一种基于布鲁姆过滤器的正则表达式匹配算法。该算法将正则表达式中的每个确定字符串组成DFA的一个状态,添加比特向量完成匹配过程,并且在一次状态转移中根据确定字符串的匹配结果达到处理多个字符的目的。实验分析表明该算法有效降低了DFA状态的膨胀,提高了匹配速率。

基于Bloom filter的RFID中间件数据过滤算法研究

有效地减少RFID系统中冗余阅读器或天线采集到的大量重复数据,可以降低系统能耗和提高处理效率。经研究,提出采用改进的布隆过滤器(Bloom filter)对RFID采集数据进行去重过滤,并运用到中间件系统中。改进的Bloom filter主要将两个标准的Bloom filter组成二维并行Bloom filter,对RFID采集数据所包含的两个属性值tag ID和reader ID进行并行过滤。经实验可见,标准Bloom filter与哈希过滤(hash filter)相比具有明显的优势,对其改进后,采用二维并行Bloom filter在误判率、吞吐率和存储空间上具有更高的系统性能。

ODBF:基于操作型衰落Bloom Filter的P2P网络弱状态路由算法

在P2P网络中,基于衰落Bloom Filter的弱状态路由算法试图将每条查询消息沿着成员资格信息量最强的方向传递,并最终以较低的传输代价和传输时延确保较高的查准率.研究发现衰落Bloom Filter在传递过程中存在严重的多径叠加和噪音问题,这直接导致查询消息以很高的概率沿着错误的方向传播,甚至会退化为泛洪路由算法.为解决这一挑战性难题,文中提出了基于操作型衰落Bloom Filter的弱状态路由算法ODBF(Operative Deca-ying Bloom Filter).ODBF通过分别保存对象的衰落Bloom Filter及源节点等信息,使得ODBF能够有效解决基于衰落Bloom Filter的路由信息在P2P网络中的多径叠加和信息回流问题,有效抑制噪音的影响,进而使得基于弱状态的路由能够以很高的概率沿着正确方向进行.

基于Bloom Filter的报文分类算法

针对传统报文分类算法在实际运行中存在的问题,提出一种基于Bloom Filter的报文分类算法。将该算法的思想应用于入侵防护系统硬件模型,建立相应的流信息预处理引擎,并介绍具体的实现方法。实验结果表明,该算法是有效实用的。

基于衰落Bloom Filter的P2P网络弱状态路由算法

在P2P网络中,基于衰落Bloom Filter的弱状态路由算法试图将每条查询消息沿着成员资格信息量最强的方向传递,并最终以较低的传输代价和传输时延确保较高的查准率.衰落Bloom Filter在传递过程中存在严重的多径叠加和噪音问题,这直接导致查询消息会以很高的概率沿着错误的方向传播,甚至会退化为泛洪路由算法.为了解决这一挑战性难题,提出了DWalker这种基于衰落Bloom Filter的高效弱状态路由算法.DWalker基于有向随机网络,采用指数衰落Bloom Filter来发布和传播每个节点共享资源的信息,且其最大传播距离小于网络中任意两点之间距离的期望值,从而有效抑制了衰落Bloom Filter在传播过程中的多径叠加问题.DWalker采用多个Bloom Filter而不是单个Bloom Filter来表达一项路由条目,在单个Bloom Filter的错误发生概率达到设计上限时,可按需动态增加新的Bloom Filter,以将更多资源对象信息纳入到当前路由条目中.DWalker仅根据当前节点的各项路由条目中值为1的比特位所占的最大比例,以及查询消息在正确转发方向对应的路由条目中对应比特位中值为1的个数的临界值,就能使进入目标对象传播范围内的查询消息以较高的概率辨认出正确的路由方向.理论分析和实验结果表明,DWalker能够以较低的查询消息代价、较小的路由条目存储开销以及较短的查询时延,使绝大多数查询消息沿正确方向转发,从而获得较高的查准率.

基于Bloom Filter的网页去重算法

现在的互联网中存在网页重复的问题,这些问题将会使数据挖掘,搜索的复杂度加大。现有技术一些不足之处,针对互联网中的重复网页采用基于Bloom Filter的网页去重算法。使用了现有的网页去杂算法,对网页进行预处理,同时利用Bloom Filter结构大大降低了网页去重算法的时间复杂度和空间复杂度。从网页中提炼出表示网页特征的一些长句,从而把网页去重过程转换为一个搜索长句的过程,使用Bloom Filter减小了算法的时间复杂度。

一种距离加权Bloom Filter的网络路由机制

基于分布式哈希表(DHT)的P2P查找经常受到在底层网络中路由时无必要的路径长度增加的影响。另外,DHT在处理复制方面也有一定的缺陷。提出了距离加权Bloom Filter(dwBF),详细地阐述了在资源分散的覆盖网络中使用距离加权Bloom Filter网络路由算法。