基于Bloom Filter本地差分隐私的基数估计

计算机技术和通信技术的共同发展,使得数据呈现指数大爆炸式的增长。数据中蕴含的巨大价值是有目共睹的。但是对数据集的肆意收集与分析,使用户的隐私数据处在被泄露的风险中。为保护用户的敏感数据的同时实现对基数查询的有效响应,提出一种基于差分隐私的隐私保护算法BFRRCE(Bloom Filter Random Response for Cardinality Estimation)。首先对用户的数据利用Bloom Filter数据结构进行数据预处理,然后利用本地差分隐私的扰动算法对数据进行扰动,达到保护用户敏感数据的目的。

ODBF:基于操作型衰落Bloom Filter的P2P网络弱状态路由算法

在P2P网络中,基于衰落Bloom Filter的弱状态路由算法试图将每条查询消息沿着成员资格信息量最强的方向传递,并最终以较低的传输代价和传输时延确保较高的查准率.研究发现衰落Bloom Filter在传递过程中存在严重的多径叠加和噪音问题,这直接导致查询消息以很高的概率沿着错误的方向传播,甚至会退化为泛洪路由算法.为解决这一挑战性难题,文中提出了基于操作型衰落Bloom Filter的弱状态路由算法ODBF(Operative Deca-ying Bloom Filter).ODBF通过分别保存对象的衰落Bloom Filter及源节点等信息,使得ODBF能够有效解决基于衰落Bloom Filter的路由信息在P2P网络中的多径叠加和信息回流问题,有效抑制噪音的影响,进而使得基于弱状态的路由能够以很高的概率沿着正确方向进行.

BFPC:一种新型的基于Bloom Filter的报文分类算法

Bloom Filter是一种支持高速数据查询的数据结构,已被广泛应用到各个领域,包括路由查找、串匹配[1]等。本文将重点研究Bloom Filter在报文分类领域中的应用,提出一种新型的报文分类算法——BFPC,阐述BFPC算法的基本思想,并通过实例对该算法进行了描述。最后,对BFPC算法与其他报文分类算法进行了性能比较。

基于BloomFilter的大规模异常TCP连接参数再现方法

提出由TCP连接的唯一性导出的TCP数量平衡性测度及其经验范围可用于检测TCP连接的大规模异常,如DDoS、扫描等.使用带哈希增强算法的BloomFilterReproduction(BFR)方法对TCP连接大规模异常的参数进行快速再现,如IP地址、端口的分布等,使得在检测过程中无须维护TCP五元组的信息.实验结果表明,该方法能够以较少的资源占用和较高的准确性来揭示网络流量中混杂的多种异常现象.

一种基于双重Counter Bloom Filter的长流识别算法

提出了一种基于双层Counter Bloom Filter的长流识别算法(algorithm based on double counter bloom filter for long flows identification,简称CCBF).该算法使用两层Counter Bloom Filter结构,将长流过滤和长流存在分开处理.分析了该算法的误判率,通过模拟数据分析了算法错误率和内存资源限制的关系,并在相同内存资源限制的条件下,将该算法与类似算法的准确性进行了比较.结果表明,在数据量较大的情况下,该算法具有比现有算法更小的平均错误率;对算法的时间效率分析表明,该算法可以达到1500kpps的处理速度.各项指标反映出,该算法可以应用于大规模主干网的长流监测.

基于有状态Bloom filter引擎的高速分组检测

越来越多的网络安全技术通过分析网络分组中的内容来检测报文中是否含有恶意攻击代码.为了能够在线检测攻击,部署在路由器中的分组检测模块对于分组检测的速度也提出了越来越高的要求.虽然在这个领域已有很多研究工作,然而在性能、可扩展性和适用性方面还有很多可研究的空间.提出了一种基于有状态Bloomfilter引擎的高速分组检测方法State-BasedBloomfilterengine(SABFE).通过并行查找Bloomfilter和前缀寄存器堆,以及利用多个并行的Bloomfilter引擎进行流并行检测,达到了较高的吞吐性能.同时,利用快速查找表和前缀寄存器堆保存当前子串的匹配状态来检测长的规则.分析和模拟实验表明:该方法在规则长度增加时依然保持了较高的吞吐性能,可以实现线速的分组检测,同时,极大地减少了硬件资源开销,提高了可扩展性.

Bloom Filter及其应用综述

Bloom Filter对数据集合采用一个位串表示并能有效支持集合元素的哈希查找操作。本文对Bloom Filter及其改进型进行了综述性分析研究,探讨了它的实用性。较为详细地阐述了它在P2P网络文件存储系统OceanStore和文本检索系统中的应用情况。最后指出了进一步的研究方向。

拆分型Bloom Filter

BloomFilter对数据集合采用一个位串表示并能有效支持集合元素的哈希查找操作 .在对BloomFilter及其改进型进行综述性分析研究并探讨它们的实用性之后 ,本文提出了使用位矩阵表示数据集合的拆分型BloomFilter并对其作了分析比较研究 ,以允许集合元素不断增加的分布式系统应用模型为例 。

基于Bloom filter的多模式匹配引擎

基于Bloom filter,结合位拆分状态机设计了一种适合硬件实现的多模式匹配引擎,由bloom filter过滤出可疑字符,位拆分状态机进行精确匹配.提出了过滤引擎和精确匹配引擎的流水线连接结构,通过增加分配器、缓存等硬件单元解决两引擎处理速度不匹配的问题,利用引擎的并行处理达到较高的吞吐性能.还通过设定规则长度等简化设计使引擎在保持高吞吐量的同时减小资源占用量,提高了可扩展性.

4种计数型Bloom Filter的性能分析与比较

对3种已有的计数型Bloom filter——Nave Counting Bloom Filter(NCBF),Space-Code Bloom Filter(SCBF)和d-left Counting Bloom Filter(dlCBF)--的查询错误概率进行了分析,得出了NCBF的计数器防溢出条件以及SCBF和dlCBF的参数最优设置准则.提出了一种衡量计数型Bloom filter性能的指标:负载适应性.针对dlCBF负载适应性差的问题,对dlCBF进行了改进,提出了一种计数型Bloom filter:Binary Shrinking d-left Counting Bloom Filter(BSdlCBF).通过仿真实验,以计数误差、空间复杂度以及负载适应性为性能指标,对上述4种CBF进行了比较.实验结果表明,BSdlCBF具有最低的空间复杂度、最小的计数误差以及最佳的负载适应性.BSdlCBF赢得上述性能优势的代价在于其计算复杂度比其他3种计数型Bloom filter略高.

一种基于Bloom Filter的正则表达式集合快速搜索算法

正则表达式搜索算法的性能与从非确定性有限状态自动机(NFA)的初始状态到终止状态的最短路径Lmin成正比,与正则表达式所表达的语言的前缀集合Pref(RE)成反比,而一般情况下Pref(RE)较大,确定Pref(RE)中的元素在目标文本中的出现位置比较困难.文中提出了一种基于Bloom Filter的正则表达式集合搜索算法,此算法利用BloomFilter集合查询时间与集合大小无关的特点,可以快速准备定位Pref(RE)的出现位置,使得搜索速度不受Pref(RE)的影响,如果采用多个Bloom Filter并行,还可以间接增大Lmin.分析与测试结果表明,该算法较大地加快了正则表达式的搜索速度,对于正则表达式集合,算法性能改善尤其明显,在Lmin较长、Pref(RE)较大时,搜索速度可以提高数倍至数十倍,适合大规模的多正则表达式的快速搜索.

Bloom Filter和Weighted Bloom Filter的比较与研究

Bloom filter是一个简单的空间效率极高的数据结构,用于判别一个元素是否属于某个集合.Weighted Bloom filter和Bloom filter已经被建议作为共享Web cache信息的一种方式.利用Bloom filter表示共享信息的内容,大大降低了用于存储索引的空间消耗,减少了访问延迟.因为在代理之间只需传输Bloom filter而不是完整的cache目录表.分别从理论和实践方面比较了Bloom filter和Weighted Bloom filter,结果证明Bloom filter比Weighted Bloom filter更好.

Bloom Filter研究进展

近年来,由于Bloom filter具有可压缩性和高效查询性,其在分布式数据库、网络缓存、对等网和信息检索等领域引起了越来越多的研究者关注。随着Bloom filter不同应用需求的出现,多种Bloom filter变体被提了出来,诸如:支持删除元素的CBF;可以统计频次型的SBF、DCF、dlCBF;大小可以动态伸长的DBF、SBF;压缩型BF等。本文对Bloom filter及其各种变体进行了介绍,并对其特点进行了分析比较,总结了它们各自的优势和不足,并进一步指出了Bloom filter未来的一些研究方向。

基于Bloom Filter路由表的P2P搜索算法

研究非结构化P2P网络的搜索机制,提出基于布莱姆过滤器(BF)路由表的改进算法。该算法利用BF技术生成路由条目并在一定范围内相互交换本地路由表,使节点能够了解一定范围内的节点共享信息,实现有针对性的搜索,避免传统的盲目性搜索。仿真结果表明,该算法查询搜索时产生的消息数量比传统算法减少一个数量级,并能够获得较好的查全率。

基于Bloom Filter的报文分类算法

针对传统报文分类算法在实际运行中存在的问题,提出一种基于Bloom Filter的报文分类算法。将该算法的思想应用于入侵防护系统硬件模型,建立相应的流信息预处理引擎,并介绍具体的实现方法。实验结果表明,该算法是有效实用的。

基于衰落Bloom Filter的P2P网络弱状态路由算法

在P2P网络中,基于衰落Bloom Filter的弱状态路由算法试图将每条查询消息沿着成员资格信息量最强的方向传递,并最终以较低的传输代价和传输时延确保较高的查准率.衰落Bloom Filter在传递过程中存在严重的多径叠加和噪音问题,这直接导致查询消息会以很高的概率沿着错误的方向传播,甚至会退化为泛洪路由算法.为了解决这一挑战性难题,提出了DWalker这种基于衰落Bloom Filter的高效弱状态路由算法.DWalker基于有向随机网络,采用指数衰落Bloom Filter来发布和传播每个节点共享资源的信息,且其最大传播距离小于网络中任意两点之间距离的期望值,从而有效抑制了衰落Bloom Filter在传播过程中的多径叠加问题.DWalker采用多个Bloom Filter而不是单个Bloom Filter来表达一项路由条目,在单个Bloom Filter的错误发生概率达到设计上限时,可按需动态增加新的Bloom Filter,以将更多资源对象信息纳入到当前路由条目中.DWalker仅根据当前节点的各项路由条目中值为1的比特位所占的最大比例,以及查询消息在正确转发方向对应的路由条目中对应比特位中值为1的个数的临界值,就能使进入目标对象传播范围内的查询消息以较高的概率辨认出正确的路由方向.理论分析和实验结果表明,DWalker能够以较低的查询消息代价、较小的路由条目存储开销以及较短的查询时延,使绝大多数查询消息沿正确方向转发,从而获得较高的查准率.

基于Bloom Filter的网页去重算法

现在的互联网中存在网页重复的问题,这些问题将会使数据挖掘,搜索的复杂度加大。现有技术一些不足之处,针对互联网中的重复网页采用基于Bloom Filter的网页去重算法。使用了现有的网页去杂算法,对网页进行预处理,同时利用Bloom Filter结构大大降低了网页去重算法的时间复杂度和空间复杂度。从网页中提炼出表示网页特征的一些长句,从而把网页去重过程转换为一个搜索长句的过程,使用Bloom Filter减小了算法的时间复杂度。

针对动态集的矩阵型Bloom filter表示与查找

提出一种针对动态集合的矩阵型Bloom filter表示与查找法(matrix Bloom filter,MBF),它使用一个s×m位矩阵对数据集合进行哈希表示与查找,较同类算法SBF和DBF,能继承Bloom filter算法常数查找开销的基本精髓。

基于节点共享计数型Bloom filter高效动态数据包过滤方案

入侵防御系统（intrusion prevention system，IPS）中常用的包过滤方案大量消耗时间和空间，丢包率高，不能实现多过滤器并行处理。针对此问题，设计了一种新的过滤器方案，该方案在网络设备驱动层采用节点共享计数型bloom filter技术，通过改进哈希函数的集合，减少了位数组元素的碰撞率，实现了过滤规则的动态添加和删除。由元组空间法把过滤规则划分多个集合，在每个集合中创建不同的节点共享计数型Bloom filter位数组，并且优化搜索算法，进一步降低了位数组元素的碰撞率。通过在多核处理器中建立多个并行处理线程，实现了过滤的并行处理。实验结果表明，新的方案能够减少28％～31％的碰撞率和12％～19％的hash表的访问次数。

基于Bloom Filter的大规模网页去重策略研究

针对大规模信息采集,运用Bloom Filter及其改进算法,在误差允许的条件下,通过URL散列运算可以有效地对同源网页进行去重。实践证明,通过对其参数进行合理的调整,可以达到满意的结果。