分布式环境下改进的Bloom Filter过滤技术

分析了Bloom Filter技术在特殊的分布式系统———P2P系统中的应用.基于Bloom Filter提出了一种新的Division Bloom Filter(DBF)技术,DBF技术采用了一组相互独立的哈希函数来计算数据对象的地址序列,然后使用这组地址序列将数据对象存储到一个分片的位向量中,所以DBF技术可以有效减少数据对象的存储空间.实验证明,DBF不仅可以解决Bloom Filter在分布式环境下的动态更新问题,还可以有效减少BloomFilter的错误率以及改善其稳定性.最后还使用数据压缩技术进一步减少在P2P系统中使用DBF技术的结点间通信代价.

随机伪造源地址分布式拒绝服务攻击过滤

由于能够有效隐藏攻击者,随机伪造源地址分布式拒绝服务攻击被广泛采用.抵御这种攻击的难点在于无法有效区分合法流量和攻击流量.基于此类攻击发生时攻击包源地址的统计特征,提出了能够有效区分合法流量和攻击流量,并保护合法流量的方法.首先设计了一种用于统计源地址数据包数的高效数据结构Extended Counting Bloom Filter(ECBF),基于此,提出了随机伪造源地址分布式拒绝服务攻击发生时合法地址识别算法.通过优先转发来自合法地址的数据包,实现对合法流量的有效保护.采用真实互联网流量进行模拟,实验结果表明,所提方法能精确识别合法地址,有效地保护合法流量,尤其能够较好地保护有价值的交易会话.所提方法的时间复杂性为O(1),并且只需数兆字节的内存开销,可嵌入边界路由器或网络安全设备,如防火墙中,实现随机伪造源地址分布式拒绝服务攻击的在线过滤.

一种适合分布式虚拟环境的XML路由技术

在分布式虚拟环境中,XML技术的应用提高系统的实用性和扩展性。本文针对分布式虚拟环境系统中的XML路由问题,提出一种新的XML路由技术—BPfilter。该技术根据分布式虚拟环境的特点,在Bloom过滤器算法的基础上,引入语法树以处理XPath查询中判定词,实现了对系统中XML数据快速地匹配和路由。实验结果表明,该技术是可行和有效的。

基于RSS的分布式新闻博客搜索引擎设计

针对传统搜索引擎对频繁更新的新闻和博客网站的搜索实时性较差的现状,提出利用RSS提供的结构化数据,通过Pastry协议,实现索引的分布式存储和传输,同时使用Bloom filter数据结构压缩索引文件,构建一个基于RSS的P2P分布式的新闻博客搜索引擎,从而达到对频繁更新站点的实时性搜索,同时减少存储成本。

基于分布式编程语言的Chord协议和算法

P2P分布式哈希表(DHT)协议本身简洁并且易于理解,但是命令式语言与分布式架构的不匹配使得实现和部署一个拥有全部功能的类似Chord的组件相当困难和复杂。针对这些问题,提出一种基于Bloom系统来设计P2P分布式哈希表协议的方法。首先,阐述了Bloom系统的分布式逻辑编程语言要素;其次,设计了一个最小分布式系统;再次,通过定义永久、暂时、异步通信和周期集合,设计了指表维护算法、后继列表算法以及维持稳定算法等,实现一个Chord原型系统。实验结果证明,原型系统能完成Chord所有功能,并且与传统语言相比,代码量减少60%。分析表明最终的算法代码和分布式哈希表协议规范高度一致,不仅增强了代码的可读性和重用性,而且加深了对协议本身及其应用的理解。

分布式网络中的一种高效top-k求解方法研究

提出了一种新的算法,来解决在分布式的环境中top-k求解问题(求出全局数值最大的前k名)。之前的研究,例如TA、TPUT、HT算法,都会消耗大量的带宽。KLEE算法虽然能够大大地减少带宽的消耗,却不能给出精确解。而提出的算法FT由于添加了一个预处理阶段并且使用了histogram bloom技术,即能有效地减少带宽的消耗,又能给出精确解。实现了FT和相关的算法,并进行了全面的比较。比较是建立在真实的数据集和根据不同情况合成的数据集的基础上的。实验结果显示FT在带宽消耗上面,相对于其他算法有很大的改进和优势。

拆分型Bloom Filter

BloomFilter对数据集合采用一个位串表示并能有效支持集合元素的哈希查找操作 .在对BloomFilter及其改进型进行综述性分析研究并探讨它们的实用性之后 ,本文提出了使用位矩阵表示数据集合的拆分型BloomFilter并对其作了分析比较研究 ,以允许集合元素不断增加的分布式系统应用模型为例 。

Bloom Filter研究进展

近年来,由于Bloom filter具有可压缩性和高效查询性,其在分布式数据库、网络缓存、对等网和信息检索等领域引起了越来越多的研究者关注。随着Bloom filter不同应用需求的出现,多种Bloom filter变体被提了出来,诸如:支持删除元素的CBF;可以统计频次型的SBF、DCF、dlCBF;大小可以动态伸长的DBF、SBF;压缩型BF等。本文对Bloom filter及其各种变体进行了介绍,并对其特点进行了分析比较,总结了它们各自的优势和不足,并进一步指出了Bloom filter未来的一些研究方向。

一种距离加权Bloom Filter的网络路由机制

基于分布式哈希表(DHT)的P2P查找经常受到在底层网络中路由时无必要的路径长度增加的影响。另外,DHT在处理复制方面也有一定的缺陷。提出了距离加权Bloom Filter(dwBF),详细地阐述了在资源分散的覆盖网络中使用距离加权Bloom Filter网络路由算法。

基于Bloom滤波器的IP源地址假冒过滤

提出将Bloom滤波器结构应用到IP源地址假冒过滤技术中.利用Bloom滤波器存储的紧凑性,提高过滤效率,减少过滤成本.给出其伪代码,通过采集深圳大学城网络中心数据进行实验验证.实验结果表明,该方法简捷有效,且易于推广.

基于距离加权Bloom filter的网络路由算法

基于分布式哈希表(DHT)的P2P查找经常受到在底层网络中路由时无必要的路径长度增加的影响.另外,DHT在处理复制方面也有一定的缺陷.文中探讨了解决这些问题的方法.对使用Bloom filters作为资源路由的方法做了简要回顾,并较为详细地阐述了在资源分散的覆盖网络中使用距离加权Bloom filter的网络路由算法.对该算法进行了仿真测试,证明了其有效性.

一种基于bloom-filters的半连接查询优化算法

以传输费用最小为目的,提出一种新的查询优化算法。该算法以连接属性为关键字,利用半连接关系建立bloom-filters,在半连接关系间相互传送bloom-filters,从而缩减大部分不参与连接的元组,最终形成了计算结果表。通过站点间传送计算结果表来缩减连接关系,半连接的准确性比估算连接结果高,半连接查询优化算法能较准确地做出下一步的连接;新的查询优化算法能有效地得到连接操作的执行计划,从而减少了传输费用。

一种面向大规模P2P系统的快速搜索算法

提出一种面向大规模P2P系统的概率搜索小组(probabilistic search team,简称PST)算法.各节点首先发布本节点的资源共享信息,并基于分布式丢弃Bloom Filter技术(distributed discarding bloom filter,简称DDBF)对从其他节点收到的信息进行保存和转发PST算法把RW算法中漫步者的概念扩充为搜索小组通过聚合各小组在搜索过程中获得的资源信息,PST算法实现了多个小组之间相互协同的并行搜索.分析模拟结果表明,PST算法在保持低定位开销的同时取得了较好的定位性能.

一种轻量级的拒绝服务攻击检测方法

分布式拒绝服务攻击的原理简单,但危害严重.在攻击源端的检测方法有诸多优点,但也存在着挑战,如攻击源端攻击数据流量小,不易检测,不能使用服务商过多的资源等.文中针对这些特点提出了一种在攻击源端的轻量级方法.该方法使用BloomFilter对网络数据进行提取,在此基础上使用变化点检测方法对数据进行分析,可以达到使用少量资源进行准确检测的目的.重放DARPA数据的实验表明,在使用相同存储开销的前提下,该方法与同类工作相比,检测结果更准确,计算资源消耗更少.

基于源目的IP地址对数据库的防范DDos攻击策略

提出了一种基于源目的IP地址对数据库的防范分布式拒绝服务攻击(distributed denial of service attacks,简称DDos)攻击策略.该策略建立正常流量的源目的IP地址对数据库(source and destination IP address database,简称SDIAD),使用扩展的三维BloomFilter表存储SDIAD,并采用改进的滑动窗口无参数CUSUM(cumulative sum)算法对新的源目的IP地址对进行累积分析,以快速准确地检测出DDos攻击.对于SDIAD的更新,采用延迟更新策略,以确保SDIAD的及时性、准确性和鲁棒性.实验表明,该防范DDos攻击策略主要应用于边缘路由器,无论是靠近攻击源端还是靠近受害者端,都能够有效地检测出DDos攻击,并且有很好的检测准确率.

基于LRU和SCBF的大象流提取及其在DDoS防御中的应用

大象流的及时、准确提取对防御大规模网络安全事件具有重要意义.针对独立的LRU和SCBF提取大象流存在的不足,提出了基于LRU和SCBF的大象流提取方法——LRU_SCBF算法.该算法使用LRU列表和SCBF数组二级存储结构,将到达的老鼠流存入SCBF中,达到一定门限则提取到LRU中,LRU满时按最近最久未用策略淘汰老鼠流到SCBF中,循环实现大象流和老鼠流的分别聚集.理论分析和模拟实验表明:LRU_SCBF算法占用空间小,误报和漏报低,能实现高速网络环境下大象流的及时准确提取.应用于DDoS攻击防御中,能够实现DDoS攻击的及时检测和追踪.

P2P网络搜索技术的研究

分布式存储系统以其分布式控制、自组织性和普遍的适应性而受到越来越多的关注。搜索是所有存储系统的重要组成部分,而对终端用户的反应时间是衡量一个搜索引擎优良的重要指标。讨论了目前几种流行的P2P网络搜索技术及特点,并比较其优劣,然后对基于分布式哈希表的搜索技术的几种改进方法进行了分析。

随机伪造源地址DDoS攻击下的合法地址识别方法

设计了一种用于统计源地址包数的高效数据结构E—CBF，基于此，提出了随机伪造源地址DDoS攻击发生时合法地址识别算法，其时间复杂性为O（1），同时仅需1MB的内存开销。然后在对识别误差分析的基础上，提出了识别参数调整算法，用以根据当前攻击规模，自动调整检测参数来满足检测精度需求。模拟实验和真实网络数据实验结果均表明，该方法在不同规模的攻击下能自动调整检测参数，快速准确地发现合法源地址。

结构化网络中聚合Top-K查询优化技术

top-k查询在分布式环境中引起越来越多的关注,但是现存的一些top-k算法大都只适用于集中式网络.提出了一个解决分布式网络中top-k查询的新方法—Histogram-Container算法(简称为HC算法),它不仅网络延迟小,网络带宽花费少,而且能够运行在任何结构的分布式网络中.本文将基于一个树型拓扑网络来说明如何使用本地的直方图和bloom filter信息来优化查询,以及如何在中间节点进行部分结果的合并.实验评估和性能分析表明HC算法在网络带宽消耗和查询响应时间方面要优于其他同类方法.

一种武警云计算环境下集群重复数据删除策略

1引言 随着大数据时代的发展,数据量正在爆炸式增长,数据更新变化也在时刻进行。调查发现云端数据中心有60%以上数据是冗余的,这就为数据同步提出了巨大挑战。针对云环境下集群分布式存储的全局重复数据删除,存在着数据块索引磁盘瓶颈和存储节点信息孤岛两大困难：（1）数据块索引磁盘瓶颈：在存储服务器节点的磁盘上建立一个数据块索引序列,完成集群内数据存储节点的重复数据删除。