因子分解机算法在基于深度数据包检测的手机应用推荐中的应用

为了从网络数据包中抽取相关特征进行手机应用推荐,使用江苏电信运营商在互联网服务提供商(ISP)机房抽取的网络深度数据包数据,从中抽取运营商所关心的热点手机用户的App访问信息,然后使用基于矩阵分解(包括奇异值分解(SVD)和非负矩阵分解(NMF))的推荐算法、奇异值分解推荐算法以及因子分解机推荐算法进行手机App推荐。实验表明,因子分解机算法取得了较好的推荐效果。这说明因子分解机在手机应用推荐的场景中可以更好地描述用户和物品之间的隐含关联。

基于并行Bloom过滤器组的深度数据包检测算法

针对基于软件、硬件的深度数据包检测存在处理速度慢或规则集更新困难等方面的局限性,提出一种在多核平台上基于并行Bloom过滤器组的深度数据包检测算法。算法中首先将规则集按规则的长度分组,构造一个并行Bloom过滤器组,组中每个计数式Bloom过滤器表示特定规则长度的规则集。为了减少执行过程中的冲突概率和计算量,构造了高性能的哈希函数,然后基于多核平台的并行处理能力使用并行编程实现了该算法。理论分析和实验结果表明该算法是一种时空高效的算法。

一种面向深度数据包检测的紧凑型正则表达式匹配算法

深度数据包检测(Deep Packet Inspection,DPI)采用正则表达式匹配算法,将每个数据包内容与一组预定义的特征进行匹配.正则表达式匹配算法是一种多模式特征匹配算法,采用确定型有限自动机(Deterministic Finite Automaton,DFA)表示一组正则表达式特征,实现一次内容扫描可匹配多个特征.基于硬件的正则表达式匹配算法面临存储空间需求大等挑战,即片上嵌入式存储器难以存储日益增长的DFA存储空间需求,从而限制了DPI的性能和可伸缩性.近年来,Smith等人提出了一种基于扩展有限自动机(eXtended Finite Automaton,XFA)的正则表达式匹配算法,即在状态上增加辅助变量和简单操作指令,消除了DFA状态空间爆炸问题,从状态方面减少存储空间需求.为了进一步减少XFA存储空间需求,本文提出了一种基于紧凑型有限自动机(Compact Finite Automaton,CFA)的正则表达式匹配算法,称为紧凑型正则表达式匹配算法.CFA是一种存储高效的有限自动机,即从迁移边方面减少XFA存储空间需求.在CFA构建过程,本文提出了基于优先级的迁移边压缩方法,融合相同目的状态最多的迁移边,从而减少存储空间需求;在CEA匹配过程,本文提出了基于位图的迁移边查找方法,并行查找不同优先级的迁移边子集,从而确保匹配效率.Snort特征规则集的实验结果表明:与XFA相比,CFA在迁移边条数上减少了88.2%,在存储空间大小上减少了83%,在匹配时间上减少了12%.

一种面向深度数据包检测的索引拆分Bloom过滤器

高速数据包处理迫切需要时空高效的深度数据包检测(DPI),满足其线速处理和低存储空间需求.Trie位图内容分析器(TriBiCa)采用片上位图Trie树来实现元素的最小完美Hash;但是,TriBiCa存在更新开销高和假阳性访问次数多等问题.共享节点快速Hash表(SFHT)采用片上计数Bloom过滤器(CBF)来实现硬件Hash表的快速查找;但是,SFHT存在更新开销高和存储空间需求大等问题.文中提出了一种索引拆分Bloom过滤器(ISBF).ISBF是由片上多组并行CBF和片外元素集构成,其核心思想是:元素的片外索引值被拆分成多组比特,每组比特采用多个片上并行CBF表示元素集;当查询元素时,每组并行CBF产生多个比特值,并合成候选元素的片外索引值.为了降低ISBF的更新开销,文中又提出了懒惰删除(lazyd eletion)算法和空缺插入(vacant insertion)算法,即采用一个片上删除位图,仅在片上并行CBF中删除或插入元素,而不需要调整其他元素的片外索引值.ISBF是一种时空高效的数据结构,其插入、删除和查询操作的平均片外存储器访问次数均为O(1);与TriBiCa和SFHT相比,ISBF在片上存储空间大小上分别减少2b倍和b倍,其中b为索引拆分的比特位数.实验结果表明,ISBF支持快速和存储高效的查找,即显著地减少片外存储器访问次数、处理时间以及片上和片外存储空间需求.

校园网P2P流量综合检测技术研究

近年来,基于点对点技术的P2P流量日益增多,网络服务质量骤降,为此,在校园网内建立P2P流量检测与控制系统是十分必要的.利用单一技术识别P2P流量已无法满足需要,选取P2P应用的几种显著特征,提出了一种新的综合的P2P检测技术.实验证明,该方法对检测P2P流量有明显的效果.

基于AI算法和DPI解析的多场景协同推荐能力研究

在5G+AICDE的移动互联网时代,新型技术在运营商的业务运营中,扮演着重要角色。传统的业务运营,主要面临的痛点在于客户洞察精准性不足,无法准确洞察营销产品的目标客群,比如客户内容偏好识别能力较弱、客户洞察能力不足、营销转化率不足等方面。针对这些问题或不足,文章对基于AI算法和DPI解析的多场景协同推荐能力展开研究,通过不同场景进行验证,精准筛选客户群和触发时机,实现实时“场景+客户+产品”组合精准定位与触达。

大数据驱动的网络综合监测系统的设计与实现

当前的网络监测分析平台存在着检测数据来源单一、数据割裂、数据整合能力弱等不足,特别是新型攻击手段对传统基于已知规则库进行安全监测方法带来巨大冲击。充分利用大数据分析及预测技术,实现对DPI、DFI、NetFlow、主动测量和扫描、SNMP、SLA等多元化数据的采集,支持流量、性能、安全等结构化及非结构化数据的处理和存储,呈现以态势感知、流量透视、回溯分析、性能监控、安全检测、资产管理功能为核心,融合设备与拓扑管理、专题分析、攻击反制、异常文件识别和还原、主动测量等手段,具备不依赖规则而检测网络威胁的能力,打造一体化网络综合、智能化监测分析解决方案。

一种基于智能有限自动机的正则表达式匹配算法

本文提出了一种基于智能有限自动机(Smart Finite Automaton,SFA)的正则表达式匹配算法,在XFA的分支迁移边上增加额外的判断操作指令,消除XFA的回退迁移边,避免不必要的状态迁移操作.实验结果表明,SFA提高了正则表达式匹配的时空效率,与XFA相比,在存储空间开销上减少了44.1%,在存储器访问次数上减少了69.1%.

基于时序流的移动流量实时分类方法

移动互联网的快速发展,产生了网络测量、网络安全和服务质量等方面的新问题.为了深入研究移动互联网的特性,研究人员需要从传统网络流量中快速准确分类出移动流量.本文提出了一种采用轻量级流表与深度数据包检测技术(DPI)相结合的移动流量实时分类方法,将网络流按照时间间隔关系扩展为时序流,并通过DPI时序流前N个特征数据包准确地分类出移动流量,缩减了流表规模,减少了实际DPI开销.通过实时的网络流量实验表明,DPI时序流前8个特征数据包时,提出的方法识别准确率达到91.55%,单次深度数据包检测的平均开销为20个数据包,并且流表的规模缩减到原来的0.21%.与P0F比较,方法识别准确率等性能有明显提升.

工控系统安全监测及溯源系统的设计与实现

随着工控系统和互联网的交叉融合与边界模糊,边界部署的安全设备无法进行有效防护。已有的安全检测平台和系统,对工控系统安全事件的理解和整合能力不足。在深入理解工控系统的工业属性以及安全需求的基础上,结合深度数据包检测、网络威胁情报感知、协议解析及数据挖掘等人工智能方法,设计工控网络安全监测分析及溯源系统,实现数据驱动的工业互联网态势感知、检测预警、攻击溯源及反制,有效提升工控系统的安全实时检测、感知预警与防护水平。

一种以DPI为核心的网络流量识别方案

网络流量的识别是流量控制、计费和内容安全等需求实现的前提条件,是适应当前网络急速增长和解决当前网络威胁的有效途径。提出了一种以深度数据包检测(Deep Packet Inspection,DPI)为主要识别技术,结合端口、统计等多种识别技术的识别方案。以谷歌的Google Talk为例,对各种场景的应用和采用不同协议的情况,进行了细致的分析。测试结果表明,该方案能精确地识别各种类型的协议。

网络流量监测技术研究

SNMP、Netflow、DPI和DFI技术是网络流量监测的主流技术,这几种技术分别有不同的特点,通过分析这几种技术可以确定其应用领域,可以更好地选择和使用网络产品提高网络管理的水平。

10Gb/s线速可扩展P2P流量识别引擎

通过引入流特征统计和深度数据包检测相结合的思想,设计了一种可扩展的10Gb/s线速P2P流量识别引擎,给出了该引擎的硬件实现方案,详细介绍了方案中已知流过滤、传输层特征统计、净荷关键词匹配等核心部分的实现。测试表明,该引擎可完全实现10Gb/s速率下的P2P流量线速识别,识别准确率大于95%。

城市轨交AFC系统安全建设方案的设计与分析

随着城市轨交系统的复杂化和智能化,以及城市轨道交通的自动售检票系统(automatic fare collection,AFC)管理的信息化,城市轨交的AFC系统的建设需要同时考虑信息安全保护.基于工业控制系统安全防护的思路,设计了一种城市轨交AFC系统安全建设方案,通过边界防护工具、入侵检测工具、系统整体检测工具和功能集成工具的有机结合,形成一套完整的安全解决方案.通过分析表明,给出的安全建设方案具有较高的安全性.

一种Ares协议的精确识别方法

针对单独的深度数据包检测(Deep packet inspection,DPI)技术无法识别加密报文,以及基于流量特征识别方法对流量检测的模糊性等问题,采用DPI和基于流量特征相结合的方法来对Ares协议进行精确的识别,以提高对Ares协议的识别效果,实验表明准确率可以达到97%以上。