因子分解机算法在基于深度数据包检测的手机应用推荐中的应用

为了从网络数据包中抽取相关特征进行手机应用推荐,使用江苏电信运营商在互联网服务提供商(ISP)机房抽取的网络深度数据包数据,从中抽取运营商所关心的热点手机用户的App访问信息,然后使用基于矩阵分解(包括奇异值分解(SVD)和非负矩阵分解(NMF))的推荐算法、奇异值分解推荐算法以及因子分解机推荐算法进行手机App推荐。实验表明,因子分解机算法取得了较好的推荐效果。这说明因子分解机在手机应用推荐的场景中可以更好地描述用户和物品之间的隐含关联。

基于并行Bloom过滤器组的深度数据包检测算法

针对基于软件、硬件的深度数据包检测存在处理速度慢或规则集更新困难等方面的局限性,提出一种在多核平台上基于并行Bloom过滤器组的深度数据包检测算法。算法中首先将规则集按规则的长度分组,构造一个并行Bloom过滤器组,组中每个计数式Bloom过滤器表示特定规则长度的规则集。为了减少执行过程中的冲突概率和计算量,构造了高性能的哈希函数,然后基于多核平台的并行处理能力使用并行编程实现了该算法。理论分析和实验结果表明该算法是一种时空高效的算法。

地震预警数据流监控与分析

为实现地震预警网络环境实时监控与分析,明确各业务系统之间的数据流向和范围,根据地震预警系统业务分区梳理关键业务、网段和终端,并通过数据流分析实现地震预警系统网络流量监控。通过数据包采集与解码技术,实现对主要业务系统关键指标的监控,从而对地震预警系统的网络访问性能、系统服务性能、应用响应性能等关键指标进行综合监控与分析,实现以业务为核心的网络环境监控与支撑。

校园网P2P流量综合检测技术研究

近年来,基于点对点技术的P2P流量日益增多,网络服务质量骤降,为此,在校园网内建立P2P流量检测与控制系统是十分必要的.利用单一技术识别P2P流量已无法满足需要,选取P2P应用的几种显著特征,提出了一种新的综合的P2P检测技术.实验证明,该方法对检测P2P流量有明显的效果.

基于N⁃gram算法的网络安全风险检测系统设计

针对传统网络安全风险检测系统存在数据包检测性能较差的问题,设计一种基于N⁃gram算法的网络安全风险检测系统。系统的硬件模块包括数据预处理模块、协同分析模块,其中数据预处理模块主要负责处理被捕获的、存在安全风险的数据包,由检测引擎与包解码器组成;协同分析模块主要由协同采集器、协同分析器、协同传感器以及协同管理器构成。基于N⁃gram算法设计网络安全风险检测模块,该模块主要通过协议分析与特征匹配实现网络安全风险检测,其中协议分析主要通过构建协议分析树实现;而特征匹配则主要通过N⁃gram算法实现。为了证明该系统的数据包检测性能,将传统网络安全风险检测系统与该系统进行对比实验,实验结果证明该系统的数据包检测性能优于传统网络安全风险检测系统,实现了性能跃升。

大数据驱动的网络综合监测系统的设计与实现

当前的网络监测分析平台存在着检测数据来源单一、数据割裂、数据整合能力弱等不足,特别是新型攻击手段对传统基于已知规则库进行安全监测方法带来巨大冲击。充分利用大数据分析及预测技术,实现对DPI、DFI、NetFlow、主动测量和扫描、SNMP、SLA等多元化数据的采集,支持流量、性能、安全等结构化及非结构化数据的处理和存储,呈现以态势感知、流量透视、回溯分析、性能监控、安全检测、资产管理功能为核心,融合设备与拓扑管理、专题分析、攻击反制、异常文件识别和还原、主动测量等手段,具备不依赖规则而检测网络威胁的能力,打造一体化网络综合、智能化监测分析解决方案。

一种面向深度数据包检测的紧凑型正则表达式匹配算法

深度数据包检测(Deep Packet Inspection,DPI)采用正则表达式匹配算法,将每个数据包内容与一组预定义的特征进行匹配.正则表达式匹配算法是一种多模式特征匹配算法,采用确定型有限自动机(Deterministic Finite Automaton,DFA)表示一组正则表达式特征,实现一次内容扫描可匹配多个特征.基于硬件的正则表达式匹配算法面临存储空间需求大等挑战,即片上嵌入式存储器难以存储日益增长的DFA存储空间需求,从而限制了DPI的性能和可伸缩性.近年来,Smith等人提出了一种基于扩展有限自动机(eXtended Finite Automaton,XFA)的正则表达式匹配算法,即在状态上增加辅助变量和简单操作指令,消除了DFA状态空间爆炸问题,从状态方面减少存储空间需求.为了进一步减少XFA存储空间需求,本文提出了一种基于紧凑型有限自动机(Compact Finite Automaton,CFA)的正则表达式匹配算法,称为紧凑型正则表达式匹配算法.CFA是一种存储高效的有限自动机,即从迁移边方面减少XFA存储空间需求.在CFA构建过程,本文提出了基于优先级的迁移边压缩方法,融合相同目的状态最多的迁移边,从而减少存储空间需求;在CEA匹配过程,本文提出了基于位图的迁移边查找方法,并行查找不同优先级的迁移边子集,从而确保匹配效率.Snort特征规则集的实验结果表明:与XFA相比,CFA在迁移边条数上减少了88.2%,在存储空间大小上减少了83%,在匹配时间上减少了12%.

一种面向深度数据包检测的索引拆分Bloom过滤器

高速数据包处理迫切需要时空高效的深度数据包检测(DPI),满足其线速处理和低存储空间需求.Trie位图内容分析器(TriBiCa)采用片上位图Trie树来实现元素的最小完美Hash;但是,TriBiCa存在更新开销高和假阳性访问次数多等问题.共享节点快速Hash表(SFHT)采用片上计数Bloom过滤器(CBF)来实现硬件Hash表的快速查找;但是,SFHT存在更新开销高和存储空间需求大等问题.文中提出了一种索引拆分Bloom过滤器(ISBF).ISBF是由片上多组并行CBF和片外元素集构成,其核心思想是:元素的片外索引值被拆分成多组比特,每组比特采用多个片上并行CBF表示元素集;当查询元素时,每组并行CBF产生多个比特值,并合成候选元素的片外索引值.为了降低ISBF的更新开销,文中又提出了懒惰删除(lazyd eletion)算法和空缺插入(vacant insertion)算法,即采用一个片上删除位图,仅在片上并行CBF中删除或插入元素,而不需要调整其他元素的片外索引值.ISBF是一种时空高效的数据结构,其插入、删除和查询操作的平均片外存储器访问次数均为O(1);与TriBiCa和SFHT相比,ISBF在片上存储空间大小上分别减少2b倍和b倍,其中b为索引拆分的比特位数.实验结果表明,ISBF支持快速和存储高效的查找,即显著地减少片外存储器访问次数、处理时间以及片上和片外存储空间需求.

基于AI算法和DPI解析的多场景协同推荐能力研究

在5G+AICDE的移动互联网时代,新型技术在运营商的业务运营中,扮演着重要角色。传统的业务运营,主要面临的痛点在于客户洞察精准性不足,无法准确洞察营销产品的目标客群,比如客户内容偏好识别能力较弱、客户洞察能力不足、营销转化率不足等方面。针对这些问题或不足,文章对基于AI算法和DPI解析的多场景协同推荐能力展开研究,通过不同场景进行验证,精准筛选客户群和触发时机,实现实时“场景+客户+产品”组合精准定位与触达。

P2P流量识别

P2P流量的迅猛增长加剧了网络拥塞状况,P2P流量识别为网络管理提供了基本的技术支持.首先介绍了P2P流量的类别及流量识别面临的主要困难,然后综述了P2P流量识别的主要技术及研究进展,最后给出下一步的主要研究方向.

基于时序流的移动流量实时分类方法

移动互联网的快速发展,产生了网络测量、网络安全和服务质量等方面的新问题.为了深入研究移动互联网的特性,研究人员需要从传统网络流量中快速准确分类出移动流量.本文提出了一种采用轻量级流表与深度数据包检测技术(DPI)相结合的移动流量实时分类方法,将网络流按照时间间隔关系扩展为时序流,并通过DPI时序流前N个特征数据包准确地分类出移动流量,缩减了流表规模,减少了实际DPI开销.通过实时的网络流量实验表明,DPI时序流前8个特征数据包时,提出的方法识别准确率达到91.55%,单次深度数据包检测的平均开销为20个数据包,并且流表的规模缩减到原来的0.21%.与P0F比较,方法识别准确率等性能有明显提升.

一种基于智能有限自动机的正则表达式匹配算法

本文提出了一种基于智能有限自动机(Smart Finite Automaton,SFA)的正则表达式匹配算法,在XFA的分支迁移边上增加额外的判断操作指令,消除XFA的回退迁移边,避免不必要的状态迁移操作.实验结果表明,SFA提高了正则表达式匹配的时空效率,与XFA相比,在存储空间开销上减少了44.1%,在存储器访问次数上减少了69.1%.

基于小世界性的P2P网络流量研究

针对P2P网络模式对网络带宽的大量占用的问题,通过对实际运行的P2P软件的网络特性进行试验观察,研究了随机特性与网络流量的关系,表明互联网中目前常用的P2P协议没有使P2P网络趋于小世界网络,反而使其更加趋于随机网络。因此,提出采用深层数据包检测技术,给出了优化P2P网络流量,提高信息服务效率的方式。

基于采样精度切换的毫米波无线通信空闲侦听机制研究

针对毫米波无线通信系统,提出了一种基于采样精度切换的低功耗空闲侦听方案,使得CSMA/CA下空闲侦听功耗与接收机解调所需高耗能模数转换器(ADC)功耗互相独立.具体而言,在空闲侦听状态,接收机使能极低功耗的1比特ADC和所提的1比特采样精度广义似然比包检测器来捕获突发包的到达;一旦捕获成功,接收机切换到原高精度ADC来解调数据包,进而保持了解调性能.该文推导并验证了所提方案中包到达检测器的虚警概率(FAP)和漏检概率(MDP)表达式.仿真结果表明,该方案与现有方案相比可显著降低空闲侦听功耗,并获得优异的检测性能.

一种以DPI为核心的网络流量识别方案

网络流量的识别是流量控制、计费和内容安全等需求实现的前提条件,是适应当前网络急速增长和解决当前网络威胁的有效途径。提出了一种以深度数据包检测(Deep Packet Inspection,DPI)为主要识别技术,结合端口、统计等多种识别技术的识别方案。以谷歌的Google Talk为例,对各种场景的应用和采用不同协议的情况,进行了细致的分析。测试结果表明,该方案能精确地识别各种类型的协议。

工控系统安全监测及溯源系统的设计与实现

随着工控系统和互联网的交叉融合与边界模糊,边界部署的安全设备无法进行有效防护。已有的安全检测平台和系统,对工控系统安全事件的理解和整合能力不足。在深入理解工控系统的工业属性以及安全需求的基础上,结合深度数据包检测、网络威胁情报感知、协议解析及数据挖掘等人工智能方法,设计工控网络安全监测分析及溯源系统,实现数据驱动的工业互联网态势感知、检测预警、攻击溯源及反制,有效提升工控系统的安全实时检测、感知预警与防护水平。

网络流量监测技术研究

SNMP、Netflow、DPI和DFI技术是网络流量监测的主流技术,这几种技术分别有不同的特点,通过分析这几种技术可以确定其应用领域,可以更好地选择和使用网络产品提高网络管理的水平。

基于校园网的P2P流量识别技术研究

通过传输层的流量特征检测法和应用层数据包深度检测法,较准确地识别出P2P流量,结合以上两种方法的优缺点,提出一种启发示P2P流量识别方法.

基于嵌入式的P2P流量监控系统的设计及实现

P2P业务消耗大量的网络带宽资源,使互联网传统业务的服务质量下降,针对这个问题,设计了一种基于嵌入式技术的P2P流量监控系统。该嵌入式系统采用深层数据包检测(deep packet inspection,DPI)的流量检测技术,使用旁路干扰的控制方式,并具有扩展到对新的P2P业务流量监控的功能。测试结果表明该嵌入式系统检测和控制P2P业务流量的效果良好,扩展性较强。

10Gb/s线速可扩展P2P流量识别引擎

通过引入流特征统计和深度数据包检测相结合的思想,设计了一种可扩展的10Gb/s线速P2P流量识别引擎,给出了该引擎的硬件实现方案,详细介绍了方案中已知流过滤、传输层特征统计、净荷关键词匹配等核心部分的实现。测试表明,该引擎可完全实现10Gb/s速率下的P2P流量线速识别,识别准确率大于95%。