移动蜂窝网络多出口流量数据精准清洗方法

为了提升移动网络多出口流量数据的清洗精度,降低冗余数据占比,提出移动蜂窝网络多出口流量数据高效清洗方法。依据移动蜂窝网络结构特点以及流量特征,预处理移动蜂窝网络多出口流量数据;利用差分自回归移动平均模型,构建移动蜂窝网络多出口流量数据高效清洗模型;将多出口流量数据四元组作为模型输入,运用优化粗糙集理论的数据约简算法,达到精准清洗移动蜂窝网络多出口流量数据的目的。实验证明该方法可通过流量数据预处理降低冗余数据占比,可降低流量数据输出出错率,提高了移动网络多出口流量数据的清洗精度。

基于置信度与级联结构的未知网络流量检测

为了提升开集流识别性能,本文在对已知类和新类的置信度分布分析基础上,提出一种基于置信度信息与级联结构的未知网络流量检测方法。该方法通过级联结构,先将具有高置信度的新类样本检测出来;利用最大置信度差对新类和已知类进行分类;利用最大置信度对已知类进行细分类。为了更好地检测高置信度新类,还设计了从未标记数据筛选伪负样本的算法。实验表明,与现有代表性方法相比,本文方法的已知类F1提高约13%,新类F1提高约3%,总体准确率提高约5%,训练和分类耗时也明显少于现有方法。

基于YOLO框架的实时交通标志识别算法研究与系统实现

道路交通标志识别受限于所处复杂的自然场景以及种类繁多等因素,目前少有实时性、准确性、稳定性等各方面均衡的识别系统。利用在工业中应用广泛的YOLO算法对交通标志进行识别,以满足实时性和稳定性;利用大规模的自标数据集对深度网络重新训练,提升其泛化能力,保证识别准确性;将训练完成的深度网络部署在嵌入式设备JetsonTX2上,利用跨平台框架Qt实现交互式界面,使系统具备可应用性。该系统是一个通用平台,可支持不同高精度且高实时的网络模型的替换使用。

基于支持向量聚类和模糊粗糙集的交通流数据修复方法

为解决受天气影响、探测器故障和人为错误等多种原因造成的交通流数据丢失问题,提出一种基于模糊粗糙集理论的交通流数据补缺方法,将支持向量聚类与模糊粗糙集结合进行交通流数据的分类,并结合模糊神经网络和遗传算法进行数据补齐。该方法对支持向量聚类参数,聚类大小和加权因子进行优化,并估计缺失值。研究结果表明所提出的混合方法具有足够且合理的数据修复性能,与模糊神经网络等估算模型的结果对比表明,该模型的数据修复效果优于其他对比模型。

基于XGBoost的CTU-13僵尸网络流量检测

僵尸网络是大数据时代下最严重的网络安全问题之一,僵尸网络感染未受保护的机器,跟踪与命令控制服务器的通信,发送和接收恶意命令.攻击者利用僵尸网络发起DDoS、钓鱼、数据窃取、垃圾邮件等危险攻击.针对上述问题,采用集成学习方法研究在CTU-13数据集中的僵尸网络流量场景下恶意流量的识别问题.在会话级别对数据集进行预处理,采用局部离群因子算法(LOF)筛选离群数据,选择并构建特征;在流量检测阶段,采用XGBoost算法训练得到基于集成学习的流量分类器,并与三种当前主流的传统机器学习算法K-最近邻算法(KNN)、随机森林(Random forest)和支持向量机(SVM)进行比较.实验表明,XGBoost算法的分类准确率最高,达到99.89%.最后,使用SHAP对关键特征在分类任务中的贡献度进行可视化展示.

基于非完备大数据的业务预测

高效、精准预测无线网络业务数据,例如业务的到达率、用户数以及吞吐量等,将为网络提供用户的实时需求,是实现无线网络智能化的关键。然而,由于无线网络传输的不可靠性、采集设备故障、采样率低等原因,使得无线大数据具有不可避免的非完备性。将使系统丢失大量有用信息,从而给无线网络业务预测带来巨大挑战。为了应对该挑战,提出了基于非完备数据集的业务预测架构,从缺失值补充以及空时信息挖掘2个维度高效利用非完备数据集,提升预测精度,助力无线网络的智能化。

DSCAU：非均衡负载无线传感器网络的基于支配集的分簇数据收集算法

针对无线传感器网络（WSNs）在负载不均衡即各节点数据量不相同情况下的数据收集问题进行了研究，提出了WSNs在负载不均衡下的新的基于支配集的分簇数据收集算法——DSCAU。运用DSCAU时，每个节点对自身剩余能量、节点邻居数量、自身和邻居产生的数据量等情况进行综合考虑来选举候选簇首。为避免正式簇首过多，候选簇首根据自身邻居被其他候选簇首覆盖的数量，以反比概率成为正式簇首。同时为了均衡簇首的能量开销，对簇的规模进行了限制。理论分析和仿真实验表明，DSCAU在多跳情况下能有效延长网络生命周期，并且能保证所有节点均加入簇，从而提高成簇算法的覆盖率。

基于神经网络的P2P流量识别方法

研究P2P流量的识别对于P2P网络的管理具有十分重要的意义,针对当前P2P流量的识别方法存在的误差大,识别结果不稳定等缺陷,为了改善P2P流量的识别效果,提出神经网络的P2P流量的识别方法。首先采集P2P流量数据,并对其进行预处理,建立P2P流量的识别样本集合;然后根据P2P流量的识别学习,神经网络进行训练,建立P2P流量的识别模型;最后采用VC++编程实现P2P流量的识别实验。实验结果表明,基于神经网络的P2P流量识别精度高,识别结果十分稳定,且P2P流量的识别效率高,可以对P2P流量进行在线管理,具有较高的实际应用价值。

基于机器学习的流量识别技术综述与展望

流量识别是实现网络管理与网络安全的关键环节。随着基于端口号和深度包检测两种流量识别方法相继失效,基于机器学习的流量识别技术成为近十年流量识别领域最受关注的方法。鉴于流量识别技术的重要性,首先介绍流量识别技术的概况及相关基本概念,包括其应用场景、输入对象、识别类型及评价指标。然后详述机器学习背景下,流量识别过程中的数据集获取、特征提取与选择、识别模型设计等关键技术的进展,并对近年主要研究工作进行总结和比较。最后对基于机器学习的流量识别技术面临的主要挑战及未来的发展方向进行探讨与展望。

基于深度神经网络的异常流量检测算法

随着计算机网络和应用程序的规模呈指数级增长,攻击造成的潜在损害显著增加且越来越明显。传统异常流量检测方法已经不能满足当今互联网安全的需要,因此基于机器学习的算法成为针对复杂且不断增长的网络攻击的有效方法之一。文章提出基于深度神经网络的异常流量检测算法。通过对当前经典数据集进行对比,选择包含更多种攻击和协议类型的ISCX数据集进行实验分析。实验结果表明,与朴素贝叶斯算法对比,文章算法在提高准确率和降低误报率方面有了较大改善,是可用于异常流量检测的高效算法。

基于城市居住区POI数据的昆明市公共交通站点可达性分析

本文利用2016年昆明市主城五区的POI数据,采用GIS分析工具,构建昆明市可达性分析模型,基于昆明路网建立步行交通网络数据集,通过最小阻抗和出行范围的两种可达性评价展开研究。通过针对服务于居民的居住区片区公共服务设施的空间布置方法,尝试通过考虑交通的转弯和通达性、时间成本以及距离等因素进行可达性分析,以昆明市公交站点和住区点为基础对昆明市公共交通可达性进行分析评价。

基于交通网络数据集的动态路径诱导系统规划与实现探讨

智能交通是当前公认的有效解决交通拥堵、能源消耗及交通污染等突出问题的根本途径,而动态的交通诱导系统则是智能交通的核心研究领域之一,并一直被学术界和企业界所关注。当前已有诸多成果,但能广泛应用于实际交通环境的不多,通过着重探讨基于交通网络数据集下的动态路径诱导系统的规划设计与实现方式,有利于交通动态路径诱导系统的开发应用。

基于自编码器算法的网络正常流量过滤方案

为解决网络应用层流量所带来的安全隐患与传统检测方法极大地消耗设备性能的问题,提出一种基于自编码器算法的网络正常流量过滤的解决方案。该方案对数据流量集进行规则预处理后,提取流行为上的统计特征,对提取的特征进行自编码器算法的模型过滤。实验结果表明,该方案可过滤掉大部分网络中的正常流量,相较于传统的流量检测方法,整体的过滤性能显著提升。