Data-driven human and bot recognition from web activity logs based on hybrid learning techniques

Distinguishing between web traffic generated by bots and humans is an important task in the evaluation of online marketing campaigns.One of the main challenges is related to only partial availability of the performance metrics:although some users can be unambiguously classified as bots,the correct label is uncertain in many cases.This calls for the use of classifiers capable of explaining their decisions.This paper demonstrates two such mechanisms based on features carefully engineered from web logs.The first is a man-made rule-based system.The second is a hierarchical model that first performs clustering and next classification using human-centred,interpretable methods.The stability of the proposed methods is analyzed and a minimal set of features that convey the classdiscriminating information is selected.The proposed data processing and analysis methodology are successfully applied to real-world data sets from online publishers.

基于SVM-DT-MLP模型的Web日志异常流量检测研究

随着Web应用程序的普及,网络攻击和安全漏洞的风险日益增加。Web日志文件详细记录了网站运行信息,对日志中的流量进行分类从而检测出异常攻击流量是保障网页长期提供稳定、安全服务行之有效的方法之一。文中将Voting特征选择与Stacking集成相结合,构建了SVM-DT-MLP模型,并将其用于Web日志异常流量检测。测试结果表明,SVM-DT-MLP模型的性能显著优于单一算法模型,其Precision(精确度)达到92.44%,Recall(召回率)达到92.43%,F1-Score(F1值)达到92.44%。这意味着该模型能够有效地检测出异常攻击流量,并在保障网页提供稳定和安全服务方面具有很好的效果。

基于深度学习的网络Web异常流量检测方法

为了灵敏感知网络环境态势,提高用户隐私数据安全性,提出基于深度学习的网络Web异常流量检测方法。利用数据平面开发工具包设计Web流量采集架构,设置环境抽象层、内存管理层、调试组件等核心部件,实时捕获流量包;对流量数据数值化和归一化过程预处理,选用Daubechiesl小波函数对数据信号做离散小波变换,设定滑动窗口,分解数值序列,结合平均值、标准差和能量占比等特征参数,从数值序列中提取异常流量特征;利用长短时记忆网络学习特征向量,获得不同特征的时序关系,引入注意力机制对异常检测贡献度较高的特征赋权,构建多层感知机网络,输出最终检测结果。仿真实验表明,所提方法可同时满足高检测率和低虚警率的要求,为Web网络安全提供保障。

Web服务中心DDoS攻击的防范机制研究

在互联网时代,应用层的分布式拒绝服务(Distributed Denial of Service,DDoS)攻击已经成为公共网络的一大威胁,导致许多服务器无法提供服务并遭受严重破坏。为了应对这类攻击,提出一种综合防范策略。分析攻击行为的原理和方式,了解用户行为的差异性,设计流量监控系统,实时监测网络流量,并在检测到异常流量时及时警示管理员采取应对措施。此外,通过维护Web服务器的黑名单和使用数据过滤等技术,有效屏蔽不必要的流量。通过综合运用这些策略,可以有效防范应用层的分布式拒绝服务攻击,确保服务器的正常运行。

“流量”作为一种技术环境:中立逻辑与本土实践

从“数字化生存”到“数字化繁荣”,流量成为当今最突出的技术环境表征与具象化存在,既推动“物的消费”向“符号消费”转型,也促使信息数据和货币资本无需中介地转化,在影响个体行动与社会秩序重构的过程中成为互联网场域的关键通货。流量在塑造了一种新的社会整合及运行秩序的同时,也带来了数字资本主义的新批判路径,即量化一切所带来的生产性权力的隐喻和消极后果。然而,流量首先是技术的产物,也是互联网商业体系和货币流通亟需的新标准。以技术中立的逻辑重新审视流量,在与流量必然性共存的前提下,需要顶层设计来破除商业平台的流量收割,以彰显社会公器之益。

基于Web GIS的城市公交问路系统

城市公交问路系统可以提供公交信息如线路、首末班时间、票价等 ,还可以向出行者提供最优的出行线路 .讨论了公交线路网络的特性以及常用的最短路径算法在公交线路优化问题中的局限 ,提出了一种实用于公交网络最优路径问题的算法 ,对公交网络建模。

基于Web的网络流量监测系统的设计

网络流量测量是认识网络规律、了解网络行为的前提工作。该文从园区网络流量监测入手,通过对物理网络拓扑自动发现、网络拓扑自动布局以及对RMON2规范的研究,给出了能够分析网络流量成份的流量监测方案,设计并实现了一个基于Web的园区网络流量监测系统。通过对该系统的实施,可以有效地监控网络流量状况。

基于小波的Web流量组合预测方法研究

为了提高Web流量的预测精度,提出一种基于小波、神经网络和自回归的组合预测方法.首先将Web流量构造为2个相关序列:历史序列和相似值序列;对具有平稳特征的相似值序列用AR模型进行预测;对体现了Web流量非线性、非平稳特性的历史序列则经过小波分解与单支重构后,针对各分支特点分别采用神经网络和自回归模型预测;最后组合2条序列的预测结果获得最终预测值.理论分析与实验表明:组合预测方法可以充分利用与流量相关的多种数据关系;小波分析可以将历史序列分解为多层频率成分更加单纯、更加易于预测的时间序列.因而所建方法比传统的预测方法具有更高的预测精度.

随机车流下波形腹板组合箱梁桥疲劳寿命评估

为研究运营期内波形腹板组合梁桥的疲劳安全问题,基于WIM系统实测车辆荷载数据对桥梁疲劳寿命进行评估。利用某高速公路桥梁WIM系统实测车流数据建立随机车流模型,运用ANSYS有限元软件分析随机车流作用下波形腹板组合箱梁桥的疲劳应力,通过疲劳寿命评估方法评估波形腹板组合箱梁桥疲劳寿命,并探讨车流量变化对疲劳寿命的影响。研究结果表明:在随机车流作用下,波形腹板组合箱梁桥钢底板与波纹腹板焊缝相同折角处的应力值内侧比外侧大,导致内侧的疲劳损伤比外侧大,疲劳寿命较短;车流量变化对桥梁的疲劳损伤影响较大,随运营时间的增长,桥梁的疲劳寿命快速下降。因此,在运营期内需对桥梁运行车辆采取一定的限流限载措施。

嵌入式web服务器在CTM系统中的应用

本文分析了传统的城市交通监控采用专用网络进行数据传输的不足,介绍了嵌入式web服务器的工作原理,并提出了利用其改造现有的城市交通监控系统的方法。

基于半监督聚类的Web流量分类

提出了一种基于半监督学习的方法对Web流量进行聚类分析,使用隐马尔可夫模型对用户流量进行描述和聚类分析。该方法通过对少量数据进行人工标识,利用已标识数据对无监督聚类结果进行调整,以得到与人工分类匹配的聚类结果。使用真实的Web流量对提出的方法进行验证,实验结果表明该方法能有效地对Web流量进行分类,并得到相应的描述模型。

基于布隆过滤的藏区Web站点流量识别

针对被管网大流量条件下藏区Web站点流识别算法准确性低、鲁棒性差等问题,提出一种基于布隆过滤BF(bloom filter)的藏区Web站点流量识别方法。给出能够描述藏区Web站点流的特征字段,形成关键字集合,并映射为BF中的位数组;在给定假阳率的情况下,利用Hash函数对被管网中数据包的相应特征字段进行Hash映射操作,识别该包是否为藏区Web站点流量的网络包。实验结果表明,该方法呈现了较高的准确性,识别率保持在92.3%以上,在网络流量较大时仍表现出较强的鲁棒性。

基于Web的网站流量统计系统设计及数据分析

传统的网站流量统计是通过在页面上使用的计数器来简单地统计访问者数量。为了更全面、多维度地分析网站流量,同时给网站运维者提供网站维护和重新定制网络营销策略的重要依据,文章设计了一个基于Web的网站流量统计系统,并将该系统应用于某网站进行数据分析。该网站流量统计系统利用Web技术,通过在目标网站放置嵌入式脚本程序的方式来获取访问来源、访问时间、访问内容等多维度信息,并实现对信息的整理、查找以及图形展现功能,为网站调整运营架构、进一步丰富内容、提升服务能力、加强互动性等提供可靠的数据依据。

增强的Zeek网络流量采集与监控分析系统设计

随着计算机技术和网络攻击手段的不断发展,网络监控需求不断强烈。针对企事业单位网络监控效果与实际需求不匹配、缺少可复用的流量采集与监控分析一体化系统的现状,该文设计了增强的Zeek的网络流量采集与监控分析系统,用于企事业单位的流量管理。系统利用Zeek的可扩展性,设计了多端口识别与自定义采集时间间隔的功能,实现了对网络汇聚流量的更精准和灵活的采集。接着,将采集数据的本地存储与持久化存储相结合,在Web端提供对网络安全数据的全面分析。系统实现了流量数据的定制化采集、持久化存储与Web交互展示和控制功能,在保证现有应用系统平稳运行的前提下,降低了信息时延,满足了真实大规模网络环境流量数据的个性化采集和实时监测与溯源分析需求,同时为进一步扩展为其他应用模式提供了可用的架构基础。

交通诱导信息短信的WEB定制与发布

针对城市交通出行者获取交通信息渠道少、难度大等问题,提出采用交通诱导信息短信的WEB定制与发布的方法来缓解交通问题,并阐述采用个性化交通信息短信服务构件等关键技术来构建该系统,进而对短信收发软件的设计以及基于WEB的短信定制界面的无缝连接进行介绍,且经实例验证,该方法能够便捷、低成本地指导出行者了解所选择路线的城市交通流状况,具有一定的指导意义。

基于Web GIS技术的交通流量分析系统

针对当前交通流量分析技术的新发展趋势,结合web GIS系统的技术特点,从理论和工程实践的角度出发,设计并实现了基于Web GIS技术的交通流量分析系统。该系统的主要功能模块包括数据接收及管理、地图数据处理及分析、地图及数据的发布。该系统的实现及应用不仅可以对交通数据进行直观、生动的显示,还可以提供最新的查询和分析,进而为交通流量分析提供决策和支持。

多Web服务器系统的建模、分析与控制

本文基于ＷＷＷ应用，将服务器和通信访问网络统一考虑为一个整体，提出了Ｗｅｂ服务系统的性能分析模型，并将模型扩展到了多服务器系统；分析了各模型参数对服务系统性能的影响，证明了增加新服务器的速率原则；并对比了几种提高服务器性能的方法在不同拥塞条件下的优劣；最后研究了多Ｗｅｂ服务器系统负载平衡的实现问题。这些结论对于网络管理、规划设计和网络升级都具有实际意义。

Web集群远程监控策略

针对Web集群存在的网络流量监控问题,构建MRTG流量监控,根据Web服务的网络流量特点设置远程流量监控参数,使之能够监控集群中多台设备,通过Apache发布直观可靠的图形化网络流量和设备性能数据,研究MRTG在实际应用中的缺陷,提出合理可行的改进策略,使网络管理人员能够更加有效的通过远程监控网络流量和性能负载,判断网路或设备发生问题的可能原因,快速定位并加以处理。

基于web的船舶交通信息管理系统设计

针对传统船舶交通信息管理系统运行效率慢的问题,结合web,对其进行优化,设计一个基于web的船舶交通信息管理系统。首先按照B/S结构设计系统3层框架,数据采集服务端层、业务逻辑中间件层和web客户端层,然后根据框架设计系统2个主要硬件设备,信息动态采集设备和信息处理设备;最后进行系统软件设计,包括信息采集模块、数据传输模块、数据处理模块、数据储存模块。结果表明:与传统船舶维修信息管理系统相比,本系统运行效率提高5.2 bit/s。

Web服务器区域访问流量预测模型设计

Web服务器上的日志文件记录了用户访问的许多有用的信息,分析和以它建立相应的预测模型,预测区域用户将来的访问行为,对提高Web服务器管理和服务质量,无疑是十分有价值的;Neuro-Fuzzy方法是将神经网络和模糊逻辑有机的结合,用于解决复杂的非线性问题;用它来进行Web服务器区域流量预测,是一种新的思路和方法。文章主要介绍了模型构造的基本思想、结构、算法,也介绍进化式聚类方法和预测过程;同时,给出了实验数据及分析。