基于网格密度积叠的流数据异常检测

多数的流数据异常检测算法采用滑动的单一窗口模型,这会导致大量数据点进行重复计算,异常点也会受到滑动窗口中近邻更替的干扰,进而影响异常检测算法的准确性。为解决上述问题,提出了联合窗口模型,采用若干无重叠的窗口作为异常点的检测范围。在此模型上,提出了基于网格密度积叠的异常检测算法,首先,优化了核密度估计函数用于数据点局部密度的计算;其次,提出网格密度积叠操作,用于异常网格的度量。在异常网格中,通过计算数据点的异常分数来确定最终异常数据。为了提高算法效率,提出一种自适应剪枝策略,剪枝一些异常点不可能出现的区域。实验结果表明,该算法同现有的数据流异常检测算法相比,在效率和准确性2个方面体现出较强的优势。

基于混合特征提取的流数据概念漂移处理方法

大数据时代,越来越多的数据以数据流的形式产生,由于其具有快速、无限、不稳定及动态变化等特性,使得概念漂移成为流数据挖掘中一个重要但困难的问题.目前多数概念漂移处理方法存在信息提取能力有限且未充分考虑流数据的时序特性等问题.针对这些问题,提出一种基于混合特征提取的流数据概念漂移处理方法(concept drift processing method of streaming data based on mixed feature extraction,MFECD).该方法首先采用不同尺度的卷积核对数据进行建模以构建拼接特征,采用门控机制将浅层输入和拼接特征融合,作为不同网络层次输入进行自适应集成,以获得能够兼顾细节信息和语义信息的数据特性.在此基础上,采用注意力机制和相似度计算评估流数据不同时刻的重要性,以增强数据流关键位点的时序特性.实验结果表明,该方法能有效提取流数据中包含的复杂数据特征和时序特征,提高了数据流中概念漂移的处理能力.

交通流数据的概念漂移探析

概念漂移在很大程度上影响着交通流预测的结果,当数据分布或属性发生了变化,而模型的参数和结构没有及时调整时,模型预测结果的准确性就会大幅度下降,甚至完全失效。研究交通流数据及特点,概念漂移及检测步骤、检测方法,对交通流数据概念漂移发现和检测模型的建立、后期调整和优化交通流预测模型具有重要意义。

大数据技术下的流数据处理框架构建及应用研究

大数据技术下的流数据具有实时性、突发性、无序性、易失性和无限性等特征,因此,传统的分布式计算机系统很难满足计算需求,需要利用流计算来处理流数据,流计算可以针对海量的不同数据源的流数据进行实时分析与处理。在梳理大数据技术架构的基础上,对流数据及流数据处理框架进行了阐述,给出了流数据处理的三种常用框架,利用文献研究法和系统法对大数据技术下的流数据处理进行深入研究,提出了大数据技术下的流数据处理框架及应用领域,希望能为大数据技术下的流数据处理的研究者提供借鉴。

基于服务的云边端协同流数据处理体系结构研究

物联网相关技术的快速发展产生了大规模传感流数据和对流数据的高并发处理需求,云边端协同计算正成为低延迟、高可靠的流数据处理的有效途径。为了提升流数据处理系统的灵活性和可扩展性,降低流数据处理延迟,本文提出一种基于服务的分散式云边端协同流数据处理体系结构,设计了面向大规模流数据的主动式数据服务模型,流数据及流数据处理被抽象为合适粒度、可被独立部署和动态调度的服务,解耦数据与计算。引入事件驱动机制,提出了基于事件驱动的云边端服务动态协作机制,有效提升了系统的灵活性。基于真实的电能质量传感流数据验证了本文所提出架构的正确性和有效性。

MADSPM:一种基于移动代理的分布式多流数据处理模型

对主要的流数据模型进行了比较分析,讨论了基于概要结构的流数据处理模型---Synopsis模型。在Synopsis模型的基础上引入移动代理,提出了一种基于移动代理的分布式多流数据处理模型MADSPM。最后对基于MADSPM模型的流数据关联规则挖掘问题中需注意的一些问题进行了阐述与分析。

基于计算机数据算法模型的交通流数据分析

针对交通流数据分析滞后,交通规划效率不高等问题,提出了一种基于计算机数据算法模型的计算机数据算法数据分析方法,该方法采用基于S3C6410处理器的采集模块对影响交通流的数据进行采集或者分析,在进行数据信息采集时,还通过JZ863的无线传输模块实现数据信息传输,并通过神经网络算法模型提高了交通流数据信息分析能力。实验结果显示,本研究系统检测到发生故障的数据量数高达4735个,交通检测精度较高。

基于智能合约的流数据授权撤销方案研究

物联网设备和服务将实时生成的流数据加密后进行外包存储,并通过访问控制对用户进行授权,当用户的身份或权限发生变更时,需要撤销用户的权限。现有撤销方案通常存在密钥频繁更新和重加密密文的问题,导致撤销效率低下,灵活度不足,难以实现实时撤销,面临数据泄露风险。为解决流数据外包存储场景下的实时授权撤销问题,提出了一种基于智能合约的去中心化授权撤销方案。在边缘计算和区块链相结合的物联网架构下,将流数据按照时间间隔分块,使用HASH树生成与块对应的大量且唯一的密钥,并对分块数据进行对称加密;树节点创建访问令牌并通过代理重加密技术进行共享,实现了可更改的访问策略和高效动态数据共享;利用智能合约技术创建访问控制列表和不当行为列表,对用户权限进行定时撤销和即时撤销操作,实现了去中心化的实时授权撤销。安全性分析和仿真实验证明所提方案与其他相关的研究方案相比,提供了更好的安全性、功能、通信和计算成本,更具有效性。

面向变工况下工业流数据故障诊断的持续迁移学习系统

机器学习模型在智能故障诊断中取得了显著成功,但主要应用于静态场景。在实际场景中,新的故障类别数据以流形式不断产生,且数据分布随机械设备运行条件变化而发生变化,导致连续流数据具有非独立同分布的特征,这种面向非独立同分布连续流数据的诊断问题被称为持续迁移诊断问题。针对此问题,本文提出了一种基于持续迁移学习系统(CTLS)的故障诊断方法。该方法设计了域适应学习损失函数和持续迁移学习机制,能有效处理变工况下的工业流数据,无需重放旧类别数据便能够能学习新类别知识。此外,利用机械故障诊断案例评估该方法的性能,分析结果证明CTLS能够高效处理变工况条件下的工业流数据,是一种极具潜力的解决实际工业问题的可靠工具。

大数据技术下的流数据处理框架构建研究

在大数据技术快速发展的背景下,流数据已成为了一个不可忽视的重要领域。由于流数据具有实时性、突发性、无序性、易失性和无限性等多重特性,传统的分布式计算机系统在处理数据时倍感压力。面对这样的挑战,流计算技术的出现成为了解决之道,其能够针对海量的、来自不同数据源的流数据进行实时、高效的分析和处理,满足现代数据处理的需求。基于此,将对流数据处理框架的建设进行深入研究,以大数据技术为基础给出常用的处理框架,以期为提高数据处理水平提供相关参考。

基于事件流数据世系的网络渗透攻击防御方法

为了保证网络通信安全,降低网络攻击风险,提出基于事件流数据世系的网络渗透攻击防御方法。通过构建网络攻击信号模型,对时间尺度实行划分,完成数据采集与信号拟合;利用主元分析提取网络动态特征,剔除全部的攻击变量共线性,令网络中的隐藏信息显现出来;将网络信息流分割为各种数据世系,按照类似接近程度对备选数据世系实行排序,识别产生信息关联异常事件,防御攻击数据,保障网络安全。通过实验,证明所提方法能够防御网络渗透攻击,且所用时间较短,具有可应用价值。

流数据处理中负载突发感知的弹性资源分配

在分布式并行数据流处理中,面向实时变化且具有突发性的流数据负载,固定的资源分配将造成资源浪费或服务质量降低,因此,可伸缩的弹性资源分配是一个亟待解决的关键问题.然而,由于资源分配延迟和负载预测模型存在误差,已有的弹性资源分配策略无法准确地提供与突发负载相匹配的资源,且存在不必要的资源调整反复,增加了系统开销.该文主要解决弹性资源分配的调整延迟和调整颠簸问题.针对上述问题,主要的挑战在于突发负载的准确预测和节点间的协作.为此,该文提出了一个上、下游节点协同的弹性资源分配策略,最优化数据质量和资源使用率,兼顾考虑调整代价.在该策略中,基于数据负载关联模型和双向的控制机制,下游节点能够实时感知和预测上游节点产生的突发负载和负载的变化趋势,预先调整资源并避免调整颠簸;同时,上游节点能够基于反馈机制,动态调节数据处理速率以抑制下游节点的负载波动,降低其资源调整的可能性.实验结果表明,当负载变化较大时,该策略平均减少数据丢失达85%,并显著降低了系统资源调整开销,同时,提高了资源使用率.

基于回归模型的高速公路交通流数据修复方法

针对当前高速公路交通流数据修复不精确、效率低等问题,提出一种基于多元回归的数据修复模型,该模型以线性回归、岭回归和套索回归作为基础子模型,通过训练数据筛选最优修补子模型,进而借助该子模型来修复异常值,从而实现准确高效地数据拟合修复;为了验证模型的有效性,模型以美国加州I-5高速公路的车道交通流数据进行实验分析,并引入传统均值修复法作为对比分析;实验结果表明:模型相较于均值修复法所产生时间损耗相差较小,但具有更高的修复精度,交通量数据修复准确率提升96%,速度数据修复准确率提升95%,占有率数据修复准确率提升97%。

流数据下的复合分位数回归

随着互联网的发展,数据规模急剧增长,但有限的内存只能存储一小批数据,因此在不访问历史数据的情况下进行分析是非常有必要的,流数据分析也因而引起了广泛关注。同时复合分位数回归因其鲁棒性和全面性,在许多领域得到应用,但由于传统复合分位数回归是基于内存可容纳完整数据的条件,因此在流数据环境中实现复合分位数回归是非常有挑战的。针对流数据提出了一种可更新的复合分位数回归方法,可以随着数据的到达,使用当前数据和历史数据的汇总统计量来更新估计量。在理论上证明提出的可更新估计量与使用完整数据得到的估计量是渐近等价的。最后通过模拟研究验证了所提出方法的有效性。

Web站点的点击流数据分析方法的设计与实现

Web挖掘就是利用数据挖掘技术从Web文档和服务中自动发现和抽取信息,用于Web挖掘的最有效的数据就是点击流,现在对点击流数据进行建模和分析所采用的方法要么过分强调挖掘算法,要么过分强调实用性。基于此,笔者提供了一种将挖掘算法与商业智能(BI)相结合的统计建模方法。

时序流数据支持下的实时数据处理技术应用研究

随着时代的发展,在许多信息化工作领域,数据种类、采集数据编目的复杂性逐渐增强,同时整体数据体量也在向着更大的方向发展。在这一背景下,对于训练数据处理的实时性、准确性要求自然也不断提升。传统的数据交互处理架构在面对新的、更加复杂的工作场景时,其传输与处理的性能瓶颈问题开始逐渐暴露出来,对其进行优化具有一定的现实意义。通过对相关文献进行查阅,结合RocketMQ消息中间件技术、Flink流处理技术等,针对当前军事训练场景中多来源、高并发、高频率、大体量的数据实时传输、处理、回放需求,进行了一套功能完善的数据传输与处理系统设计,以期为复杂场景下的实时数据处理工作提供一定的理论与技术支持。

大数据环境下的实时流数据处理与挖掘技术研究

在数字化技术快速发展的背景下,大数据技术已逐渐成为支撑信息时代发展的重要基石。实时流数据处理与挖掘作为大数据技术的关键应用方向,在多个行业中扮演着至关重要的角色,特别是在商业分析、网络安全、智能交通等领域。文中旨在探讨大数据环境下的实时流数据的处理与挖掘技术,通过分析现有的技术框架与挑战,介绍了该技术在数据挖掘中的具体应用。

网络安全下基于改进遗传算法的流数据挖掘方法研究

[目的/意义]通过改进双链量子遗传算法对流数据进行有效挖掘,解决传统方法中存在的局限性,促使改进后的算法能够更好地适应流数据的特性,并提升数据处理的速度和精度,以此推动流数据挖掘技术的发展.[方法/过程]对现有的双链量子遗传算法进行深入分析,识别出在流数据挖掘应用中的不足之处,并提出一系列改进措施,将其改进整合到算法框架中,形成新的改进双链量子遗传算法.通过构建模拟环境和实际数据集,对改进双链量子遗传算法进行详细的性能评估和测试.[结果/结论]与传统方法相比,改进双链量子遗传算法在处理速度、准确率和稳定性等方面均有明显优势.特别是在高维数据和大规模数据集的处理上,改进后的新算法展现出更好的扩展性和适应性.此外,新算法的自适应性,使其能够根据数据流的变化自动调整策略,进一步提高流数据挖掘效率,为网络安全提供重要技术支持.

基于点击流数据的消费者动态共购网络研究

文章基于消费者点击流数据和网络结构,使用时态指数随机图模型(TERGM)和消费者点击流数据建构了消费者动态共同购买网络,从产品点击次数、相对浏览时间、好评数、差评数和产品入度等维度测度了影响消费者共同购买行为发生的关键变量,并与指数随机图模型(ERGM)进行了比较。结果表明:产品相对浏览时间、好评数和产品入度促进消费者共同购买行为发生,而产品点击次数会降低消费者共同购买可能性;TERGM模型适合于消费者共同购买行为的网络分析,且拟合效果优于ERGM,验证了TERGM模型对消费者共同购买行为的适用性;文章提出点击流的隐式反馈中应加入时间网络结构视角研究对共同购买网络形成的影响,可为推荐系统优化设计提供有益参考。

基于流数据的模糊聚类算法

对流数据进行有效聚类是一个吸引研究者很大注意力的问题。传统的聚类挖掘算法只能适用于纯数值属性数据或纯分类属性数据,很难适用于混合属性的数据。针对混合属性数据的特点,在借鉴AcluStream算法的基础上,提出了一种模糊聚类算法。算法对流数据的相异度分类度量,定量属性使用欧氏距离和曼哈坦距离度量,定性属性可以采用hamming距离度量。模糊聚类算法的主要步骤有两步:第一步,运用最小距离聚类算法进行聚类,构成一个初始类。第二步,对基于最小距离聚类算法进行聚类所得到的初始簇,运用密度聚类方法进行聚合或分割,使得聚类集合稳定。实践证明:该算法是快速地有效的。