利用Excel实现快速整理CG-5型重力仪静态试验数据和计算漂移常量DRIFT

重力仪静态试验是重力勘探工作开始之前对仪器性能检查的必要环节,由于原理简单,其数据整理常不被人们重视,没有系统的方法,但整理的计算过程却又繁琐复杂,初学者在面对大量数据和多重目标时或顾此失彼,或重复计算,往往要耗费较多的工作时间。Excel电子表格具有强大的数学计算、图形显示功能,且应用广泛,易于操作,可系统整理CG-5型重力仪静态试验的原始观测记录,快速获取静态试验数据表、零点位移曲线及其拟合直线图等直观要素,同时计算得到静态零点位移曲线与直线偏差、平均零点位移率等结果参数,Excel的散点图趋势线功能也改进了静态零点位移校正参数漂移常量DRIFT的计算方法与准确度。这种静态试验数据的整理方法具有快速、准确和直观的优点。

面向不同类型概念漂移的两阶段自适应集成学习方法

大数据时代,流数据大量涌现.概念漂移作为流数据挖掘中最典型且困难的问题,受到了越来越广泛的关注.集成学习是处理流数据中概念漂移的常用方法,然而在漂移发生后,学习模型往往无法对流数据的分布变化做出及时响应,且不能有效处理不同类型概念漂移,导致模型泛化性能下降.针对这个问题,提出一种面向不同类型概念漂移的两阶段自适应集成学习方法(two-stage adaptive ensemble learning method for different types of concept drift,TAEL).该方法首先通过检测漂移跨度来判断概念漂移类型,然后根据不同漂移类型,提出“过滤-扩充”两阶段样本处理机制动态选择合适的样本处理策略.具体地,在过滤阶段,针对不同漂移类型,创建不同的非关键样本过滤器,提取历史样本块中的关键样本,使历史数据分布更接近最新数据分布,提高基学习器有效性;在扩充阶段,提出一种分块优先抽样方法,针对不同漂移类型设置合适的抽取规模,并根据历史关键样本所属类别在当前样本块上的规模占比设置抽样优先级,再由抽样优先级确定抽样概率,依据抽样概率从历史关键样本块中抽取关键样本子集扩充当前样本块,缓解样本扩充后的类别不平衡现象,解决当前基学习器欠拟合问题的同时增强其稳定性.实验结果表明,所提方法能够对不同类型的概念漂移做出及时响应,加快漂移发生后在线集成模型的收敛速度,提高模型的整体泛化性能.

基于自适应深度集成网络的概念漂移收敛方法

概念漂移是流数据挖掘领域中的一个重要且具有挑战性的难题.然而,目前的方法大多仅能够处理线性或简单的非线性映射,深度神经网络虽然有较强的非线性拟合能力,但在流数据挖掘任务中,每次只能在新得到的1个或一批样本上进行训练,学习模型难以实时调整以适应动态变化的数据流.为解决上述问题,将梯度提升算法的纠错思想引入含概念漂移的流数据挖掘任务之中,提出了一种基于自适应深度集成网络的概念漂移收敛方法(concept drift convergence method based on adaptive deep ensemble networks,CD_ADEN).该模型集成多个浅层神经网络作为基学习器,后序基学习器在前序基学习器输出的基础上不断纠错,具有较高的实时泛化性能.此外,由于浅层神经网络有较快的收敛速度,因此所提出的模型能够较快地从概念漂移造成的精度下降中恢复.多个数据集上的实验结果表明,所提出的CD_ADEN方法平均实时精度有明显提高,相较于对比方法,平均实时精度有1%~5%的提升,且平均序值在7种典型的对比算法中排名第一.说明所提出的方法能够对前序输出进行纠错,且学习模型能够快速地从概念漂移造成的精度下降中恢复,提升了在线学习模型的实时泛化性能.

基于混合特征提取的流数据概念漂移处理方法

大数据时代,越来越多的数据以数据流的形式产生,由于其具有快速、无限、不稳定及动态变化等特性,使得概念漂移成为流数据挖掘中一个重要但困难的问题.目前多数概念漂移处理方法存在信息提取能力有限且未充分考虑流数据的时序特性等问题.针对这些问题,提出一种基于混合特征提取的流数据概念漂移处理方法(concept drift processing method of streaming data based on mixed feature extraction,MFECD).该方法首先采用不同尺度的卷积核对数据进行建模以构建拼接特征,采用门控机制将浅层输入和拼接特征融合,作为不同网络层次输入进行自适应集成,以获得能够兼顾细节信息和语义信息的数据特性.在此基础上,采用注意力机制和相似度计算评估流数据不同时刻的重要性,以增强数据流关键位点的时序特性.实验结果表明,该方法能有效提取流数据中包含的复杂数据特征和时序特征,提高了数据流中概念漂移的处理能力.

交通流数据的概念漂移探析

概念漂移在很大程度上影响着交通流预测的结果,当数据分布或属性发生了变化,而模型的参数和结构没有及时调整时,模型预测结果的准确性就会大幅度下降,甚至完全失效。研究交通流数据及特点,概念漂移及检测步骤、检测方法,对交通流数据概念漂移发现和检测模型的建立、后期调整和优化交通流预测模型具有重要意义。

非平衡概念漂移数据流主动学习方法

数据流分类研究在开放、动态环境中如何提供更可靠的数据驱动预测模型,关键在于从实时到达且不断变化的数据流中检测并适应概念漂移.目前,为检测概念漂移和更新分类模型,数据流分类方法通常假设所有样本的标签都是已知的,这一假设在真实场景下是不现实的.此外,真实数据流可能表现出较高且不断变化的类不平衡比率,会进一步增加数据流分类任务的复杂性.为此,提出一种非平衡概念漂移数据流主动学习方法 (Active learning method for imbalanced concept drift data stream, ALM-ICDDS).定义基于多预测概率的样本预测确定性度量,提出边缘阈值矩阵的自适应调整方法,使得标签查询策略适用于类别数较多的非平衡数据流;提出基于记忆强度的样本替换策略,将难区分、少数类样本和代表当前数据分布的样本保存在记忆窗口中,提升新基分类器的分类性能;定义基于分类精度的基分类器重要性评价及更新方法,实现漂移后的集成分类器更新.在7个合成数据流和3个真实数据流上的对比实验表明,提出的非平衡概念漂移数据流主动学习方法的分类性能优于6种概念漂移数据流学习方法.

网络异常检测领域概念漂移问题研究综述

【目的】随着网络技术的快速发展和广泛应用,网络异常检测作为保护网络安全和维护系统正常运行的手段变得越来越重要。然而,网络中异常行为和攻击手段不断变化,给异常检测带来了新的挑战。其中,概念漂移问题是网络异常检测领域中受到广泛关注的难点之一。【方法】本综述旨在对网络异常检测领域中概念漂移问题进行研究分析和总结。与前人的研究相比,本文将专注于网络异常检测领域的流数据。【文献范围】首先,对概念漂移进行详细介绍,包括定义、产生原因和特点。通过对概念漂移的全面理解,可以为后续的检测方法提供指导。其次,系统性地介绍了概念漂移检测方法,主要包括基于统计的方法、机器学习方法和深度学习方法等,并对比了各类方法的优缺点和适用场景。最后,探讨了概念漂移在未来可能的研究方向。【结论】本文聚焦于网络异常检测领域的概念漂移问题,通过详细介绍概念漂移的定义、产生原因和特点,以及深入分析和总结针对流数据概念漂移的检测方法,为未来研究方向提供了有价值的参考和指导。

非平衡数据流在线主动学习方法

数据流分类是数据流挖掘领域一项重要研究任务,目标是从不断变化的海量数据中捕获变化的类结构.目前,几乎没有框架可以同时处理数据流中常见的多类非平衡、概念漂移、异常点和标记样本成本高昂问题.基于此,提出一种非平衡数据流在线主动学习方法(Online active learning method for imbalanced data stream,OALM-IDS).AdaBoost是一种将多个弱分类器经过迭代生成强分类器的集成分类方法,AdaBoost.M2引入了弱分类器的置信度,此类方法常用于静态数据.定义了基于非平衡比率和自适应遗忘因子的训练样本重要性度量,从而使AdaBoost.M2方法适用于非平衡数据流,提升了非平衡数据流集成分类器的性能.提出了边际阈值矩阵的自适应调整方法,优化了标签请求策略.将概念漂移程度融入模型构建过程中,定义了基于概念漂移指数的自适应遗忘因子,实现了漂移后的模型重构.在6个人工数据流和4个真实数据流上的对比实验表明,提出的非平衡数据流在线主动学习方法的分类性能优于其他5种非平衡数据流学习方法.

基于动态样本选择的概念漂移自适应预测方法

概念漂移是影响流数据挖掘性能的重要因素,当前主要通过增量更新或重训练模型进行处理,但对已有知识并未充分利用.从综合利用全体样本出发,本文构建了一种基于动态样本选择的概念漂移自适应分类方法.该方法在新样本到来时进行基于局部一致性的漂移检测,在发现漂移发生时去除区域内的噪声样本,当检测到新概念出现时,对历史相似概念进行重用.最后,对区域内不同类别样本进行多代表点归纳,并同步更新预测模型.本文在含有不同漂移类型的合成数据集上进行去噪效果验证,并在真实数据集上进行预测任务.实验结果表明,该方法可以有效去除因概念漂移而形成的漂移噪声,有效提升了预测模型性能,整体预测表现优于流行的概念漂移自适应模型.

基于增量加权的不平衡漂移数据流分类算法

概念漂移是数据流学习领域中的一个难点问题,同时数据流中存在的类不平衡问题也会严重影响算法的分类性能。针对概念漂移和类不平衡的联合问题,在基于数据块集成的方法上引入在线更新机制,结合重采样和遗忘机制提出了一种增量加权集成的不平衡数据流分类方法(incremental weighted ensemble for imbalance learning,IWEIL)。该方法以集成框架为基础,利用基于可变大小窗口的遗忘机制确定基分类器对窗口内最近若干实例的分类性能,并计算基分类器的权重,随着新实例的逐个到达,在线更新IWEIL中每个基分器及其权重。同时,使用改进的自适应最近邻SMOTE方法生成符合新概念的新少数类实例以解决数据流中类不平衡问题。在人工数据集和真实数据集上进行实验,结果表明,相比于DWMIL算法,IWEIL在HyperPlane数据集上的G-mean和recall指标分别提升了5.77%和6.28%,在Electricity数据集上两个指标分别提升了3.25%和6.47%。最后,IWEIL在安卓应用检测问题上表现良好。

一种多终端视频流智能识别模型共进演化方法研究

在泛在的智能物联网终端部署深度模型并提供智能应用/服务受到越来越多关注.但是,受限于终端硬件资源,研究人员从模型轻量化技术入手,为深度模型的轻量化、高精度部署提供技术支撑.然而基于轻量化深度模型的视频应用会面临实际场景中的数据漂移问题,导致推理精度急剧下降,并且该问题在移动场景中尤为显著.边缘辅助的模型在线演化是解决数据漂移问题的一种有效方式,可实现自演化的可成长的智能计算系统.然而,模型演化速度会影响终端模型高精度服务时间占比,从而影响模型全生命周期推理性能.为了提升多终端协同的模型演化精度和速度,本文提出基于软硬一体理念的多终端视频流智能识别模型共进演化方法和系统.一方面,本文提出了新颖的多终端互学习共进演化方法,借助终端新场景数据,克服模型数据异构挑战,实现多终端模型和全局模型的高增益协同演化和共进学习;另一方面,结合互学习算法特点,提出基于存内计算的训练加速方法,利用自适应数据压缩和模型训练优化提升系统性能,在保证演化精度增益的同时加速多个终端模型的演化速度.最后,通过不同真实移动场景下的轻量化模型持续演化任务实验验证,并对比六种基准方法证明NestEvo可以有效减少51.98%演化延迟,并提升42.6%终端轻量化模型平均推理精度.

往返平飘式探空在CMA-MESO三维变分中的同化及对模式预报的影响

往返平飘式探空通过一次探空气球施放实现“上升段-平飘段-下降段”三段观测,其下降段能实现在06时(世界时,下同)和18时自动垂直加密观测大气,具备提升区域高分辨率快速同化循环预报系统在06时和18时的预报技巧潜力。为了实现往返平飘式探空在区域高分辨率模式中的同化,分析其对预报的影响,初步提出了“选取模式层最接近观测”的垂直稀疏化方法来预处理资料,深入分析了稀疏化对同化效果的影响,论证了资料垂直稀疏化对于同化应用的必要性;在此基础上,开展了为期1个月的批量同化影响试验,着重分析了往返平飘式探空在长江中下游区域的组网观测对CMA-MESO模式预报技巧的影响。稀疏化敏感性试验结果表明,同化不稀疏化的往返平飘式探空相比同化传统业务探空,分析和预报误差显著增加,降水预报评分也显著降低,相反,“选取最接近模式层”数据的垂直稀疏化方案能提高模式的分析和预报技巧,表明往返平飘式探空同化前必须进行垂直稀疏化。批量同化试验结果表明,在冷启动时刻(00时和12时,为常规探空释放时刻),同化往返平飘式探空(上升段)相对同化传统业务探空,分析误差和预报误差变化较小。但在暖启动时刻(03、06、09、15、18、21时,无常规探空释放时刻),增加往返平飘式探空下降段数据,相比控制试验,分析场精度提高了约0.4%。此外,0~12 h累计降水预报的ETS评分变化较小,但12~24 h累计降水预报在0.1、1.0、5.0、10.0、25.0 mm量级降水ETS评分提高了约0.5%,在50.0 mm量级的降水ETS评分提高了约2.3%。总体而言,同化往返平飘式探空对于区域高分辨率快速同化循环预报系统在暖启动时刻的降水预报技巧有正贡献。

结合软约束的演化数据流模糊聚类算法

多源局部放电检测中,不同类型的局放信号同时存在且不断变化使得信号的分离更具挑战,而这种情况同样存在于许多数据流的聚类分析场景中。为了能够适应类簇内的不均匀密度和类簇间的重叠边界问题,同时对数据流的漂移和演化进行及时跟踪,提出了一种结合软约束的实时数据流模糊聚类算法。算法引入2种模糊性软约束来描述微簇距离和密度上的不确定度,通过阈值划分出核心微簇、边界微簇和离群微簇;在类簇边缘使用模糊隶属度,给予微簇分属不同类簇的可能性,保证类簇的完整性并提高聚类效果;使用两阶段的流程结构和2种时间窗口模型,赋予算法具有对可变化数据流的适应能力和更低的时间空间占用率。在多种数据集上的实验表明,该算法相比同类型算法在聚类效果上提升了1%~3%,且平均运行时间缩短5%~20%,在实际硬件平台的测试中也验证了算法的聚类分离性能。

基于行过扫数据降低大面阵CCD图像噪声算法研究

针对全帧转移大面阵电荷耦合器件(CCD)多帧图像数据随时间漂移的现象和测试电路引入的噪声,导致无法准确评估CCD器件的参数,文章提出一种基于行过扫数据校正算法。行有效像元数据与对应行垂直过扫数据同时输出,通过有效像元数据减去垂直过扫数据均值,对图像数据漂移的现象进行抑制。测试电路中模拟模块与数字模块同时作用于单行有效像元数据与垂直过扫数据,通过有效像元数据减去垂直过扫数据均值,消除测试电路引入的噪声。实验结果表明,经过该算法校正后的器件读出噪声减小了20%,暗场差值图像中超过15e^(-)和25e^(-)的比例减小了25%。该算法适用于大面阵CCD器件,可校正测试系统引入的测试误差,提高全帧转移大面阵CCD器件测试效率。

在线深度神经网络的弱监督概念漂移检测方法

流数据作为大数据的重要形式广泛存在于实际问题中,由于流数据中数据分布变化产生概念漂移,容易导致模型的泛化性能下降,且在实际应用问题中,数据标记成本较高,难以获得强监督的信息.针对以上问题,本文提出一种基于在线深度神经网络的弱监督概念漂移检测(Weakly supervised conceptual drift detection method based on online deep neural network,WSCDD)方法.该方法设计了一种在线深度神经网络模型,采用Hedge反向传播方法在线学习网络深度,并通过设计Dropout层在模型预测时引入随机性,利用蒙特卡罗方法量化深度神经网络模型的预测不确定性,通过自适应滑动窗口技术检测弱监督环境下概念漂移的发生,并使模型适应新的概念.实验结果表明,该方法可以准确检测数据流中概念漂移的发生,在漂移发生后能够快速收敛到新的数据分布,提高了学习模型的泛化性能.

基于聚簇模型重用的概念漂移数据流半监督分类算法

带概念漂移的半监督数据流分类任务中,仅有少部分的数据被标记,这给分类器的训练、概念漂移的检测以及分类器对新概念的适应带来了巨大的挑战。现有的半监督聚簇分类算法仅对分类器池中的聚簇模型进行简单的增量更新,未能有效重用历史聚簇模型。因此,文中提出了一种新的聚簇模型重用的半监督分类算法,称为CDCMR。首先,数据流以数据块的形式到来,对数据块分完类后,训练一个簇数自适应确定的聚簇模型。其次,通过计算分类器池中的各组件分类器与聚簇模型之间的相似度,挑选多个组件分类器。再次,用当前数据块对挑选出来的组件分类器进行模型重用后,与聚簇模型集成。然后,将分类器池划分为新旧更替和多样性最大化分类器池进行更新。最后,对下一个数据块的样本进行集成分类。在多个人工和真实数据集上进行实验,结果表明,所提算法1)能有效适应概念漂移,与现有方法相比其性能有显著性提升。

基于自校正的多回路模拟信号数据采集电路设计

传统的多回路模拟信号数据采集电路存在信号放大单元硬件电路,随着应用环境的变化而产生基准漂移、同类型模拟信号在不同信道之间采集的数据不一致、人工调节电路容易引起误差等问题。本文设计一种可自校正的多回路模拟信号数据采集电路,主要包括信号放大单元、标准满幅值信号端、标准零值信号端和电子开关。电路包括正常运行、出厂调试和自动校正三种控制模式,由控制单元自动完成相应的校正和运行,不需要人工调节干预,可有效避免传统多回路模拟信号数据采集电路存在的问题。

自动化仪表数据漂移校准技术研究

为解决自动化仪表在实际应用中因数据漂移导致的测量不准确问题,文章采用了基于小波变换的数据分析方法,通过构建特定的数据采集与处理流程,实现了现场自动化流量仪表的数据校准工作。在此过程中,运用随机数生成模拟现场条件,对载荷传感器、温压一体传感器、流量计和压力传感器4种主要仪表进行了在线校准试验,并将结果汇总分析。研究结果表明,所采用的校准方法能显著提高仪表数据的准确性,且自动响应速度快,校准时间控制在5 min以内。通过对实际场景下的仪表进行连续20次数据漂移校准试验,不仅证实了模型具备高效识别仪表故障的能力,而且展现了在保证数据准确性的同时实现快速自动校准的技术可行性。得出结论,即基于小波变换的自动化流量仪表数据漂移校准技术具有高效、准确的校准性能,能够为自动化测量系统提供强有力的数据支持,从而确保系统的长期稳定性和可靠性。

改进自适应模型池的在线异常检测算法

精确的在线异常检测方法是物联网行业发展的核心,其中,以复杂和动态数据流为对象的在线异常识别是研究热点.现有在线异常检测方法存在处理复杂性负载过重问题,离线深度异常检测方法则存在因数据分布变化导致概念漂移问题.针对上述问题,本文提出了改进自适应模型池的在线异常检测框架,该框架可以与基于自动编码器的异常检测方法协作实现在线异常检测.首先,利用基于自动编码器的异常检测模型进行基本异常识别;其次,以自适应模型池为基础,融合概念漂移检测算法准确识别概念漂移,适应动态变化的数据流,解决概念漂移现象;最后,优化自适应模型池的模型合并方法,提升在线异常识别能力.实验结果表明,相比自动编码器模型的流变体和原自适应模型池算法,提出的算法在异常检测精度指标上分别提升了20.2%和5.83%,同时,最佳精度指标高于现有在线异常检测算法约16.7%.

基于闭合频繁模式的半随机森林数据流分类算法

提出了一种基于闭合频繁模式的半随机森林数据流分类算法(Semi-Random Forest based on Closed Frequent Pattern,SRFCFP),以解决数据流中噪声和概念漂移问题。SRFCFP利用闭合频繁模式对数据流进行表示,去除冗余信息和噪声,突出数据特征。采用半随机森林建立分类模型,并通过基于时间衰减的模式集更新机制适应数据流的无限性。为了检测概念漂移并及时适应,引入了一种模式集差异性度量方式,用于测量数据分布变化。实验结果表明,在MOA平台下使用真实和合成数据集,SRFCFP在平均精度上超越了相关对比算法,并能有效处理数据流中的概念漂移和噪声问题。