融合特征分析及机器学习的可演进变压器故障诊断模型

变压器是大型电力系统中的关键重要设备,其机理复杂且影响面广,对变压器的状态检测与故障诊断是传统电力系统中的关键问题,也是智能化时代下智能算法应用的重要方向。为解决现有的智能化故障诊断研究受限于故障样本稀缺、诊断结果可解释性差、模型更新困难等问题,提出一种基于时序流数据动态分析的变压器故障诊断模型。首先通过人工辅助标注和数据增强方法,构建具有序列特征的高置信故障数据样本库;然后使用由融合时序特征分析器和多分类器构成的神经网络模型作为训练及分析的模型基础,构造基于相似案例的推理方式,通过距离相似性、模式相似性、形状相似性等多维度距离度量方法,对实时检测到的流数据进行故障诊断及分类预警,以指导运维人员结合历史经验及智能技术开展故障分析。实验结果表明,所提方法在故障诊断的准确性与可解释性上显著提升,可应用于变压器故障在线诊断真实场景中。

基于聚簇模型重用的概念漂移数据流半监督分类算法

带概念漂移的半监督数据流分类任务中,仅有少部分的数据被标记,这给分类器的训练、概念漂移的检测以及分类器对新概念的适应带来了巨大的挑战。现有的半监督聚簇分类算法仅对分类器池中的聚簇模型进行简单的增量更新,未能有效重用历史聚簇模型。因此,文中提出了一种新的聚簇模型重用的半监督分类算法,称为CDCMR。首先,数据流以数据块的形式到来,对数据块分完类后,训练一个簇数自适应确定的聚簇模型。其次,通过计算分类器池中的各组件分类器与聚簇模型之间的相似度,挑选多个组件分类器。再次,用当前数据块对挑选出来的组件分类器进行模型重用后,与聚簇模型集成。然后,将分类器池划分为新旧更替和多样性最大化分类器池进行更新。最后,对下一个数据块的样本进行集成分类。在多个人工和真实数据集上进行实验,结果表明,所提算法1)能有效适应概念漂移,与现有方法相比其性能有显著性提升。

面向不确定性多数据流异常检测的数学模型

随着互联网技术的快速发展,数据流的应用日益普遍,通信平台对多数据流进行异常检测的需求也逐步增长。为了解决当前异常检测算法准确率低、特征提取难等问题,提出了一种基于网格化的多数据流异常检测算法。算法首先提取不确定性多数据流的特征,通过分析数据流分布状态,从而提取异常数据;然后采用网格化的方法对多数据流进行划分,通过计算网格异常因子从而提取异常数据,达到异常检测的效果;最后针对异常数据,通过对变量因素进行关联性分析,降低误检率,提升异常检测的准确率。实验结果表明,所提算法在异常检测精确度方面提升了约4%,漏检率降低了至少3%,误检率降低了8%以上,有效的提高了异常检测的精确度,降低了异常数据流对工作及生活带来的负面影响。

改进自适应模型池的在线异常检测算法

精确的在线异常检测方法是物联网行业发展的核心,其中,以复杂和动态数据流为对象的在线异常识别是研究热点.现有在线异常检测方法存在处理复杂性负载过重问题,离线深度异常检测方法则存在因数据分布变化导致概念漂移问题.针对上述问题,本文提出了改进自适应模型池的在线异常检测框架,该框架可以与基于自动编码器的异常检测方法协作实现在线异常检测.首先,利用基于自动编码器的异常检测模型进行基本异常识别;其次,以自适应模型池为基础,融合概念漂移检测算法准确识别概念漂移,适应动态变化的数据流,解决概念漂移现象;最后,优化自适应模型池的模型合并方法,提升在线异常识别能力.实验结果表明,相比自动编码器模型的流变体和原自适应模型池算法,提出的算法在异常检测精度指标上分别提升了20.2%和5.83%,同时,最佳精度指标高于现有在线异常检测算法约16.7%.

沿海声层析数据在印尼巴厘海峡的同化研究

沿海声层析(Coastal Acoustic Tomography,简称CAT)是利用高频声信号实现近海大范围流场观测的有效手段,但其直接观测范围仍然有限。海洋数值模式提供了一种存在仿真误差的大范围海洋背景场,将CAT观测结果与海洋背景结果同化,可以提高流场结果的分辨率和准确度。本文提出一种利用流函数拟合海洋模式流场结果并使用集合卡尔曼滤波算法同化CAT数据的方法,获得更大范围的海洋水平二维流场结果。同化研究以非结构化网格有限体积海洋数值模式(Finite-Volume Community Ocean Model,简称FVCOM)作为背景场,以2016年6月1日至3日在印度尼西亚巴厘海峡(Bali Strait)进行的4站CAT实验作为观测数据。经过背景场流函数拟合和CAT数据同化,获得巴厘海峡二维流场。同化结果分别与同期观测结果和潮位数据对比,发现流函数拟合同化后的流场能更准确地描述巴厘海峡涨落潮和流量情况,通过引入CAT数据与流场的函数关系,可以有效地降低海洋模式的误差和原观测数据的稀疏性。

不确定性数据管理技术研究综述

随着数据采集和处理技术的进步,人们对数据的不确定性的认识也逐步深入.在诸如经济、军事、物流、金融、电信等领域的具体应用中,数据的不确定性普遍存在.不确定性数据的表现形式多种多样,它们可以以关系型数据、半结构化数据、流数据或移动对象数据等形式出现.目前,根据应用特点与数据形式差异,研究者已经提出了多种针对不确定数据的数据模型.这些不确定性数据模型的核心思想都源自于可能世界模型.可能世界模型从一个或多个不确定的数据源演化出诸多确定的数据库实例,称为可能世界实例,而且所有实例的概率之和等于1.尽管可以首先分别为各个实例计算查询结果,然后合并中间结果以生成最终查询结果,但由于可能世界实例的数量远大于不确定性数据库的规模,这种方法并不可行.因此,必须运用排序、剪枝等启发式技术设计新型算法,以提高效率.文中介绍了不确定性数据管理技术的概念、特点与挑战,综述了数据模型、数据预处理与集成、存储与索引、查询处理等方面的工作.

支持大规模流数据处理的在线MapReduce数据传输机制

针对流数据规模参差不齐、流量动态变化且突发性较强的特点,提出一种可伸缩的动态MapReduce计算模型,支持大规模动/静态数据在线处理.基于Event推送方式,利用Netty底层异步通信方式等技术,建立在线MapReduce数据传输机制,进一步实现其原型程序,解决了大规模分布式计算程序的快速在线传输和数据分发等问题,支持流数据动态分发机制,为动态MapReduce模型提供支撑.与HadoopOnline系统的传统Socket管道传送方式相比,该方法能有效提高作业之间数据的传送效率,从而提高大规模流数据处理的实时性.

城市地理空间框架建设技术体系研究

首先阐述了城市地理空间框架建设的背景,对数据内容进行了分析,总结了建设目的。分析了关键技术,提出了兼顾传统技术和产品,以数据应用需求为目标,以数据模型为核心和以数据流为主线的集成化技术体系。

基于高斯模型的不确定数据流Skyline查询方法

由于数据的动态性及不确定性等特征,使得不确定数据流上Skyline查询研究面临挑战.不确定对象一般采用多元概率密度函数(PDF)表示,现有的不确定数据流Skyline查询方法均采用离散型随机变量建模.然而不确定数据流中的对象可能是连续变化的,离散模型对连续性随机变量难以适用.针对连续PDF建模的不确定数据流Skyline查询进行了研究,提出了基于高斯模型的不确定数据流Skyline查询方法(SGMU),该方法包含2个过程:1)动态高斯建模算法(DGM):对滑动窗口采样并建立高斯模型,将原始的数据流转化为不确定对象PDF的参数流;2)提出了基于高斯树的查询算法(GTS)以建立空间索引结构和执行Skyline查询.实验结果表明,SGMU算法不仅能够对连续型不确定对象进行有效建模以辅助Skyline查询,而且能够有效地减少查询对象个数,提高Skyline查询效率.

基于少量类标签的概念漂移检测算法

传统的概念漂移数据流分类算法通常利用测试数据的真实类标来检测数据流是否发生概念漂移,并根据需要调整分类模型。然而,真实类标的标记需要耗费大量的人力、物力,而持续不断到来的高速数据流使得这种解决方案在现实中难以实现。针对上述问题,提出一种基于少量类标签的概念漂移检测算法。它根据快速KNNModel算法利用模型簇分类的特点,在未知分类数据类标的情况下,根据当前数据块不被任一模型簇覆盖的实例数目较之前数据块在一定的显著水平下是否发生显著增大,来判断是否发生概念漂移。在概念漂移发生的情况下,让领域专家针对那些少量的不被模型簇覆盖的数据进行标记,并利用这些数据自我修正模型,较好地解决了概念漂移的检测和模型自我更新问题。实验结果表明,该方法能够在自适应处理数据流概念漂移的前提下对数据流进行快速的分类,并得到和传统数据流分类算法近似或更高的分类精度。

实时数据流管理技术研究

数据流技术是一种正在兴起的新型数据管理技术,在传感器网络、实时监控、实时监测分析等众多关键任务领域具有广泛的用途。本文讨论了实时数据流的特点和关键技术,综述了三个典型数据流系统,介绍了RealStream数据流管理系统的设计思想。

基于数据流的滑动窗口机制的研究

传统的关系数据库是在持久稳定的数据集合上进行数据查询,而数据流的长度是无界的,不可能将所有的数据存储下来,因此对数据流的查询处理大多采用了持续查询。对数据流进行持续查询时,往往感兴趣的不是所有的数据而是最近到达的部分数据,这样就引入滑动窗口模型。定义滑动窗口语义是数据流管理系统中一个非常基础性的工作,直接关系到数据流的存储和查询的执行效率。针对滑动窗口的模型和语义进行了研究。

基于Hole-Filler模型的XML流数据剪切分片技术

对基于Hole-Filler模型的XML流数据剪切分片问题,首先利用XML文档的Document Object Model(DOM)结构,根据节点扇出度提出了基于DOM的XML流数据剪切分片策略及其算法.然后,在此基础上,对标签结构进行剪切以确定文档的剪切点,提出了基于标签的XML流数据剪切分片算法,有效地减少了节点扇出度与阈值的比较次数.最后,提出了优化的剪切策略,根据阈值与节点扇出度的比值对XML子树加以整合,以减少碎片的产生.实验结果表明,XML剪切算法在剪切时间、分片粒度等方面都有较好的性能.

一种基于多时间粒度的数据流建模方法

在很多领域中,越来越多的数据以数据流的形式存在于各种应用当中,这些数据的特点是实时的、连续的、时变的、快速的。由于这些特点,在数据处理方法上引入了很多挑战性问题。本文重点从多时间粒度的角度研究了数据流建模问题,提出了多时间粒度的数据流滑窗建模方法,采用层次窗口模型对数据流进行描述,有效解决了Ad-Hoc查询中的历史数据管理问题。

数据流层次窗口模型及聚集查询算法

本文提出了一种多层次时间窗口模型,支持在不同时段对数据流进行不同粒度的建模,并给出了多粒度聚集树结构及其数据流聚集查询算法,从而有效地解决了在有限时空条件下的数据流聚集查询问题。

基于仿射传播的进化数据流在线聚类算法

为提高数据流聚类的精度和时效性,提出一种具有时态特征与近邻传播思想的高效数据流聚类算法(TCAPStream).该算法利用改进的WAP将新检测到的类模式合并到聚类模型中,同时利用微簇时态密度表征数据流的时态演化特征,并提出在线动态删除机制对微簇进行维护,使算法模型既能体现数据流的时态特征,又能反映数据流的分布特性,得到更精确的聚类结果.实验结果表明,该算法在多个人工数据集和真实数据集上不仅具有良好的聚类效果,而且具有较好的伸缩性和可扩展性.

分布式数据流聚类算法

针对分布式数据流中数据有交叠、不完整的情况和聚类需要较低通信代价的要求,提出了密度和模型聚类思想相结合的分布式数据流聚类算法DAM-Distream。该算法利用混合高斯模型描述数据流的分布概况,可以有效压缩数据量并能较好的反映分布数据流间的交叠性。由于获得模型参数的EM算法对初值敏感,应用Hoeffding界理论和基于密度的算法对数据流进行初聚类,得到比较准确的初始参数,最后采用合并近似模型策略获得全局模型。仿真实验结果表明,DAM-Distream能有效克服EM算法的缺点,获得的模型参数性能更优,在降低系统的通信代价的同时能提高分布式环境下数据流的聚类质量。

数据流连续查询处理技术的研究

数据流查询处理技术的研究是目前数据库研究领域的热点问题.传统的数据库技术不能处理诸如网络监测、传感器网络、股票分析等应用中所生成的新型数据,即数据流.数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝、规模宏大和不可预测的特点;其研究核心是在一个远小于数据规模的有限存储空间迅速获得近似查询结果.综述关于数据流查询处理技术的研究成果,主要介绍数据流模型、查询的特征、数据流近似查询操作算法的实现以及数据流系统中的查询处理方法.

基于时间衰减模型的数据流频繁模式挖掘

频繁模式挖掘是数据流挖掘中的重要研究课题.针对数据流的时效性和流中心的偏移性特点,提出了界标窗口模型与时间衰减模型相结合的数据流频繁模式挖掘算法.该算法通过动态构建全局模式树,利用时间指数衰减函数对模式树中各模式的支持数进行统计,以此刻画界标窗口内模式的频繁程度;进而,为有效降低空间开销,设计了剪枝阈值函数,用于对预期难以成长为频繁的模式及时从全局树中剪除.本文对出现在算法中的重要参数和阈值进行了深入分析.一系列实验表明,与现有同类算法MSW相比,该算法挖掘精度高(平均超过90%),内存开销小,速度上可以满足高速数据流的处理要求,且可以适应不同事务数量、不同事务平均长度和不同最大潜在频繁模式平均长度的数据流频繁模式挖掘.

多阶段过滤的P2P僵尸网络检测方法

提出基于流分析的P2P僵尸网络检测方法。首先基于节点连接分布性和突发性特征过滤掉非P2P节点,进而根据P2P节点对间连接度和流量的对称度,采用K均值聚类以发现各个P2P群,最后基于各P2P群内节点的流行为相似性检测是否为P2P僵尸网络。在局域网环境中的实验表明,该检测方法能够有效识别各种P2P僵尸网络,提高了检测效率和精度。