工业多元时序数据质量评估方法

现有的数据质量评估(DQA)方法通常只从特定数据质量维度(DQD)的基本概念分析,忽略了能够反映数据质量(DQ)关键信息的细粒度的子维度对评估结果的影响。针对上述问题,提出一种工业多元时序数据质量评估(IMTSDQA)方法。首先,对于待评估的DQD,如完整性、规范性、一致性、唯一性和准确性等进行细粒度划分,考虑同一DQD内或不同DQD间各子维度的相关性以确定这些子维度的度量;其次,对完整性的属性完整性、记录完整性、数值完整性,规范性的类型规范性、精度规范性,一致性的顺序一致性、逻辑一致性,唯一性的属性唯一性、记录唯一性,准确性的范围准确性、数值准确性等子维度进行权重分配,进而充分挖掘DQD的深层次信息,从而获得反映DQ详情的评估结果。实验结果表明,与现有的基于框架定性分析、依据DQD基本定义构建模型的方法相比,IMTSDQA能更详细、更全面地评估DQ,且不同DQD的评估结果更能客观准确地反映DQ问题。

Conv-WGAIN:面向多元时序数据缺失的卷积生成对抗插补网络模型

油浸式变压器的油色谱数据是一种多元时序传感数据,设备或网络失误往往会导致数据缺失,通常需要通过插补形成完整数据集,才能用于进一步的业务分析研究。但是,现有的插补模型无法面向多元时序数据同时处理因时间不均匀性和时间双向性带来的插补效率低和效果难以保障的问题,对此提出一种名为Conv-WGAIN的生成对抗插补网络模型,通过构建的插补特征图,可利用二维卷积从前后2个方向学习时间特征,处理时间间隔不均匀的数据;在判别器中引入Wasserstein距离来判别生成插补数据与真实观测数据,提升了生成器的稳定性。在真实项目中的油色谱数据集和3个公开数据集上的实验表明,该模型在多元时序缺失数据上具有普遍适用性,而且在不同的缺失率下的插补结果要优于其他对比模型的,RMSE降低了20.75%~73.37%。

面向多元时序数据的个性化联邦异常检测方法

随着实时传感器在诸如机场、发电厂、智能工厂和医疗保健系统等各种领域的广泛运用,对多变量时间序列数据的异常检测变得更加重要。然而,目前面临两个关键的挑战。数据机构的敏感数据通常以孤岛的形式存在,这使得在保护隐私安全的前提下难以融合数据,无法训练出高性能的异常检测模型。不同数据机构的数据存在统计异构性,在个性化数据场景下,使用统一的异常检测模型的性能不佳。提出了一种面向多元时序数据的个性化联邦异常检测框架FedPAD(federated personalized anomaly detection)。FedPAD基于联邦学习架构,在保护隐私的前提下进行数据聚合,通过微调构建相对个性化的模型。在NASA航天器数据集上的实验表明,FedPAD能够实现准确和个性化的异常检测,相比于基准方法F1分数平均提高了6.9%。

结合重构和图预测的多元时序异常检测框架

高维时序异常检测一直是智能系统安全领域的重要挑战,主流解决方案通常使用基于数据降维的重构方法和基于时序建模的预测方法,但这些方法没有结合特征间相互影响和特征内时间关联进行学习,且大多使用点估计方法进行预测或重构,从而影响了异常检测的准确性。结合预测和重构的优点,考虑序列的整体分布,提出了一种新颖的端到端异常检测框架。设计改进的变分自动编码器重构模块,以学习原始时序数据中的特征内时间关联,同时得到编码后的低维表示。设计估计高斯分布的图神经网络预测模块,结合重构模块的低维表示和原始输入进行图结构学习,以捕捉特征间的结构依赖。模型采用异常评分模块联合重构和预测模块的损失,在考虑序列整体分布的基础上进行时空联合表征。为验证所提出模型的性能,在三个工业数据集上对模型进行了对比实验,与基线模型相比,所提出的模型在F1性能指标上表现良好。

基于特征再抽象(FRA)的多元时序预测方法

科技领域的衍生行业因普遍存在强时间约束的特性而累积了海量的高维时间序列数据,严峻的数据压力导致传统的数据建模预测方法受制于数据规模和属性维度。支撑高质量的服务对大数据智能预测技术提出了更高的要求,如何在数据层面上实现预测性能的提升是现阶段亟待解决的主要问题。针对上述问题,提出了针对多元时序数据的特征再抽象(Feature Re-Abstraction,FRA)算法,首先通过RobustSTL分解算法提取趋势性和季节性特征(Trend and Seasonality Features,TSFs),实现多元数据的特征二阶抽象,以“抽象即特征”替代传统“标签即特征”的提取策略,再通过Pearson相关系数的运算结果评估再抽象技术捕捉的TSFs与目标参数间的相关强度,证实TSF的数据价值。在FRA算法的基础上结合深度学习模型构建基于数据驱动的多元时序预测算法,通过预测效果验证FRA算法的有效性。实验结果表明,引入TSFs作为数据驱动模型的训练向量能够兼具数据降维、降噪及强相关特性地维持,从而避免模型过拟合并缓解模型欠拟合,提高时序预测算法的准确性和鲁棒性。

基于并行自注意力的石窟寺岩体裂隙发育研究

针对石窟寺岩体裂隙发育缓慢、影响因素多样化,难以对裂隙发育情况进行预测的问题,提出了一种新的基于深度学习的岩体裂隙发育预测网络(FDPNet:Fracture Development Prediction Network),即并行自注意力机制混合网络。FDPNet通过局部卷积模块和全局循环模块对序列数据的时间相关性进行建模,使模型能准确捕捉到不同时间尺度的时间模式。同时通过引入自注意力机制对多元时序数据中不同序列之间复杂的依赖关系进行建模。在此基础上,利用传统的自回归模型进一步提高模型的鲁棒性。此外,以Q市北石窟寺32号窟6个月的裂隙发育相关因素监测数据构建了国内外首个该领域的数据集。在该数据集上进行的对比实验结果表明,该模型在石窟寺岩体裂隙发育预测场景下具有更好的性能表现。