基于上下文感知实体排序的缺失数据修复方法

大数据环境下,数据缺失现象十分普遍,导致许多基于数据的决策出现偏差.传统的数据库缺失值修复方法主要是利用本地数据库来修复数值型数据,这些方法并不适用于利用互联网数据来修复数值型和非数值型数据.基于互联网的缺失值修复过程一般包括生成查询、检索文档集、抽取实体、实体排序4个步骤,其中候选实体的排序决定了最终用于修复数据库的信息.现有的利用互联网数据来修复缺失数据的研究主要集中在两个方面:一是提升查询和抽取的质量,然后对抽取的候选实体按频率进行排序;另一种是分析目标实体应该具有的特征,然后对候选实体计算特征值,最后用权值叠加进行排序.这两类方法都只是考虑了实体自身的因素,而忽略了实体之间的影响.文中针对候选实体的排序建立了图模型,基于该图模型提出了上下文相关的实体排序算法CER(Contextaware Entity Ranking),该算法能够把候选实体在网页中的上下文特征充分利用起来并用实体间的影响来推断新信息,从而得到更准确的排序结果.基于真实数据集的实验结果表明,相较于频率统计和权值叠加的实体排序算法,CER算法能利用互联网的海量数据对关系数据库中的缺失值进行更加有效的修复.

基于LSTM的短时高速公路交通量预测

高速公路交通量预测中原始数据存在大量缺失值,为了挖掘高速公路交通量时间序列中的更多信息,提高交通量预测的精度,构建了缺失值修复方法、Dropout以及长短时记忆网络(long short term memory, LSTM)相结合的高速公路流量混合预测模型。通过缺失值修复方法对高速公路流量数据进行数据修复;在LSTM网络中非循环的部分加入Dropout机制来减少过拟合情况;通过实测交通量数据进行实验,实验结果表明考虑缺失值修复的Dropout-LSTM的高速公路流量预测模型相较于LSTM及常用高速公路预测模型,预测精度更高,验证了该模型在短时高速公路交通量预测中的有效性。

基于生成式对抗网络的多维时间序列补插研究

随着传感器和物联网的广泛应用,大量的多维时间序列被收集。然而,由于传感器损坏、环境变化和机器故障等不同原因,在多维时间序列中存在着许多缺失值,这些缺失值给多维时间序列的下游应用及分析带来了进一步挑战。为此,本文提出了一种基于生成式对抗网络的多维时间序列缺失值补插算法。具体来说,我们使用自编码器作为生成式对抗网络的生成器,循环神经网络作为生成式对抗网络的判别器。利用生成式对抗网络强大的生成能力对多维时间序列数据中的缺失值进行修复。此外,在自编码器的结构中引入注意力机制,使得自编码器在进行缺失值修复时,不但能够考虑到其他维度对该缺失值的影响,还可以直接为重要信息分配更大的权重比例,使得自编码器在修复缺失值时能够更加关注这些重要信息,从而使得修复的缺失值更加准确。通过在PhysioNet数据集上的实验证明,本文提出的方法在多维时间序列缺失值补插方面具有优越的性能。

基于深度森林算法的异常用电行为检测方法

面对当前使用的逻辑回归、模糊聚类检测方法在异常用电行为数据持续增加情况下,出现的检测精准度低的问题,提出了基于深度森林算法的异常用电行为检测方法。构建基于深度森林的异常用电特征采样模型,预处理原始样本数据,消除遗漏数据。采用插值方法修复缺失值,并提取完整异常用电行为特征量。训练样本,减少拟合风险,使用深度森林算法,确定用电行为异常指数,并分类异常用电行为。由实验结果可知,该方法检测到的分时电量数据均与实际数据一致,当误检率为0.2时,检测率为0.05,具有精准检测结果。