基于上下文生成对抗网络的时间序列异常检测方法

时间序列的异常检测是网络服务保障、数据安全检测、系统监控分析等应用中所依赖的一项关键技术。为解决在实际场景的时间序列异常检测中由于时间序列上下文的模糊性、数据分布的复杂性以及异常检测模型的不确定性所带来的异常检测结果的有效性、合理性、稳定性等不足的问题,本文提出了一种新的基于上下文生成对抗网络的时间序列异常检测方法AdcGAN。首先,通过处理历史数据,提取用于生成时序数据的条件上下文;然后,采用条件生成对抗网络的设计策略,使用条件上下文,构建上下文生成对抗网络,实现对任意时刻数据的条件分布预测,同时AdcGAN采用Dropout近似模型不确定性,使用概率分布代替点估计作为预测结果;接着,从观测的差异(用期望偏差表示)和模型的不确定性(用预测方差表示)两个方面来衡量异常;最后,提出基于数据统计信息的异常阈值自动设置方法,减少手动调节的参数量。实验结果表明,与同类基准算法进行对比,在NAB数据集中的47个真实时序数据上,本文提出的AdcGAN可以有效地检测出时序数据中的异常,在大多数评价指标上都优于其他基准方法,并且具有更好的稳定性。

基于谱残差方法的工业互联网时间序列异常检测

谱残差算法是一种针对图像显著性检测的算法,也可用于无监督时间序列的异常检测。从频域变换、平滑算法、去除季节性影响、阈值自适应调节等多个环节研究针对谱残差算法的改进,提出一种基于谱残差算法的多变量时间序列异常检测方法。实验证明,所提出的改进可以提高异常检测的准确率,去除环境因素造成的季节性影响,且检测异常用时优于已有算法。另外,所提算法可以根据实际需要,自适应调节异常判定阈值。为了适应工业系统常出现的多变量时间序列数据,在谱残差算法的基础上结合用于处理多变量数据的独立成分分析算法,使算法适用于多变量时间序列。实验表明,谱残差算法与独立成分分析结合的算法能够应用于工业系统的异常自动检测,并且可以保证算法所需的准确性和实时性。

基于移相加权球面单簇聚类的周期时间序列异常检测

针对传统的单分类器不适用于周期时间序列的异常检测,提出了一种基于移相加权球面单簇聚类的单分类器PS-WS1M-OCC.通过在聚类过程中增加高效的循环移位操作,解决了时间序列记录之间相似度计算的问题.另一方面,基于时间序列记录的权重分布,提出了新的阈值自适应确定方法,从而使单分类器对训练集包含的异常数据和参数设置不敏感.实验表明,本文提出的单分类器可以用于周期时间序列的异常检测;与传统的单分类器相比,可以成功地从包含异常数据的训练集中进行无监督学习,对训练集包含的异常数据鲁棒,并且对参数不敏感.

采用分段特征表示的异常序列检测算法

时间序列的有监督异常检测方法通常依赖于数据的标签,不仅会消耗大量时间进行数据标注,而且难以适用于无法给定标签的数据集。为解决异常序列检测中的标注问题,提出一种采用分段特征表示的异常序列检测方法。该方法采用分段聚合思想对时间序列进行标准化计算,并得到时序数据的特征表示,可提高无标签时间序列异常检测的可靠性。将表示后的特征划分为异常序列相关特征和无关特征,剪枝异常序列无关特征,可减少这些特征对检测结果的不利影响。为有效量化不同序列之间的差异性,提出一种面向时间权重分析的时间序列相似性度量方法,并构建时间序列的相似度矩阵,用于计算序列之间的相似度,可适用于无标签的时间序列中。在此基础上,根据相似度矩阵来计算每个子序列的异常分数,将其用于异常子序列的判定。通过合成数据集和真实数据集的实验对比表明:该方法节省了计算开销,提高了算法运行的时间效率和异常序列检测的准确率。

基于集成LSTM-AE的时间序列异常检测方法

针对基于LSTM-AE(长短期记忆自编码器)的时间序列异常检测方法在异常检测阶段对正常序列和异常序列的重建误差不能明显分化,致使重建误差在阈值附近的序列无法正确判断正常与异常的问题,提出一种集成LSTM-AE框架——LAEE(长短期记忆自编码器集成框架).将训练阶段拆分为预训练和预检测两个阶段,在预训练阶段训练多个隐层维度不同的LSTM-AE,通过预检测阶段的表现挑选基检测器,并计算其各自权重;在异常检测阶段,通过对每个基检测器产生的重建误差进行加权集成获得新的重建误差矩阵,进行异常识别.通过在两类数据集上的实验结果表明:所提方法使得检测目标正常序列与异常序列重建误差分化程度加大,提高了异常检测精度.

针对异常序列检测的非法入侵识别算法

针对非法入侵带来的室内安全隐患,聚焦于目前应用广泛的Wi-Fi技术,首次设计提出了一种通过学习合法用户的行为习惯,再进行异常序列检测进而甄别非法入侵者的识别算法。对收集到Wi-Fi信号的CSI特征值进行去噪和信号分段,使用隐马尔科夫模型对用户的行为建模。根据模型输出的概率不断调整判断的阈值,使学习训练的模型随着时间的推移越来越符合用户的行为特征。实验结果表明检测准确率可以达到93.4%,达到了实时准确检测的目的。

基于PSO-SVM的Modbus TCP通讯的异常检测方法

如何有效检测和防御工业病毒对应用层协议数据的攻击是目前工业安全网关研究的难点问题.本文提出了将Modbus TCP通讯流量转换为异常检测模型所需数据形式的预处理方法,设计了一种利用粒子群PSO算法进行参数寻优的PSO-SVM算法.该方法根据Modbus功能码序列中的模式短序列出现的频率,识别出异常的Modbus TCP通讯流量.最后,通过实验数据分析,说明了提出方法可以有效实现对Modbus功能码序列的异常检测.

基于滑动窗口和聚类算法的变压器状态异常检测

在线监测数据在变压器运行状态中发挥出重要角色,而传统的异常状态检测一般基于阈值判定法,难以及时发现变电设备的异常情况,甄别噪声数据。针对上述问题,根据变压器在线监测数据中异常值特点,提出了一种基于滑动窗口和聚类算法的变压器状态异常检测方法。首先,利用时间序列和滑动窗口对多维的在线监测数据流进行筛选,记录异常点的发生时间和类型,建立候选异常数据集合的判断模型;其次,基于无监督的k-means聚类方法建立多元特征量数据点的异常检测模型,并用于在线监测实时数据的异常检测,判断异常时刻与异常类型。通过某变电站的油中气体数据对本文算法进行了验证,结果表明,该方法可以实时检测在线监测数据流中因运行状态变化而产生的趋势异常,并祛除少量传感器噪声或突变值的影响,具有较高的实用价值。

Linux进程行为的模式提取与异常检测

Linux进程可由一系列的系统调用序列来表征, 因此,通过分析进程的系统调用序列可以分析进程的行为模式。 本文利用ART1网络对进程的系统调用序列进行模式提取, 据此进行异常检测, 并以实验数据初步验证了该方法的可行性。

利用跟随周期均值显著化序列异常数据的学习算法

针对工业控制中硬件存储空间、计算性能极为有限,无法应用计算机可运行的异常序列数据检测算法,以及常见可用算法比较复杂的问题,提出了一种利用跟随周期均值显著化序列异常数据的学习算法。首先,对序列数据预处理,利用有异常位置标记的序列集,可以得到最优周期T和周期均值差值阈值Dmax;其次,按照周期T分组检测序列,求出最近两组均值的差值,差值超过阈值时可判断出现异常。算法在学到参数后,判断异常过程所需存储空间和运算量很少,实验结果表明此算法对序列异常数据有显著化分离作用,在实际工程中抗干扰能力好,可有效减少异常点的误判率。

基于深度学习的时间序列数据异常检测方法

针对类间分布不平衡的时间序列数据的异常检测问题,提出了一种基于深度卷积神经网络的检测方法.首先采用抽样法对不平衡时间序列数据进行预处理;其次,将处理后的时间序列数据转换为尺度一致、时长一致的片段;最后将数据送入具有4层隐藏层结构的卷积神经网络模型中进行异常检测.实验结果表明,所提方法弥补了现存的检测技术由于忽略数据分布的偏斜性而造成的少数类检测精度低的缺点,并通过与现有的时间序列分类方法的比较,验证了所提方法的高效性.

基于马尔可夫动态编码的谷歌图书语料库质量方法

语料库是自然语言处理任务的关键,谷歌图书语料库是迄今为止最大的历时语料库,被广泛应用于从时间、空间维度上评估学科、语言甚至是文化等领域在社会发展中的现象和规律,但因其构建过程中的识别问题、元数据问题等原因被很多学者质疑。目前常见的处理方法主要是从语料库中提取所有可能的数据和从原数据进行预处理,这些方法耗时且费力。本文提出将语料库噪声问题转化为时间序列异常检测问题,使用传统的时间序列模型和马尔可夫动态编码去实现时间序列异常检测。实验结果表明,马尔可夫不仅可以保存时间相关性和频率结构,而且提供了一种自然的反向操作——将图形映射回时间序列,克服了传统时间序列模型的缺点,最终有效地解决了语料库的局部质量对齐问题。

海洋信息管理系统的设计与实现

为了解决海洋数据的多源异构问题,使用户对大量复杂的海洋数据进行有效管理,设计并实现一套海洋信息管理系统。首先介绍系统的体系结构,然后对各模块进行详细的阐述,并对海洋数据进行了详细的分析。针对海洋数据存在数据不一致、数据空缺和数据冗余等问题,使用基于累积变化量的时间序列异常检测方法,有效检测出海洋数据中的异常点,再对异常点进行修正,保证了海洋数据的质量,从而建立一套完善的海洋信息管理系统,使得海洋相关部门的业务流程更加科学化和规范化。

Traffic An o ma ly De te ctio n in Backbone Networks Using C la s s ifica tio n o f M u Itid ime n s io n a I Time Series of Entropy

Detecting traffic anomalies is essential for diagnosing attacks. HighSp eed Backbone Net works （HSBN） require Traffic Anomaly Detection Systems （TADS） which are accurate （high detec tion and low false positive rates） and efficient. The proposed approach utilizes entropy as traffic distributions metric over some traffic dimensions. An efficient algorithm, having low computational and space complexity, is used to estimate entro py. Entropy values over all dimensions are