基于上下文生成对抗网络的时间序列异常检测方法

时间序列的异常检测是网络服务保障、数据安全检测、系统监控分析等应用中所依赖的一项关键技术。为解决在实际场景的时间序列异常检测中由于时间序列上下文的模糊性、数据分布的复杂性以及异常检测模型的不确定性所带来的异常检测结果的有效性、合理性、稳定性等不足的问题,本文提出了一种新的基于上下文生成对抗网络的时间序列异常检测方法AdcGAN。首先,通过处理历史数据,提取用于生成时序数据的条件上下文;然后,采用条件生成对抗网络的设计策略,使用条件上下文,构建上下文生成对抗网络,实现对任意时刻数据的条件分布预测,同时AdcGAN采用Dropout近似模型不确定性,使用概率分布代替点估计作为预测结果;接着,从观测的差异(用期望偏差表示)和模型的不确定性(用预测方差表示)两个方面来衡量异常;最后,提出基于数据统计信息的异常阈值自动设置方法,减少手动调节的参数量。实验结果表明,与同类基准算法进行对比,在NAB数据集中的47个真实时序数据上,本文提出的AdcGAN可以有效地检测出时序数据中的异常,在大多数评价指标上都优于其他基准方法,并且具有更好的稳定性。

基于序列生成对抗网络的智能模糊测试方法

漏洞的数量增长以及超危、高危等高度危害漏洞的大量出现使得网络安全形势面临着极大挑战,模糊测试作为主流的安全测试手段被广泛应用.测试用例生成作为核心步骤直接决定了模糊测试效果的优劣,然而传统的基于预先生成、随机生成以及变异策略的测试用例生成方法面临着覆盖面低、人工成本高、质量低下等瓶颈问题,如何生成高质量、高可用、完备的测试用例是智能模糊测试的难点问题.针对于此问题,提出一种基于序列生成对抗网络(SeqGAN)模型的智能模糊测试方法,结合强化学习的思想将测试用例生成抽象为普适的非定长离散型序列数据的学习和近似生成问题,创新性地在生成器部分增加可配置的嵌入层来规范生成,并采用动态权重调整的方式从真实性和多样性2个维度设计奖励函数,最终实现自动化、智能化地构造全面、完备、可用的测试用例集,以达到灵活、高效的智能模糊测试的目标.从有效性和通用性2个层面分别对所提方案进行了验证,在4种不同测试目标下平均95%以上的测试用例通过率以及平均10%的目标缺陷检测能力充分证明了方案的通用性,在4种不同方案对比下98%的测试用例通过率、9%的目标缺陷检测能力以及单位时间内2万条可用测试用例的生成能力充分证明了方案的有效性.

基于生成式对抗网络的自监督多元时间序列异常检测方法

异常检测是数据挖掘的重要研究方向之一.工业设备的各项指标以多元时间序列的形式被传感器监测,多元时间序列的异常检测对保障安全和提高服务质量至关重要,但是异常的定义相对模糊,具有异常标签的数据很稀少.此外,多元时间序列具有复杂的时间依赖性和随机性,使异常检测存在许多问题.提出CPCGAN模型,使用自监督学习的方法对多元时序数据进行异常检测.首先使用对比学习的方法得到多元时序数据的表示向量,再将具有先验信息的表示向量作为输入用来训练生成式对抗网络,通过生成式对抗网络的重构误差来确定异常.在五个数据集上与五种无监督异常检测方法进行对比,实验结果证明提出的方法能有效地检测两类异常,并且,在大多数数据集上的表现更好.

融合CNN和二进制生成对抗网络的多元时间序列检索

多元时间序列在日常生活中普遍存在,给定当前的时间序列片段,如何高效且精确地从历史时间片段中找出其相似的时间片段极为重要.本文提出了一种全新的基于CNN和深度非监督二进制生成对抗网络(UCBGAN)来进行多元时间序列检索,它可以有效地获取多元时间序列的二进制表示.该网络由3部分构成—一个解码器,一个编码器和一个鉴别器,其中鉴别器和编码器除了最后一层外,共享参数.此外,本文引入了时序相似矩阵,通过构建时序相似矩阵,能进一步提高二进制编码的可鉴别性.在训练过程中,本文引入了对抗损失,相似对损失和重构损失.在多个数据集上的实验结果表明,该方法能有效提高多元时间序列检索的准确度.所以,该方法对于多元时间序列检索是有效的.

基于生成式对抗网络的多维时间序列补插研究

随着传感器和物联网的广泛应用,大量的多维时间序列被收集。然而,由于传感器损坏、环境变化和机器故障等不同原因,在多维时间序列中存在着许多缺失值,这些缺失值给多维时间序列的下游应用及分析带来了进一步挑战。为此,本文提出了一种基于生成式对抗网络的多维时间序列缺失值补插算法。具体来说,我们使用自编码器作为生成式对抗网络的生成器,循环神经网络作为生成式对抗网络的判别器。利用生成式对抗网络强大的生成能力对多维时间序列数据中的缺失值进行修复。此外,在自编码器的结构中引入注意力机制,使得自编码器在进行缺失值修复时,不但能够考虑到其他维度对该缺失值的影响,还可以直接为重要信息分配更大的权重比例,使得自编码器在修复缺失值时能够更加关注这些重要信息,从而使得修复的缺失值更加准确。通过在PhysioNet数据集上的实验证明,本文提出的方法在多维时间序列缺失值补插方面具有优越的性能。

基于反向延长增强的对抗生成网络推荐算法

针对现有序列推荐模型因数据稀疏性严重难以达到最优性能的问题,提出了一种基于反向延长增强的生成对抗网络推荐算法。该方法通过对交互序列进行延长增强来获取高质量的训练数据,以缓解数据稀疏性带来的模型训练不充分的问题。首先,使用伪先验项将项目序列进行反向延长,深化项目序列特征;其次,延长增强的对象由短序列更改为所有用户序列,充分挖掘长序列中富含的上下文信息,缓解了增广序列中伪先验项占比过大而带来的噪声问题;最后,使用共享项目嵌入的生成对抗网络,通过判别器与生成器联合训练以提高模型推荐性能。在三个公开数据集上的实验结果表明,所提模型的命中率(HR@N)和归一化折损累计增益(NDCG@N)相较于最优基线ELECRec平均提升30%,验证了反向延长增强对挖掘序列特征和缓解数据稀疏性的有效性。

基于对抗策略类别特定的多样性时间序列shapelets提取

在时间序列分类任务中,通过提取时间序列的shapelets进行分类的方法因分类准确率高且具有良好的可解释性而受到广泛关注。针对现有方法学习到的shapelets是所有类共享,可以区分大多数类但不能准确地区分某一类和其他类,以及使用对抗策略的模型生成的shapelets存在多样性不足等问题,提出了一种基于对抗策略类别特定的多样性时间序列shapelets提取方法。该方法将类别信息嵌入时间序列,采用多生成器模块对抗地生成多个有差别的类别特定shapelets,再通过施加差异约束来提高shapelets的多样性,最后使用shapelet转换得到的特征对时间序列进行分类。在36个时间序列数据集上与5种基于shapelets的算法和11种先进的分类算法进行实验对比,实验结果表明,所提方法分别在36个数据集中的26个和20个数据集上取得了最优结果,且均取得了最高的平均秩,平均分类准确率相比其他方法最少提高了2.4%,最多提高了17.8%。消融性分析以及可视化分析验证了多样性和类别特定的思路在时间序列分类上的有效性。

基于生成对抗网络与特征融合的多尺度音频序列生成方法

音频数据规模不足是语音识别过程中的一个常见问题,通过较少的训练数据训练得到的语音识别模型效果难以得到保证。因此,提出一种基于生成对抗网络与特征融合的多尺度音频序列生成方法(multi-scale audio sequence GAN,MAS-GAN),包含多尺度音频序列生成器和真伪—类别判别器。生成器通过3个上采样子网络学习音频序列不同时域和频域的特征,再将不同尺度的特征融合成伪音频序列;判别器通过辅助分类器将生成的伪数据和真实数据区分开,同时指导生成器生成各类别的数据。实验表明,与目前主流的音频序列生成方法相比,所提方法的IS和FID分数分别提高了6.78%和3.75%,可以生成更高质量的音频序列;同时通过在SC09数据集上进行分类实验来评估生成音频序列的质量,所提方法的分类准确率比其他方法高2.3%。

融合生成对抗网络与时间卷积网络的普通话情感识别

为了探究声学与发音学转换对普通话情感识别的影响,提出融合声学与发音特征转换的情感识别系统.根据人体发音机制,录制普通话多模态音视频情感数据库.设计双向映射生成对抗网络(Bi-MGAN)来解决双模态间的特征转换问题,定义生成器损失函数和映射损失函数来优化网络.搭建基于特征-维度注意力机制的残差时间卷积网络(ResTCN-FDA),利用注意力机制自适应地为不同种类特征和不同维度通道赋予不同的权重.实验结果表明,Bi-MGAN在正向和反向映射任务中的转换精度均优于主流的转换网络算法;ResTCN-FDA在给定情感数据集上的评价指标远高于传统的情感识别算法;真实特征融合映射特征使得情感被正确识别的准确率显著提升,证明了映射对普通话情感识别的积极作用.

基于经验模态分解生成对抗网络的金融时间序列预测

生成对抗网络(GAN)在进行时间序列预测时存在预测精度不高、模型不稳定等问题。针对上述问题,提出经验模态分解生成对抗网络(EMD-WGAN)模型。该模型在保留WGAN-GP优点的基础上,由经验模态分解(EMD)与长短期记忆神经网络(LSTM)结合作为生成器,卷积神经网络(CNN)作为判别器;将WGAN-GP生成器损失函数与均方误差结合作为生成器的目标函数,以提高模型稳定性;基于2002年-2019年的沪深300指数对该模型的生成器和判别器进行对抗训练。通过与典型的金融时间序列预测方法对比,实验结果表明:该模型具有更小的预测误差。

SeqGANPass:使用序列生成式对抗网络进行口令猜测

为了破解用户口令并获取用户隐私信息,口令猜测工具应运而生.基于规则的口令猜测工具虽猜测成功率较高,但制定规则非常耗时且需要一定的专业知识.基于深度神经网络的口令猜测工具则需要大量的训练数据集来训练模型.基于此,本文提出了(Sequence Generative Adversarial Network Password, SeqGANPass),利用序列生成式对抗网络,针对口令数据集执行数据预处理操作,经由多轮对抗性训练过程训练口令生成器,以生成高质量的猜测口令.即使没有任何先验知识,SeqGANPass仍可以通过小规模训练集来实现口令破译.同时我们发现使用SeqGANPass可以大大提高基于规则的口令猜测工具的有效性.在实验中,我们与当前的主流口令猜测工具进行比较,如John the Ripper,Hashcat,Markov Model,上下文无关文法(Probabilistic Context Free Grammars,PCFG),FLA(Fast, Lean, and Accurate)和PassGAN等.实验表明,SeqGANPass的匹配率优于这些主流的口令猜测工具.

基于序列生成对抗网络的无人机集群任务分配方法

针对现有无人机集群任务分配算法在进行较大规模的任务分配时求解效率降低、求解时间大幅增加的问题,提出一种基于序列生成对抗网络的任务分配方法。通过构建包含战场信息特征提取网络和序列生成网络的序列生成模型,解决战场信息到任务分配序列的生成问题;构建基于多核多层卷积网络的判别模型,提出收益-评价双指导式策略梯度更新对模型进行训练,解决任务分配序列离散的问题,保证任务分配序列的质量。仿真结果表明,新方法在保证分配序列质量的情况下,能够高效地生成与战场信息对应的任务分配序列。

基于时间生成对抗网络的风电随机场景预测

由于风电出力的随机性和时间相关性,利用常规的短期点或区间预测方法所得到的风电数据,无法支撑高比例风电接入下电力系统的鲁棒调度和可靠运行。提出一种基于时间生成对抗网络(TimeGAN)的风电随机场景预测模型。首先,将风电样本分解为静态和时间序列数据,并搭建嵌入、复现、生成和判别网络结构;其次,以静态和时间序列数据为样本,联合训练嵌入和复现网络;最后,以嵌入网络输出为样本,对抗训练生成和判别网络,并将生成网络输出反馈至嵌入-复现训练以检验时间序列拟合效果。以最小化重构、有监督和无监督损失为目标,模型深度学习风电时间特性并预测随机场景。算例验证了所提模型的有效性。

基于多鉴别器生成对抗网络的时间序列生成模型

针对时间序列的隐私性和连续性导致时间序列数据集在收集过程中存在收集代价昂贵和数据缺失等问题,提出了一种基于循环神经网络的多鉴别器生成对抗网络模型,该模型能够利用小规模数据集合成得到与真实数据相似分布的时间序列数据集。多鉴别器包含时域、频域、时频域和自相关4种鉴别器,能够充分识别时间序列不同维度下的特征。在实验中,通过损失函数的收敛分析、主成分分析和误差分析,分别从定性和定量的角度对模型进行性能评估。结果表明,所提模型和其他参考模型相比具有更好的性能。

基于生成对抗Transformer的电力负荷数据异常检测

电力负荷异常数据将给电力系统规划、负荷预测以及用能分析等带来较大的负面影响,因此亟须对负荷数据异常进行检测与识别。首先,针对电力负荷数据异常分类、原因及其特征开展分析。其次,改进传统Transformer编码器结构,采用多头注意力层代替掩码多头注意力层,同时移除前馈网络,以提高模型对负荷时序序列的全局注意力。基于生成对抗网络(generative adversarial networks,GAN)生成器与判别器的博弈结构,提出一种改进的GAN-Transformer模型,以更好地捕捉趋势性特征并加速模型收敛。然后,引入多阶段映射与训练方法,综合焦点分数打分机制,通过分阶段负荷序列重构帮助模型更好地提取负荷数据异常特征。最后,算例分析结果表明,GAN-Transformer模型在负荷数据异常检测精确率、召回率、F_(1)值以及训练时间方面均具有更优的性能,验证了所提方法的有效性和优越性。文中研究工作为基于深度学习进一步实现电力负荷数据异常分类与数据修复提供了有益参考。

基于Transformer和GAN的多元时间序列异常检测方法

在时序数据分析中,异常检测是最为成熟的应用之一。它在量化交易、网络安全检测、自动驾驶和大型工业设备日常维护等现实领域广泛应用。随着业务组合的复杂性和时序数据量的增加,传统的人工和简单算法方法很难判断异常点。针对上述问题,对现有的检测方法进行了改进,提出了一种基于Transformer和生成式对抗网络(Generative Adversarial Networks,GAN)的时间序列异常检测模型,利用改进后的Transformer对时间序列的空间特征进行提取,并使用基于异常分数的异常检测算法和对抗训练以获得稳定性和准确性。模型采用自监督训练的方式,避免了需要手动标注异常数据的麻烦,同时减少了数据集对于监督模型训练的依赖。通过实验验证,本文提出的基于Transformer的时间序列异常检测模型在准确率上与先进的基于Transformer的模型相当,并且表现优于多元时间序列的大型数据集上的监督训练和传统异常检测方法。因此,该模型在实际应用中具有较好的潜力。

基于生成对抗网络多变量风电时间序列异常值处理

将孤立森林算法应用于风电数据的异常值检测,利用改进的GRUI神经单元基于WGAN网络进行缺失值插补。在内蒙古风电场的真实数据集上验证了所提方法的有效性,并与KNN、GAN等方法进行对比,验证了模型的有效性,具有更好的插补精度。

基于LSTM-WGAN的时间序列数据异常检测

在时序数据中发现隐藏的异常行为或事件,可以保障生产安全,具有重要意义。目前的异常检测模型存在训练不稳定、容易产生梯度消失的问题,影响异常检测效果,针对该问题,提出一种LSTM-WGAN模型,WGAN负责捕获变量之间的潜在关联,进一步提升了LSTM的检测能力。同时,以Wasserstein距离代替交叉熵损失训练判别器和生成器,结合重构损失以及判别损失实现异常检测。在NAB公开数据集上的实验结果表明LSTM-WGAN相较于基准模型在准确率、召回率以及F1得分上都有较大幅度的提升。

动态生成Shapelet的网络流量异常检测

当前网络流量异常检测方法大多针对流量特征集构建检测算法,为充分利用网络流量本身数据信息,降低对人为构建特征集的依赖,采用原始网络流量数据,基于对抗性动态Shapelet网络(ADSN),动态学习Shapelet时序特征,提出一种单尺度输入的ADSN(S-ADSN)流量异常检测方法。将网络会话流中用于建立连接的数据转换为时间序列,基于S-ADSN对原始流量序列样本动态学习和生成Shapelet时序特征,计算Shapelet与流量序列之间的距离向量并通过分类器判断流量类别。实验结果表明,所提方法能够动态获取具有辨识性的流量时序特征,具有可解释性和早期检测性优点,实现较高的恶意流量检测精度。

基于改进生成对抗网络的国产民机航材消耗预测方法

为解决航材消耗预测影响因素较多、时间相关性复杂、实际消耗样本少等问题,鉴于现有方法难以捕捉小样本航材消耗数据在时间顺序上的逐步依赖关系,提出了基于改进生成对抗网络生成模型和循环神经网络预测模型的航材消耗预测方法。该方法将自回归学习有监督训练与对抗学习无监督训练相结合,进一步挖掘航材消耗数据的潜在静态分布和时态逐步依赖分布,从而生成更加接近真实数据的样本,达到扩充样本量、提高航材消耗预测精度的目的。以某型国产民机部件消耗数据为案例,利用降维可视化方法和预测分数评价模型的生成性能和预测精度。通过与其他方法对比,所提方法预测值的平均绝对误差减少了3%,验证了所提方法解决航材预测问题的有效性。