基于深度自回归模型的电网异常流量检测算法

针对电网中行为种类复杂多样且数量众多的问题,提出了一种基于自回归模型的电网异常流量检测算法。该算法利用深度自编码网络自动提取网络流量数据的特征,降低异常流量检测的分析周期,并自动挖掘数据的层次关系。通过支持向量机对提取的特征进行分类,实现对异常流量的检测。仿真实验结果表明,所提算法可以分析不同攻击向量,避免噪声数据的干扰,进而提高电网异常流量检测的精度,对于流量数据处理具有重要意义。

融入上下文特征提取的非自回归神经机器翻译

非自回归翻译(NAT)模型是一种消除目标句子中的顺序依赖关系的翻译模型,在推理速度上取得了显著的突破。然而该模型在翻译质量方面存在一些局限,为探究原因,主要对注意机制进行了细致而全面的初步研究,研究结果揭示了NAT模型在捕捉局部性特征方面存在明显不足。为此提出了一种通过明确引入周围词汇信息而改进NAT模型局部性能力的方法。具体而言,在编码器和解码器两个方向上引入了混合分组线性变换,以获得更具局部感知性的表示。通过在WMT14英德与WMT16英罗两个数据集上进行实验,结果表明该方法以微弱的速度代价分别提高了0.7与1.03个BLEU分数,这表明该研究方法在改善NAT模型的局部性特征提取方面具有显著的效果和潜力。

序列稀疏自回归方法及其在美股做空数据分析上的应用

采用序列稀疏回归的思路来处理向量自回归模型,并设计适用于大规模时间序列数据分析的序列稀疏自回归方法。研究表明:从因子角度刻画向量自回归模型可以有效地将稀疏矩阵估计问题分解成稀疏奇异向量的估计问题,从而极大地提高了计算效率。以1523家美股上市公司1973年1月—2014年12月的做空数据为例,利用此方法探索公司之间的大规模做空关联网络。研究发现:此方法可以有效地恢复股票做空份额(即某一公司的空头股份数量)与股票收益率之间隐藏的关联网络,对于股票风险溢价研究具有一定启发意义。

低资源非自回归壮语语音合成

基于FastSpeech2模型,文章提出了非自回归的壮语语音合成模型Zhuang-TTS。为了提升模型合成壮语语音的韵律,根据壮语特点及实地调查提出了一套新的壮语音系(声调、声母或辅音、韵母或元音),同时针对壮语声学特点进行了改进:(1)使用壮语音素序列表征壮语发音信息;(2)使用音素级的声学调节器(与FastPitch类似),使合成结果更加稳定;(3)使用Conformer代替FastSpeech2模型中的Transformer,同时构建了一个壮语语音合成语料库。实验结果表明,Zhuang-TTS在韵律方面的意见评分(Mean Opinion Score, MOS)达到3.90,合成实时率达8.65×10^(-2)。该模型在合成壮语语音的质量和速度方面获得了较大提升,优于Tacotron2和FastSpeech2基线模型,研究推动了壮语语音合成领域的发展。

融合时空图卷积网络与非自回归模型的三维人体运动预测

当前人体运动预测的方法大多采用基于图卷积网络的自回归模型,没有充分考虑关节间的特有关系和自回归网络性能的限制,从而产生平均姿态和误差累积等问题。为解决以上问题,提出融合时空图卷积网络和非自回归的模型对人体运动进行预测。一方面利用时空图卷积的网络提取人体运动序列的局部特征,可以有效减少三维人体运动预测场景中的平均姿态问题和过度堆叠图卷积层引起的过平滑问题的发生;另一方面将非自回归模型与时空图卷积网络进行结合,减少误差累计问题的发生。利用Human3.6M的数据集进行80 ms、160 ms、320 ms和400 ms的人体运动预测实验。结果表明,NAS-GCN模型与现有方法相比,能预测出更精确的结果。

部分线性变系数空间自回归模型的惩罚轮廓拟最大似然方法

主要研究了部分线性变系数空间自回归模型的变量选择问题。结合拟最大似然方法、局部线性光滑方法以及一类非凸罚函数,提出了一个变量选择方法用于同时选择该模型的参数部分中重要解释变量和估计相应的非零参数。大量模拟研究表明,所提出的变量选择方法具有满意的有限样本性质,并且关于空间权矩阵的稀疏度、空间相关强度、系数函数的复杂度以及误差分布的非正态性非常稳健。特别地,当样本容量较大且罚函数选择合适时,即使解释变量的相关性较强或者模型中含有较多不重要解释变量,所提出的变量选择方法仍然具有比较满意的有限样本性质。通过分析波士顿房屋价格数据考察了所提出的变量选择方法的实际应用效果。

基于自回归小波神经网络的机械臂自适应滑模控制

针对机械臂存在模型不确定和未知扰动的问题,提出一种动力学模型参数分块逼近的神经网络非奇异终端滑模(nonsingular terminal sliding mode, NTSM)控制方法.为加快系统跟踪误差的收敛速度,避免传统终端滑模存在的奇异性问题,采用一种非奇异终端滑模面.利用多组自回归小波神经网络(self-recurrent wavelet neural network, SRWNN)分块逼近系统未知的动力学模型参数,并采用自适应更新律调整权重.通过积分控制项补偿SRWNN的逼近误差,并使用Lyapunov稳定性理论证明了系统稳定性.使用MATLAB进行仿真分析,分块SRWNN滑模控制与滑模控制、整体SRWNN滑模控制相比,关节角度跟踪误差的平均稳态误差分别降低了31.9%、76.5%,表明此方法是一种可靠、有效的轨迹跟踪控制方法.

基于自回归模型的RBCC隔离段激波串位置识别与压力值预估

为了清楚客观地判断火箭基组合循环发动机(Rocket-based combined-cycle,RBCC)隔离段激波串位置,将Ma=6,4,3.5工况下直连试验中实测得到的RBCC隔离段测压点压力数据按照时间的先后顺序排列形成一时间序列,建立自回归(Auto-Regressive,AR)模型并计算赤池信息准则(Akaike information criterion,AIC)值,完成了不同工况下激波串前缘位置的识别。研究表明:当隔离段测压点没有受到激波串影响时,实时压力值仅存在微弱波动,模型AIC值变化较为平稳;当激波串运动至测压点处时,该点压力升高,振荡幅度明显增加,AIC值随之瞬时增大。取同一时间段内发动机沿程测压点中首个AIC值增加500以上,并在不改变工况的情况下始终保持较大值的测点位置为激波串前缘位置。与压比法相比,时间序列分析法能敏感监测到实时压力值的升高和振荡,激波串前缘位置识别更为准确。通过建立自回归模型还可以实现激波串内部压力值预估,记录连续160 ms内Ma=6,4,3.5工况下测压点压力数据,采样频率1 kHz,使用前80 ms数据建立自回归模型,完成后80 ms压力值预估及准确性检验,得到三个工况下预估平均误差分别为3.21%,7.68%,6.49%。

基于因果自回归流模型的因果结构学习算法

因果自回归流模型已经在非独立噪声等场景的因果方向推断问题上取得了一定的进展,但在多个结点的场景下仍存在全局结构搜索带来的准确度低和计算时间复杂度高的问题。面向非时序观察数据设计一种两阶段因果结构学习算法。在第一阶段,基于观测数据的条件独立性,对完全无向图通过条件独立性检验得到基本的因果骨架;在第二阶段,基于因果自回归流模型,通过标准化流的方法计算骨架中每条无向边在不同方向上的边缘似然概率,进而通过比较边缘似然概率进行因果方向推断。实验结果表明:该算法在多组不同参数生成的仿真因果结构数据集上均有较好的表现,与现有的主流因果结构学习算法相比,F1值平均提升15%~28%;在真实因果结构数据集实验中,该算法能够较为完整准确地学习到变量间的因果关系,与主流的因果结构学习算法相比,F1值平均提升28%~48%,具有更强的鲁棒性。

自回归和EWMA在齿轮箱早期异常检测中的应用

针对齿轮箱传统故障分析方法难以及时发现早期故障的问题,进行基于自回归模型和统计过程控制方法的齿轮箱早期异常检测方法研究。采用时域同步平均算法(Time Synchronous Averaging,TSA)去除原始振动信号中的噪声,并建立自回归(Autoregressive Model,AR)模型计算残差;提取残差的标准差、峭度与均方根作为指标,初步判断齿轮早期故障;选取残差的标准差进行统计过程分析,分别建立均值控制图(Xbar)、单值-移动极差控制图(I-MR)、指数加权移动平均(EWMA)控制图来判断齿轮早期异常发生点。研究结果表明,EWMA控制图检测到第62个文件开始超出控制限,而其他两种控制图均从第65个文件出现异常,说明EWMA控制图相比其他方法能够更早的检测出齿轮早期故障发生的异常点,进一步验证了AR模型与EWMA控制图相结合进行早期异常检测的有效性。

结合轻量卷积的非自回归语音合成方法

对如何有效捕捉音素之间的关联及如何合成韵律丰富的音频进行研究,提出一种结合轻量卷积的非自回归语音合成模型LCTTS。引入轻量卷积建立起音素之间的联系,解决发音出错问题。通过添加音高和能量预测器预测生成语音的韵律,解决音频韵律缺乏问题。训练模型获取梅尔频谱,结合预先训练好的声码器转化为音频。实验结果表明,提出的LCTTS模型优于先前提出的SpeedySpeech模型,在Emotional Speech Database数据集上平均意见得分获得2.8%的提升,梅尔倒谱失真测度下降0.15。

基于深度自回归循环神经网络的边缘负载预测

为了更好地支持边缘计算服务提供商进行资源的提前配置与合理分配,负载预测被认为是边缘计算中的一项重要的技术支撑.传统的负载预测方法在面对具有明显趋势或规律性的负载时能取得良好的预测效果,但是它们无法有效地对边缘环境中高度变化的负载取得精确的预测.此外,这些方法通常将预测模型拟合到独立的时间序列上,进而进行单点负载实值预测.但是在实际边缘计算场景中,得到未来负载变化的概率分布情况会比直接预测未来负载的实值更具应用价值.为了解决上述问题,本文提出了一种基于深度自回归循环神经网络的边缘负载预测方法(Edge Load Prediction with Deep Auto-regressive Recurrent networks,ELP-DAR).所提出的ELP-DAR方法利用边缘负载时序数据训练深度自回归循环神经网络,将LSTM集成至S2S框架中,进而直接预测下一时间点负载概率分布的所有参数.因此,ELP-DAR方法能够高效地提取边缘负载的重要表征,学习复杂的边缘负载模式进而实现对高度变化的边缘负载精确的概率分布预测.基于真实的边缘负载数据集,通过大量仿真实验对所提出ELP-DAR方法的有效性进行了验证与分析.实验结果表明,相比于其他基准方法,所提出的ELP-DAR方法可以取得更高的预测精度,并且在不同预测长度下均展现出了优越的性能表现.

基于Runge-Kutta的自回归物理信息神经网络求解偏微分方程

物理信息神经网络离散时间模型(PINN-RK)是深度学习技术与龙格库塔方法相结合的产物,在求解偏微分方程时具有非常出色的稳定性和较高的求解精度.但是,受到龙格库塔算法本身的限制,PINN-RK模型仅能实现单步时间预测,且计算效率较低.因此,为了实现多时间步长预测和提高模型的计算效率,提出了一种基于龙格库塔法的自回归物理信息神经网络模型(SR-PINN-RK).该模型基于自回归时间步进机制,改进了神经网络的训练流程和网络结构,相比PINN-RK模型,大幅减少了神经网络的训练参数,提高了模型的计算效率.此外,在自回归机制的作用下,该模型通过对标签数据的动态更新,成功实现了对偏微分方程解的多时间步长预测.为了验证文中模型的求解精度和计算效率,分别求解了Allen-Cahn方程和Burgers方程,并与文献中的基准解进行了对比.结果表明,模型预测解与基准解之间具有很高的一致性,求解Allen-Cahn方程和Burgers方程的最大相对误差均低于0.009.

部分线性空间自回归模型的惩罚最小二乘方法

部分线性空间自回归模型因具有参数空间自回归模型的解释能力和非参数空间自回归模型的灵活性而成为一类备受关注的半参数空间自回归模型。主要研究部分线性空间自回归模型的变量选择问题,基于轮廓拟最大似然方法和一类非凸罚函数,提出了一类惩罚最小二乘方法同时选择该模型的参数部分中重要解释变量和估计相应的非零回归系数。在适当的正则条件下,推导了回归系数的惩罚估计的收敛速度,并证明了所提出的变量选择方法具有Oracle性质。模拟研究和实际数据分析均表明所提出的变量选择方法具有满意的有限样本性质。

云环境下改进自回归模型的网络数据去重仿真

云环境网络数据去重过程中,若不能及时对网络数据实施噪声抑制,会直接降低数据的去重效果,为提升数据去重精度,提出基于自回归模型的云环境中网络数据去重算法。建立云环境弹性空间模型,确定网络数据的空间自相关度量值完成数据去噪,基于去噪结果详细分析云环境中网络数据属性特征;根据提取的属性特征对云环境中网络数据聚类处理,结合自回归模型建立网络冗余数据预测模型,精准预测出云环境中的网络冗余数据,并对其进行剔除处理,实现网络数据的精准去重。实验结果表明,使用该方法开展数据去重时能够有效去除网络数据中的冗余数据,去重效果较好。

求解自回归模型参数的最小二乘法

在自回归模型参数的解算中,针对增广矩阵中不同位置上同一观测值有不同的改正数这一问题,本文提出了AR模型参数估计的最小二乘法。首先对AR模型进行等价变换,重新组成新的函数模型,两次运用最小二乘方法分别求解误差矩阵与未知参数,最后给出了参数协因数阵的一阶近似估计公式。算例结果表明,本文方法在求解AR模型参数时具有可行性。采用本文方法,将总体最小二乘问题的求解转换为最小二乘问题,计算简单且易于编程实现。同时,该方法有效地减小了计算量,从而降低了求解的复杂程度。

约束条件下线性可加空间自回归模型方法研究

[目的]针对空间依赖性问题,提出约束条件下线性可加空间自回归模型的统计推断方法。[方法]先对线性可加空间自回归模型增加线性约束条件。通过B样条基函数近似求解未知的平滑函数,并代入回归模型,生成包含B样条基函数的空间自回归模型,对此模型的损失函数进行最小化,获取约束条件下模型的稀疏估计,通过SCAD惩罚函数无偏估计较大系数。在10种约束条件下,研究了线性可加空间自回归模型估计的渐近性质,得到在最优收敛速度下进行斜率系数的估计时,函数项部分不会改变参数估计的渐近分布特性。[结果]实验结果表明,该方法不仅在理论上具有可行性,而且在实践中易于操作。相比非约束估计,约束稀疏估计更为优秀。[结论]在交通数据统计分析中,该方法具有实用性和有效性。

基于动态排列自回归的场景文本识别网络

随着计算机视觉广泛渗透到生产和生活中的各个领域,场景文本识别面临着愈发复杂的考验。纯视觉的场景文本识别模型侧重于构建有效的视觉特征提取网络,而缺乏对文本语义的理解,因此在处理遮挡或模糊文本图像时常遇到瓶颈。针对该问题,提出了一种利用语义信息辅助识别任务的场景文本识别算法。首先通过Transformer视觉编码器ViT提取特征,其次利用双分支结构的特征交互模块增强视觉特征,接着联合动态排列语言模型实现自回归解码。所提出的算法充分利用视觉特征和语义特征,有效地减少了遮挡等复杂文本的识别难度,实现了对场景文本的鲁棒性识别。实验结果表明,所提出的算法在6个基准数据集上实现了96.65%的平均识别精度,展现了显著的竞争力。

基于Transformer和多模态对齐的非自回归手语翻译技术研究

为了解决多模态数据的对齐及手语翻译速度较慢的问题,该文提出一个基于自注意力机制模型Transformer的非自回归手语翻译模型(Trans-SLT-NA),同时引入了对比学习损失函数进行多模态数据的对齐,通过学习输入序列(手语视频)和目标序列(文本)的上下文信息和交互信息,实现一次性地将手语翻译为自然语言。该文所提模型在公开数据集PHOENIX-2014T(德语)、CSL(中文)和How2Sign(英文)上进行实验评估,结果表明该文方法相比于自回归模型翻译速度提升11.6~17.6倍,同时在双语评估辅助指标(BLEU-4)、自动摘要评估指标(ROUGE)指标上也接近自回归模型。

基于向量自回归模型的电网虚假数据注入攻击检测

虚假数据注入攻击(false data injection attack,FDIA)是威胁电网运行安全的主要因素之一,其主要通过攻击电网中的一些通信环节,误导电力系统的状态估计结果,给电网安全运行带来巨大威胁。针对FDIA难以有效检测及电力系统状态估计中过程噪声与量测噪声两者协方差矩阵非正定问题,将向量自回归(vector auto regression,VAR)模型引入电力系统状态估计,提出一种基于VAR和加权最小二乘法(weighted least squares,WLS)的FDIA检测方法。首先,建立VAR状态估计模型,将量测噪声视为稳定量,只对过程噪声进行估计,解决两者协方差矩阵的非正定问题;其次,分别采用VAR与WLS对电力系统进行状态估计,采用一致性检验与量测量残差检验对2种方法的结果进行检测,以判定是否存在FDIA;最后,IEEE 14节点和IEEE 30节点仿真结果表明,本文所提检测方法能够成功检测到FDIA,且检测成功率较高,从而验证了该方法的可行性及有效性。