融合Transformer和卷积LSTM的轨迹分类网络

为了减少原始轨迹数据的噪声,充分提取轨迹的时空特征,提高基于轨迹数据的交通模式分类精度,提出一种融合堆叠降噪自编码器、Transformer和卷积长短期记忆网络的轨迹分类网络(networks fusing stacked denoising auto-encoder, Transformer and ConvLSTM,SDAETC)。通过堆叠降噪自编码器减少原始轨迹数据中的噪声;利用结合了Transformer的递归图自编码器,提取到更为丰富的时间特征,同时利用特征图自编码器提取空间特征;改进卷积长短期记忆网络,充分提取轨迹中的时空特征,并与提取到的时间特征和空间特征相融合,从而实现交通模式分类。实验结果表明,提出的SDAETC与基线模型相比,在GeoLife和SHL数据集上的准确率分别提升了1.8%和2%。此外,消融实验结果和模型训练时间分析表明,引入堆叠降噪自编码器、Transfomer和ConvLSTM虽然增加了时间消耗,但是对分类精度有积极贡献。

基于卡尔曼滤波算法优化Transformer模型的锂离子电池健康状态预测方法

回顾了锂离子电池健康状态(state of health,SOH)的预测方法,本文提出了一种基于卡尔曼滤波器(Kalman filter)优化的Transformer网络,利用历史数据预测电池SOH。首先,通过添加高斯噪声、自动编码器重构对电池数据进行预处理,去除电池数据中原始噪声并强化数据特征;其次,利用提出的KF-Transformer(Kalman filter-transformer)算法模型提取电池健康状态变化特征,使得Transformer网络能够更好地捕捉电池健康状态的非线性变化;最后,通过线性层完成电池健康状态变化特征到电池健康状态预测的映射,得到锂离子电池健康状态的预测结果。本文使用3个不同充放电策略、不同测试环境下的锂离子电池数据集[分别为美国国家航空航天局(NASA)数据集、马里兰大学CALCE CS2数据集和CALCE CX2数据集]来验证本文提出的锂离子电池健康状态预测算法的鲁棒性和准确性,且本文算法对于SOH不同状态、不同循环次数的预测均具有较好的结果。研究结果显示,本文方法的平均绝对百分比误差(mean absolute percentage error,MAPE)能控制在2%,决定系数(R-square,R2)为0.987,并与多层感知机(MLP,multilayer perceptron)、循环神经网络(RNN,recurrent neura network)、长短时记忆(LSTM,long short-term memory)、门控循环单元(GRU,gated recurrent unit)进行比较,证明了本文方法的优越性。

基于多尺度时间序列块自编码Transformer神经网络模型的风电超短期功率预测

风电超短期功率预测过程中对时间依赖性的有效捕捉与建模,将直接影响风电功率时间序列预测模型的稳定性和泛化性。为此,提出一种新型时序Transformer风电功率预测模型。模型架构在逻辑上分为时间块自编码、隐空间Transformer自注意力时序自回归、随机方差缩减梯度(stochastic variance reduce gradient,SVRG)优化3个部分。首先,依稀疏约束及低秩近似规则,风电功率时空数据被半监督映射至隐空间;其次,隐空间编码经由多头自注意力网络完成时序自回归预测;最后,模型采用方差缩减SVRG优化算法降低噪声,达到更高预测效能。实验结果表明,所提新型Transformer架构能稳定有效进行超短期风电功率预测,预测结果在准确性、泛化性方面相较于传统机器学习模型都有明显提升。

基于AE和Transformer的运动想象脑电信号分类研究

基于运动想象的脑机接口系统一直是海内外研究学者的关注对象。针对传统运动想象脑电识别系统不能精准提取显著特征、分类识别准确率低等问题,提出一种新的基于自编码器(AE,auto-encoder)降维的Transformer分类识别模型。该方法使用滤波器组共空间模式(FBCSP, filter bank common spatial pattern)对数据进行多个频段的特征提取,并利用AE获得降维后的特征矩阵。同时借助Transformer模型的位置编码考虑全局信号特征影响并利用多头自注意力机制考虑特征矩阵的内部关联性,提升系统分类识别效果。与传统的基于线性判别分析(LDA,linear discriminantanalysis)的K-近邻(KNN,K-nearestneighbors)法分类识别系统进行对比,实验表明AE+Transformer模型的分类识别效果优于LDA+KNN系统,说明这种改进后的算法适用于运动想象的二分类。

基于Transformer和VAE的汽车新闻文本生成研究

针对汽车新闻领域的文本生成任务,对语料库存在的问题提出系统性的解决方法,并提出一个Transformer融合变分自编码器(variational auto-encoder, VAE)的文本生成模型。该模型采用基于Transformer的预训练-微调的方法,在解码阶段加入VAE辅助文本生成。与加入注意力(attention)机制的长短时记忆(long short-term memory, LSTM)网络模型以及Transformer模型的对比实验结果验证了方法的有效性,文本生成实例表明,通过该方法生成的句子表达更加丰富,更贴近人类的自然语言。

基于Transformer-CVAE的三维人体动画生成方法

三维人体动画生成技术是三维动画领域的核心技术。基于动作捕捉的人体动画生成方法通常制作流程较为繁琐、制作周期较长,无法快速生成人体动画,而现有数据驱动的方法生成的人体动画缺乏真实性,且生成人体运动的种类相对有限。基于此,提出了一种基于Transformer-CVAE的三维人体动画生成方法。首先,基于真实的人体运动构建人体运动数据集,并按照运动种类进行类别划分;其次,基于Transformer网络架构学习运动序列的时序依赖关系,进一步引入变分自编码器结构学习运动序列在隐空间上的概率分布;然后,在隐空间施加约束条件进而控制生成人体运动的效果;最后,在AMASS、HumanACT12、UESTC等数据集上进行实验,并从视觉效果与网络性能两方面对方法进行分析。实验结果表明,与现有方法相比,所提方法可生成种类丰富、真实细腻的人体动画,且在STED、RMSE等指标上具有明显的提升。

基于Transformer的面部动画生成

在面部动画生成领域,克服人脸几何形状的复杂性是一项极具挑战性的任务。为了更好地应对这一挑战,文章采用了一种创新的方法,即将经过一维卷积堆叠和自注意力提取后的音频特征作为输入,通过Transformer模型从音频信号中生成面部动画。这个过程采用时间自回归模型逐步合成面部运动。使用BIWI数据集开展实验证明,该方法成功地将唇部顶点误差率缩小至令人满意的6.123%,同步率超过MeshTalk79.64%,这意味该方法在口型同步和面部表情生成方面表现出色,在完成面部动画生成任务中表现出很高的潜力,可为未来相关研究提供方向和参考。

A New Auto-Bcklund Transformation and Two-Soliton Solution for (3+l)-Dimensional Jimbo-Miwa Equation

By improving the extended homogeneous balance method,a general method is suggested to derive a new auto-Bcklund transformation (BT) for (3+1)-Dimensional Jimbo-Miwa (JM) equation.The auto-BT obtained by using our method only involves one quadratic homogeneity equation written as a bilinear equation.Based on the auto-BT, two-soliton solution of the (3+1)-Dimensional JM equation is obtained.

On an Auto-Bācklund Transformation for （2＋1）-Dimensional Variable Coefficient Generalized KP Equations and Exact Solutions

By the application of the extended homogeneous balance method, we derive an auto-Bācklund transformation (BT) for (2＋1)-dimensional variable coefficient generalized KP equations. Based on the BT, in which there are two homogeneity equations to be solved, we obtain some exact solutions containing single solitary waves.

Auto-Bcklund Transformation and Analytic Solutions of (2+1)-Dimensional Boussinesq Equation

用截断的 Painlev é扩大，符号的计算，和直接集成技术，我们学习分析答案(2+1 ) 维的 Boussinesq 方程。auto-Bäcklund 转变和这个方程的很多个准确答案被发现了。答案的集合以椭圆形的 Jacobi 功能和 Weierstrass 功能包括独居的波浪答案， solitoff 答案，和周期的答案。他们中的一些是新奇的。

Various Methods for Constructing Auto-Bcklund Transformations for a Generalized Variable-Coefficient Korteweg-de Vries Model from Plasmas and Fluid Dynamics

<Abstract>In this paper,under the Painlevé-integrable condition,the auto-Bcklund transformations in different forms for a variable-coefficient Korteweg-de Vries model with physical interests are obtained through various methods including the Hirota method,truncated Painlevé expansion method,extended variable-coefficient balancing-act method,and Lax pair.Additionally,the compatibility for the truncated Painlevé expansion method and extended variable-coefficient balancing-act method is testified.

基于频域解离特征的OCT指纹表征攻击检测

在自动指纹识别系统中,指纹防伪能力的发展至关重要.传统指纹一般由表面成像得到,而这种表面的纹理特征极容易被盗取.基于这种传统指纹的识别系统,检测指纹表征攻击的能力十分有限.因此,现有研究普遍针对具有防伪特征的指纹模态,如具有汗腺特征的高精度指纹和具有指静脉特征的指纹开发表征攻击检测算法.在本篇工作中,为了进一步提高指纹系统的表征攻击检测能力,我们提出一种基于光学相干断层扫描技术(Optical Coherence Tomography,OCT)的频域指纹表征攻击检测方法.与以往方法不同,我们首先利用卷积神经网络和残差结构设计了一个频域特征解离模型,通过该模型可以分别解离出时域中叠加在原始OCT指纹图像上的信息(如区分性特征、无效特征和冗余特征).然后,我们让它学习不同的频域编码,并结合OCT指纹在时域中的重构编码形成相应的潜层编码.利用潜层编码,我们设计了一种用于区分表征攻击指纹和真实指纹的预测模型,用于表征攻击检测.在目前常用的OCT指纹数据集上的实验结果表明,我们的方法可以通过在频域中分离出一些叠加在时域中的无用干扰信息,从而有效地消除干扰.在实例方面,该方法的最小误差(Err.)为0.67%,与已有的基于时域的最优方法相比,最小误差降低了3.03%,性能提高了81.89%.

基于自编码器结构与改进Bytetrack的低光照行人检测及跟踪算法

针对夜间低光照场景下目标特征提取困难和跟踪不稳定的问题,提出了基于自编码器结构及改进Bytetrack的多目标行人检测及跟踪算法。在检测阶段,基于YOLOX(you only look once X)搭建多任务自编码变换模型框架,以一种自监督的方式考虑物理噪声模型和图像信号处理(image signal processing,ISP)的过程,通过对真实光照退化变换过程进行编码与解码学习内在视觉结构,并基于这种表示通过解码边界框坐标与类实现目标检测任务。为了抑制背景噪声的干扰,在目标解码器颈部网络引入自适应特征融合模块ASFF。跟踪阶段,基于Bytetrack算法进行改进,将基于Tranformer重识别网络提取到的外观嵌入信息与NSA卡尔曼滤波获得的运动信息通过自适应加权的方法完成数据关联,并通过Byte两次匹配的算法完成夜间行人的跟踪。在自建夜间行人检测数据集上测试检测模型的泛化能力,mAP@0.5达到了94.9%,结果表明本文的退化变换过程符合现实条件,具有良好的泛化能力。最后通过自建夜间行人跟踪数据集验证多目标跟踪性能,实验结果表明,本文提出的夜间低光照行人多目标跟踪算法MOTA(multiple object tracking accuracy)为89.55%,IDF1(identity F1 score)为88.34%,IDs(ID switches)为15。与基准方法Bytetrack相比,MOTA提高了10.72%,IDF1提高了6.19%,IDs减少了50%。结果表明,本文提出的基于自编码结构及改进Bytetrack的多目标跟踪算法可以有效解决在夜间低光照场景下行人跟踪困难的问题。

变系数组合kdv-Burgers方程的Auto-Backlund变换和类孤子解

通过引入一个变换,将变系数组合kdv-Burgers方程约化为新的简洁形式的方程,由齐次平衡原则求出了该方程的Auto-Backlund变换和类孤子解.

结合自相关注意力动态卷积的交通预测网络

交通流量预测作为智能交通系统(ITS)的重要任务之一,受到极大关注,其常被建模为时空序列预测问题,准确把握交通数据的时间-空间相关性成为了解决此问题的关键,现有的工作往往采用循环神经网络以捕获时间依赖性,采用图卷积网络以捕获空间依赖性,两者尚未有机的结合且捕获时空依赖的能力有限,导致预测精度不佳.本文提出了用于交通预测的基于自相关注意力和动态卷积的时空网络(AADCSN),设计采用类Transformer架构,结合自相关注意力与动态学习图卷积有效捕获交通数据的时间特征与空间特征,并引入数据蒸馏技术和多种嵌入表示有效提升预测性能.论文选用4个真实数据集和9个先进的基线方法进行比较,实验结果表明,本文提出的模型在几乎所有对比指标上都优于基线模型.

变形色散水波方程的Auto-Bcklund变换、多孤子解和有理分式解

利用未知数变换并借助 Mathematica软件 ,给出了变形色散水波方程的 Auto- Backlund变换以及它与热传导方程和线性方程之间的 Darboux变换 .进而用此变换 ,获得了变形色散水波方程的多孤子解、有理分式解及其他精确解 .

三维激光扫描系统点云数据向AutoCAD数据格式的转换

Cyra三维激光扫描系统是一种先进的测绘仪器,但由于它所采集的数据量过于巨大,当需要将它采集的点云数据在AutoCAD平台进行处理时,普通的个人电脑还无法运行如此海量的数据,以在辽宁省阜新市热电厂采集的管线数据为例,采用数据分割、稀化等手段,解决点云数据在AutoCAD平台上无法正常应用的问题,总结出一种切实可行的技术方法。

基于格拉姆角场和深度残差网络的变压器绕组松动故障诊断模型

针对变压器绕组松动故障诊断中特征量难以选取,依赖人工经验的问题,提出了一种基于自动编码器降噪,格拉姆角场(GAF)和深度残差网络(ResNet)进行识别的变压器绕组松动诊断方法。该方法直接从GAF图像中自动学习有效的故障特征,不需要手动提取特征量。首先,将振动信号经过自动编码器进行降噪,获得信噪比更高的振动信号。然后,采用GAF方法将振动信号转化为二维图像,生成图像数据集,在此基础上训练ResNet,构建适用于变压器绕组松动故障分类识别的网络模型。最后,搭建变压器绕组松动故障试验平台,采集绕组在不同松动和试验电流下的振动信号并进行分析。试验结果表明,所提诊断方法对变压器绕组松动识别准确率达95%以上,能够有效识别松动相和松动程度,适用于变压器绕组松动故障的识别和诊断。

基于电流行波高频能量比值的全并联AT牵引网单端故障定位方法

针对现有全并联AT牵引网单端故障定位方法存在故障区段识别灵敏度低、行波第二波头易受故障点折反射影响的问题,提出了一种基于电流行波高频能量比值的全并联AT牵引网单端故障定位方法。首先,分析了自耦变压器绕组对地电容对高频分量的衰减特性,论证了相邻线路故障电流行波高频能量幅值的差异性,构建了能量比值差异度判据,利用差异度实现了故障区段定位。然后,分析了行波在全并联AT牵引网故障区段内的传播特性,揭示了反向量电流对端母线行波具有明显的故障突变奇异性。最后,提出了基于反向量电流行波的故障定位方法,通过准确标定行波初始波头、第二波头的到达时间,实现了故障的精确定位。仿真结果表明,所提方法在噪声环境下能准确辨识弱故障特征,提高了全并联AT牵引网故障定位的精确性。

不对称式12脉冲自耦变压整流器设计

为满足多脉冲自耦变压整流器(ATRU, auto-transformer rectifier unit)小型化和轻量化的行业应用要求,本文提出一种不对称式12脉冲自耦变压整流器的设计方案。首先,详细阐述了其拓扑结构和绕组结构;其次,分析了输入电流谐波、等效容量等主要性能参数,并进行了Saber仿真验证;最后,在此基础上设计了10 kW自耦变压整流器样机,并对该样机进行了实测数据分析。分析结果表明,该设计方案满足DO-160标准,等效容量相比对称式12脉冲自耦变压整流器更小,更符合航空产品小型化、轻量化的设计需求。