融合外部注意力机制的序列到点非侵入式负荷分解

非侵入式负荷分解可以深度挖掘用户电力消耗数据蕴含的信息价值,为电力设备故障监测、需求响应等决策分析提供重要参考.为有效解决非侵入式负荷分解算法训练时间成本与分解精度间的冲突,提出一种融合外部注意力机制的序列到点非侵入式负荷分解算法.首先,将总负荷功率消耗序列进行数据清理、标准化等预处理,以固定窗口长度构建训练输入数据,输入数据通过编码层自动提取设备特征;然后,设计外部注意力机制增强重要特征权值;最终,输入到解码层得到负荷分解结果.利用REDD与UK-DALE两种公开数据集进行模型仿真计算,在信号聚合误差、平均绝对误差、标准化分解误差指标、模型分解曲线、特征图和用户耗能等方面进行对比分析,本文模型克服了卷积层注意力分散的缺点,增强了对有效信息的提取与利用能力,在未增加训练时间成本的前提下具有更高的分解精度.

基于深度学习的函数名一致性检查及推荐方法

函数是大多数传统编程语言中聚合行为的最小命名单元,函数名的可读性对于程序员理解程序功能及不同模块之间的交互有着至关重要的作用,低质量的函数名会使开发人员感到困惑,增加代码中的坏味道,进而引发由API误用而导致的软件缺陷.为此,提出一种基于深度学习的函数名一致性检查及推荐方法,该方法被命名为DMName.首先,对于给定的目标函数源码,分别构建其内部上下文、交互上下文、兄弟上下文和封闭上下文,合并后得到上下文信息标记序列,然后利用FastText词嵌入技术将标记序列转换为上下文表示向量序列,输入到seq2seq模型编码器中,引入Copy机制和Coverage机制分别解决OOV问题和重复解码问题,输出目标函数名预测结果的向量序列,借助双通道CNN分类器进行函数名的一致性判断,若不一致则根据向量空间相似度匹配直接映射获得推荐的函数名.实验结果表明,DMName方法在函数名一致性检查任务和函数名推荐任务中的F1值分别达到82.65%和73.31%,比目前最优的DeepName方法分别提高2.01%和2.96%.最后,在GitHub大规模开源项目lancia中对DMName方法进行验证,挖掘得到16个函数名不一致问题并进行合理的名称推荐,进一步证实DMName方法的有效性.

基于三维点云计算的CO_(2)-水-岩反应程度量化表征方法

CO_(2)地质封存是减少大气中CO_(2)排放,降低温室效应的重要途径,CO_(2)注入含水地层中时,CO_(2)-水-岩反应可能引起岩石矿物的侵蚀,对CO_(2)地质封存安全性产生显著影响。在室内实验中,通过表征岩石表面的形貌特征可以有效地评估CO_(2)-水-岩反应程度,为CO_(2)地质封存的安全性评估提供科学依据。通过三维点云计算可以精确量化地表征CO_(2)-水-岩反应程度,这种方法首先运用三维激光扫描技术,构建岩石表面的三维模型,确定CO_(2)-水处理前岩石表面三维模型的基准面,并基于处理前的均方根粗糙度确定处理后岩石表面三维模型的基准面。基于三维模型点云信息,提出了两种不同的体积计算新方法,并通过对规则模型体积的计算比较了两种计算方法的准确性与适用性,可根据实际情况选择两种计算方法量化表征CO_(2)-水处理前后岩石表面的侵蚀体积。最后,以陕西省咸阳市某煤矿煤样为例,开展了CO_(2)-水-岩反应模拟试验,验证了计算的可行性。试验结果表明:该文提出的侵蚀体积计算方法可有效地量化表征CO_(2)-水-岩反应程度,CO_(2)-水处理后岩石表面不同区域的侵蚀差异性明显,岩石表面的侵蚀体积与均方根粗糙度之间存在显著的正比关系,随着均方根粗糙度的增大,侵蚀体积也相应上升。

手语数字人技术及智能应用研究

对智谱AI、腾讯、华为等头部企业打造的手语数字人产品进行梳理,研究和探讨我国代表性手语数字人产品的主要技术路线和智能应用。手语数字人的制作流程包括形象设计、建模、动作捕捉、驱动、渲染。通过多模型、多算法等AI技术集成实现手语数字人应用场景落地。智谱AI手语数字人核心技术含seq2seq模型、生成对抗网络,创造性地将对比学习引入mBart模型等。当前我国手语数字人在新闻播报、教育、国际赛事和重要会议翻译等方面实现智能应用。未来我国手语数字人技术有望迎来新突破,智能应用也将拓展到智慧医疗、智慧交通等更多领域。

49-2游泳池式轻水反应堆池底点缺陷超声测量技术研究

为掌握49-2游泳池式轻水反应堆(简称49-2堆)堆水池铝质池底点缺陷的现状,以进一步为堆水池的服役性能评估提供数据支撑,确保反应堆的安全稳定运行,根据池底结构、池内介质、池壁材料等信息,研发了水浸超声测量系统,对池底点缺陷的分布情况进行了全面检查,实现了点缺陷深度的精确测量。该研究实现了首次对49-2堆池底点缺陷实际状态的远程水下无损检测,检测结论显示:与历史数据相比,池底点缺陷的分布和点坑深度测量数据基本一致,最大点坑深度为1.495 mm。研究结论为49-2堆池底材料的时限老化分析提供了重要数据支撑,研发的水下超声测量技术也可应用于同类型池式堆堆容器及乏燃料贮存池的老化管理工作以及服役寿命分析论证工作中。

基于注意力Seq2Seq神经网络的生物强化系统厌氧发酵菌体质量预测研究

生物强化厌氧发酵系统能够提高发酵效率和产物质量。然而,在生物强化甲烷厌氧发酵过程中,关键的生物参数难以实时在线测量。为了解决这一问题,提出了一种基于注意力融入Seq2Seq-LSTM模型的质量预测方法。通过编码器将时间序列数据输入,并引入注意力机制以增强对重要信息的关注,从而得到更新后的中间向量;在解码器中同样引入注意力机制,利用LSTM神经网络对当前时刻的中间向量和输入信息进行综合处理。同时,为了提高模型的稳定性,使用了Adamw梯度下降优化器进行训练。最后,将该方法与LSTM、AM-LSTM模型一同应用于甲烷发酵菌体质量预测并进行对比。实验结果表明,该模型拟合能力和预测准确性均优于其他两种模型,能够更好适用于甲烷发酵菌体质量的在线预测。

铀对α-Al_(2)O_(3)中氢与本征点缺陷相互作用的影响

在长期高温服役过程中,铀床的氚渗透泄露问题是聚变堆涉氚系统中需要关注的焦点之一,而一种行之有效的解决思路是在内壁制备阻氚涂层.然而,服役过程中通过热扩散渗入涂层内部的铀可能在阻氚涂层氢行为中起作用,进而影响其服役可靠性.基于此,采用第一性原理计算方法,研究了铀对α-Al_(2)O_(3)中氢与本征点缺陷相互作用的影响.结果发现,铀对α-Al_(2)O_(3)中空位型本征点缺陷及氢相关缺陷的存在形式、电荷态及相对稳定性有重要影响.从形成能观点来看,铀对α-Al_(2)O_(3)中空位型本征点缺陷及氢相关缺陷的形成有利,且α-Al_(2)O_(3)中空位型点缺陷对氢的捕陷能力因铀的引入显著增加.研究结果对α-Al_(2)O_(3)基内壁阻氚涂层在氚工艺系统铀床中应用的可靠性评估具有重要的指导意义.

无缝钢管张力减径工艺减径率分配修正模型理论研究

无缝钢管张力减径工艺减径率分配是孔型分配合理与否的关键步骤,但其分配仍依赖于经验公式。从金属流动的角度分析了减径率的分配规律,在经验的基础上提出了“三点两段统合式”减径率分配修正模型。将修正模型得到的结果与传统模型计算结果以及企业生产数据相比,发现变化趋势相近,减径率和减径量变化曲线更加光滑,应用于生产有利于金属流动。

两种激光治疗儿童中心点突起型蜘蛛痣的临床研究

目的:探研2种激光方法在儿童中心点突起型蜘蛛痣治疗中的疗效、不良反应及并发症。方法:选取2020年10月至2022年10月期间由河北省儿童医院整形外科门诊确诊的中心点突起型蜘蛛痣患儿60例为研究对象,采用数字表法随机分组,分为595nm脉冲染料激光组,超脉冲CO_(2)点阵激光组,每组30例。对患儿的治疗次数、治疗效果、不良反应以及并发症情况进行评估。结果:经过随访得知,595nm组较CO_(2)组治疗次数多,差异有统计学意义(P<0.05);两组一次治疗后治愈率分别为80%、95%,差异有统计学意义(P<0.05);两组经多次治疗后治愈率差异无统计学意义(P>0.05);595nm组较CO_(2)组不良反应大,差异有统计学意义(P<0.05);随访12周,并发症差异无统计学意义(P>0.05)。结论:595nm脉冲染料激光及超脉冲CO_(2)点阵激光在儿童中心点突起型蜘蛛痣的治疗中均效果显著,各有优缺点,可根据病灶特点及患儿要求选择适当的治疗方法。

基于夹点的带喷射器CO_(2)热泵系统性能分析

为了研究带喷射器的跨临界CO_(2)内部过冷热泵系统(TCISE),基于夹点建立了TCISE的热力学模型,分析了冷却水进出水温度及流量对系统性能的影响。研究表明:冷却水进水温度从25℃降低到15℃时,最优高压压力从9.3 MPa降至8.8 MPa,降低了5.4%,最大COP从3.83提升至4.27,提高了11.49%;TCISE存在临界冷却水出水温度和临界冷却水质量流量,当冷却水进水温度一定时,在出水温度低于临界出水温度或质量流量高于临界质量流量时,系统COP保持不变。

基于摄站点云的巡视器相对定位方法

针对传统特征点法巡视器相对定位受摄站间距离及影像视角变化影响,导致相对定位失效的情况,结合着陆器降落序列影像及巡视器导航影像提出了一种基于点云配准的巡视器相对定位方法。首先,依托降落序列影像恢复着陆区三维点云作为基准底图,并获取着陆点初始位置;其次,利用附加残差模块的多尺度代价聚合立体匹配方法对巡视器摄站区域进行精密三维重建;最后,结合着陆区三维点云与摄站点云利用SAC-IA+ICP方法进行点云配准,并通过RANSAC获取可靠的巡视器相对定位参数。开展了嫦娥四号巡视器相对定位实验。实验表明,所提出的方法较传统光束法平差定位结果在x方向和y方向平均误差优于0.56 m和0.52 m,最大误差优于0.11 m,表明该方法可为巡视器智能感知与长距离导航定位提供一定的参考。

基于MS(2)-AR-TVTP模型的I_(BD)波动周期非对称性和持续性分析

国际干散货运输市场源于国际贸易的衍生需求,受世界经济的影响,是一个典型的周期性市场。选取1999年11月~2021年12月的波罗的海干散货运价指数(I_(BD))月度数据,在检验序列平稳性的基础上,确定最优滞后长度,构建两区制的时变转换概率马尔科夫转换自回归模型,分析I_(BD)波动周期的持续时间、转换拐点和非对称性等主要特征。研究结果表明:模型能有效拟合I_(BD)波动周期的主要特征,周期平均持续时间为33.7个月,自2008年9月之后呈缩短态势,上升期和下降期交互更频繁;I_(BD)波动周期具有非对称性,周期内上升期持续时间比下降期长,I_(BD)维持上升期更具有稳定性。周期性特征结果可为干散货航运业造船投资和市场经营提供决策依据。

面向YSU-Ⅱ下肢康复机器人语音交互系统的指令文本校对模型

针对YSU-Ⅱ下肢康复机器人语音交互系统存在指令误识的问题,构建了基于双向门控循环单元的Seq2Seq模型来检测并纠正指令文本中的错误字符,提出一种基于指令上下文和关键字的注意力机制(CK Attention),用于捕获指令文本的上下文语义和关键字信息,以提升模型的文本校对能力。面向康复机器人的训练任务自行建立了语料库,并采用5次5折交叉验证法在该语料库上开展了相关实验,以客观评估模型性能。实验结果表明,所建模型适用于指令文本校对任务,CK Attention机制能够有效提升模型的文本校对性能,其检错F_(1)值和纠错F_(1)值分别达到97.72%和93.89%,对常用指令文本的校对时长在0.156 s~0.391 s之间。

基于时空注意力-Seq2Seq网络的ISAR包络对齐方法

包络对齐是逆合成孔径雷达(Inverse Synthetic Aperture Radar,ISAR)成像中平动补偿处理的第一步,包络对齐的精度对于方位聚焦和成像质量具有重要影响。针对稀疏孔径和低信噪比条件下传统的包络对齐算法性能显著降低的问题,本文提出一种基于时空注意力-Seq2Seq网络的包络对齐方法。该网络模型以门控循环单元为编码解码单元,针对点目标距离像包络的能量分布特征对空间注意力机制进行改进后,添加时间和空间两维注意力机制形成对ISAR距离像回波包络进行对齐的能力。数据生成方面,基于电磁波仿真参数和目标运动仿真参数进行成像模拟仿真构造了ISAR回波数据集,经过8倍插值后输入网络进行训练,使网络学习到从未对齐回波到对齐回波的映射关系。所提方法以离线训练代替在线相关计算,融合了Seq2Seq模型在处理序列到序列问题上的结构优势、时间注意力机制在捕捉长期依赖关系和空间注意力机制在提取区域特征上的突出能力,实现了稀疏孔径和低信噪比条件下对距离-慢时间域ISAR回波的自动对齐。通过向训练好的时空注意力-Seq2Seq网络输入未对齐的回波序列,网络可以在不改变回波相位结构的前提下自动实现包络对齐。仿真和实测数据对齐结果表明,和传统的包络对齐方法相比,所提方法在稀疏孔径和低信噪比条件下优势明显,在欠采样率为50%、信噪比为0 dB条件下对雅克-42飞机实测回波数据的包络对齐实验中,该方法将循环移位误差由39、26减小至6,将成像结果的图像熵由4.58、4.22减小至1.71,验证了其良好性能。

基于虚拟传感器的坝区多输出自由场地震时程长序列预测模型研究

坝区自由场地震时程的多维长时序预测对于震害快速分析具有重要意义。虚拟传感器是地震物理传感器的补充感知手段,可实现地震时程的预测,然而现有虚拟传感器难以对多个信号做长时序预测,导致大坝震害分析较为滞后。针对上述问题,提出基于TFA-Seq2Seq虚拟传感器的坝区多输出自由场地震时程长序列预测模型。其中,基于多任务学习将Seq2Seq的虚拟传感器改进为“Encoder-3 Decoder”结构,以建立多个坝体物理传感器信号与自由场三个方向长时序地震时程的映射关系,并添加注意力机制捕获多个输入信号的时序依赖关系,以解决同步多输出预测问题及提升预测精度。进一步,引入可逆的时频变换层和其逆变换层改进编码器和解码器,以缩短地震信号的时域长度,提取频域特征,并提出对应的随机强制学习的模型训练策略,从而克服了现有虚拟传感器难以对长序列进行有效预测的缺陷。案例分析表明,该方法实现了坝区自由场三个方向地震信号的超前10 s虚拟感知,且相较于未添加注意力机制和单输出的模型,预测精度分别提高了6.88%和3.32%,研究为震时地震信息的超前感知提供了新思路和新途径。

基于seq2seq模型的非侵入式负荷分解算法

非侵入式负荷分解对于节能减排、负荷调峰、智能用能等方面均具有重要的现实意义。针对目前非侵入式负荷分解方法在低频采样条件下(1 Hz及以下)分解准确率较低的问题,提出了一种基于卷积神经网络(convolution netural network,CNN)与长短期记忆网络(long short-term memory,LSTM)相结合的seq2seq的非侵入式负荷分解算法(seq2seq based on CNN and LSTM,seq2seqBCL)。该深度学习模型将功率时间序列作为网络的输入,通过CNN做特征提取。考虑到电力数据的时序性,增加了LSTM层进行电器识别,相比于NILMTK中seq2seq模型降低了网络层数,简化了网络结构。在REDD数据集上对算法性能进行了评估,所提出的算法提升了整个网络系统的性能,与FHMM、CO和传统seq2seq算法相比,负荷分解准确率有明显提升。

融合卷积收缩门控的生成式文本摘要方法

在深度学习技术的推动下,基于编码器-解码器架构并结合注意力机制的序列到序列模型成为文本摘要研究中应用最广泛的模型之一,尤其在生成式文本摘要任务中取得显著效果。然而,现有的采用循环神经网络的模型存在并行能力不足和时效低下的局限性,无法充分概括有用信息,忽视单词与句子间的联系,易产生冗余重复或语义不相关的摘要。为此,提出一种基于Transformer和卷积收缩门控的文本摘要方法。利用BERT作为编码器,提取不同层次的文本表征得到上下文编码,采用卷积收缩门控单元调整编码权重,强化全局相关性,去除无用信息的干扰,过滤后得到最终的编码输出,并通过设计基础Transformer解码模块、共享编码器的解码模块和采用生成式预训练Transformer(GPT)的解码模块3种不同的解码器,加强编码器与解码器的关联,以此探索能生成高质量摘要的模型结构。在LCSTS和CNNDM数据集上的实验结果表明,相比主流基准模型,设计的TCSG、ES-TCSG和GPT-TCSG模型的评价分数增量均不低于1.0,验证了该方法的有效性和可行性。

基于ALBERT-Seq2Seq-Attention模型的数字化档案多标签分类

针对现有的数字化档案多标签分类方法存在分类标签之间缺少关联性的问题,提出一种用于档案多标签分类的深层神经网络模型ALBERT-Seq2Seq-Attention.该模型通过ALBERT(A Little BERT)预训练语言模型内部多层双向的Transfomer结构获取进行文本特征向量的提取,并获得上下文语义信息;将预训练提取的文本特征作为Seq2Seq-Attention(Sequence to Sequence-Attention)模型的输入序列,构建标签字典以获取多标签间的关联关系.将分类模型在3种数据集上分别进行对比实验,结果表明:模型分类的效果F1值均超过90%.该模型不仅能提高档案文本的多标签分类效果,也能关注标签之间的相关关系.

基于并行SDAE-Seq2Seq模型的轴承寿命预测方法

基于数据驱动的轴承寿命预测方法大多需要人工提取退化特征,而且对于不同工况下的轴承需要进行针对性优化,也是依赖专家知识和经验进行特征提取。为此,提出一种并行堆叠降噪自动编码器算法(PSDAE)来提取轴承退化特征,并结合Seq2Seq模型预测轴承剩余寿命。通过PSDAE直接对原始振动信号进行降噪、降维,得到退化特征,通过神经网络的学习和训练自动获得不同工况下的轴承退化特征。其次,引入注意力机制,将提取的特征输入Seq2Seq模型进行训练,并在PHM2012数据集上验证模型的预测效果。实验结果表明:PSDAE通过并行集成方式降低了模型的训练参数和整体误差,提取的退化特征在单调性和可预测性方面优于堆叠降噪自动编码器(SDAE),使用该退化特征有效减少了Seq2Seq模型的预测误差,提高了预测得分,具有更好的预测效果和稳定性。

基于注意力机制优化LSTM-Seq2seq模型的径流模拟研究

实时准确地预测中长期日径流对干旱半干旱地区水资源合理利用具有重要意义。针对长短期记忆网络(long short-term memory,LSTM)模型输入输出时间步长度相等、处理长序列遗忘多、无法按重要程度分配权重等不足,构建了一种基于注意力机制(attention mechanism,Attention)优化的LSTMSeq2seq组合模型(LSTM-Seq2seq-Attention)。该模型将序列到序列模型(sequence to sequence,Seq2seq)中编码器、解码器设置为三层LSTM结构,并在解码器输出序列前引入注意力机制对模型进一步优化。为验证LSTM-Seq2seq-Attention模型的有效性,本研究以党河上游为研究区域,基于历史数据对流域未来1~7 d的日径流进行模拟预测;预测结果与传统的机器学习模型支持向量机(support vector machines,SVM)以及单一的LSTM模型预测结果进行了对比。结果表明:SVM、LSTM和LSTMSeq2seq-Attention模型均可用于短期日径流预测;但相比之下,LSTM-Seq2seq-Attention模型在中长期日径流预测中的预测效果更突出。说明LSTM-Seq2seq-Attention模型较单一模型具备更强的预测能力,可作为干旱半干旱地区中长期日径流预测模拟的可靠工具。