融合外部注意力机制的序列到点非侵入式负荷分解

非侵入式负荷分解可以深度挖掘用户电力消耗数据蕴含的信息价值,为电力设备故障监测、需求响应等决策分析提供重要参考.为有效解决非侵入式负荷分解算法训练时间成本与分解精度间的冲突,提出一种融合外部注意力机制的序列到点非侵入式负荷分解算法.首先,将总负荷功率消耗序列进行数据清理、标准化等预处理,以固定窗口长度构建训练输入数据,输入数据通过编码层自动提取设备特征;然后,设计外部注意力机制增强重要特征权值;最终,输入到解码层得到负荷分解结果.利用REDD与UK-DALE两种公开数据集进行模型仿真计算,在信号聚合误差、平均绝对误差、标准化分解误差指标、模型分解曲线、特征图和用户耗能等方面进行对比分析,本文模型克服了卷积层注意力分散的缺点,增强了对有效信息的提取与利用能力,在未增加训练时间成本的前提下具有更高的分解精度.

基于Bi-GRU和外部注意网络的会话推荐模型

基于会话的推荐系统(SRS)可以根据匿名用户的历史行为序列预测用户的下一个动作。现有推荐模型大都会忽略当前会话与其他会话的潜在相关性,不能捕捉用户的主要意图。为解决该问题,提出一种基于Bi-GRU和外部注意网络的会话推荐模型(SR-BGEAN)。该模型首次将外部注意机制引入会话推荐任务中,并结合Bi-GRU进行建模,同时捕获会话内物品双向顺序信息和会话样本间全局信息,形成最终的兴趣表示。在Diginetica和Yoochoose数据集上的实验结果表明,相对最优的基线模型,SR-BGEAN模型在推荐的前20个项目中的命中率更高,可达到71.50%。

基于图偏差网络的外部自编码器时间序列异常检测

随着互联网和连接技术的提高,传感器产生的数据逐渐趋于复杂化.深度学习方法在处理高维数据的异常检测方面取得较好的进展,图偏差网络(graph deviation network,GDN)学习传感器节点之间关系来预测异常,并取得一定的效果.针对图偏差网络模型缺少对时间依赖性以及异常数据不稳定的处理,提出了基于图偏差网络的外部自编码器模型(graph deviation network-based external attention autoencoder,AEEA-GDN)深度提取表征,此外在模型训练时引入自适应学习机制,帮助网络更好地适应异常数据的变化.在3个现实收集传感器数据集上的实验结果表明,基于图偏差网络的外部自编码器模型比基线方法更准确地检测异常,且总体性能更优.

基于多模态迭代及修正的文本识别算法

针对场景文本识别在长距离建模时容易产生信息丢失和对低分辨率文本图像表征能力较弱的问题,提出了一种基于多模态迭代及修正的文本识别算法。本文算法的视觉模型(vision model)是由CoTNet(contextual transformer networks for visual recognition)、动态卷积注意力模块(dynamic convolution attention module,DCAM)、EA-Encoder(external attention encoder)和位置注意力机制组合而成的。其中CoTNet可以有效起到缓解长距离建模产生的信息丢失问题;DCAM在增强表征能力、专注于重要特征的同时,将重要的特征传给EA-Encoder,进而提高CoTNet和EA-Encoder之间的联系;EA-Encoder可以学习整个数据集上最优区分度的特征,捕获最有语义信息的部分,进而增强表征能力。经过视觉模型后,再经过文本修正模块(text correction model)和融合模块(fusion model)得到最终的识别结果。实验数据显示,本文所提出的算法在多个公共场景文本数据集上表现良好,尤其是在不规则数据集ICDAR2015上准确率高达85.9%。

基于改进GRU的电动汽车续驶里程预测

电动汽车续驶里程预测是驾驶者最关心的问题之一,为解决现有预测算法模型精度低、相对误差大,无法有效缓解用户“里程焦虑”的问题。提出了基于改进GRU的电动汽车续驶里程智能预测方法,该模型引入双向记忆改进策略、多尺度深度特征提取策略和多头外部注意力机制改进策略,实现续驶里程精准预测的同时保证预测实时性。消融实验表明,3个改进策略均能有效提升预测准确度,共同作用时,MSE误差较改进前降低72.2%;对比实验表明,该算法的MAE误差仅为9.82,优于主流深度学习预测算法,且预测速度能够满足实时性需求。该算法进一步实现电动汽车续驶里程的准确预测,为电动汽车的信息化管控和智能化建设提供指导意见,具有突出的工程应用意义。