基于动态图注意力的风电场组合预测模型

为了实现风电场用能管理的高效调度,充分提取多站点间时空特征的潜在联系,提出一种基于动态图卷积和图注意力的多站点短期风电功率时空组合预测模型。使用图卷积实现多站点间时序特征的邻居聚合,并使用图注意力机制加强其对空间特征的提取能力。同时,针对传统模型无法处理图节点关联性实时变化的问题,先在图卷积过程中依据站点间的相关系数和距离动态构建邻接矩阵,再使用门控循环单元处理动态图卷积输出的上下文信息,最后完成风电功率预测。实验结果表明,所提出的组合模型在预测精度、稳定性和多步预测性能方面均最优。

DistillBIGRU:基于知识蒸馏的文本分类模型

文本分类模型可分为预训练语言模型和非预训练语言模型,预训练语言模型的分类效果较好,但模型包含的参数量庞大,对硬件算力的要求较高,限制了其在许多下游任务中的使用。非预训练语言模型结构相对简单,推算速度快,对部署环境的要求低,但效果较差。针对以上问题,该文提出了基于知识蒸馏的文本分类模型DistillBIGRU,构建MPNetGCN模型作为教师模型,选择双向门控循环单元网络作为学生模型,通过知识蒸馏得到最终模型DistillBIGRU。在多个数据集上教师模型MPNetGCN的平均分类准确率相比BERTGCN提高了1.3%,DistillBIGRU模型在参数量约为BERT-Base模型1/9的条件下,达到了与BERT-Base模型相当的文本分类效果。