基于自注意力和GRU的锂电池健康状态估计

为了解决锂离子电池使用中特征提取数据不足和模型需要大量历史数据的问题,通过分析锂离子电池使用中的数据,提出了放电过程中基于Self-Attention-GRU的锂离子电池健康状态估计方法。在没有历史数据的锂电池上使用相同型号锂电池历史数据训练的模型估计电池健康状态;拥有一定量老化数据后,使用锂电池自身的老化数据训练模型估计电池健康状态。提取放电过程的等压降放电时间、电压均方根和放电功率作为健康因子,利用融合自注意力机制的门控循环单元建立健康因子和健康状态(SOH)之间的映射关系。使用4组CALCE电池老化数据进行实验验证。模型在20%老化数据作为训练集时MAE和RMSE分别达到1.03%和1.25%;在30%,40%老化数据和相同型号电池全部老化数据作为训练集时模型的MAE和RMSE都小于等于1%。说明该方法在估计锂离子电池健康状态估计方面具有较高的精确性和可靠性。

基于多维数据与深度学习的区域发电碳排放因子预测研究

在碳交易背景下,对电力企业进行实时、准确、全面的碳排放计量是开展发电结构调整、技术创新、供需联动、碳交易等工作的基础。受制于数据采集与传输系统的限制,动态碳排放因子的测算与预测目前仍难以完全实现。采用深度学习方法,将双重注意力机制与传统的门控循环单元(GRU)神经网络融合,构建了GRU-Attention预测模型。以合肥市2022年的电力数据为样本,结合合肥市平均气象数据,对GRU模型、长短时记忆(LSTM)模型、基于双重注意力机制的LSTM-Attention模型和GRU-Attention模型进行训练,以实现小时级别的碳排放因子预测。利用不同的评价指标对4种预测模型进行对比,与GRU,LSTM,LSTM-Attention模型相比,GRU-Attention模型预测精度更高,有助于实现发电碳排放因子的中长期预测。

多因子融合时空图神经网络的交通参数预测

针对路网级交通参数预测时空特性挖掘不足的问题,提出一种多因子融合时空图神经网络(MF-STGNN)。该模型从路网地理拓扑结构、通行能力和道路交通数据相关性3个角度挖掘路网的空间特征,再通过时间模块(GRU)提取时间特征。在多因子空间特征聚合模块(MF-GNN)中,构建了3个因子关联矩阵;将其中的通行能力关联矩阵C和交通数据关联矩阵D输入到基于频域的图卷积网络(GCN)中,将空间近邻矩阵A输入到图注意力网络(GAT)中,分别提取3种不同的空间特征,将3种特征通过通道注意力模型进行融合,通过GRU提取时间特征。使用重庆市渝北区部分区域浮动车数据集进行实验,结果表明:MF-STGNN能够更好地捕捉路网的时空特性,提高预测精度。

基于图注意力网络和天气权重的短时车速预测

城市道路短时车速预测是智能交通系统中的一个重要组成部分,也是城市道路交通信号灯控制、公交调度、出行线路搜索等具体应用任务的基础.目前这方面的研究热点多是使用图卷积神经网络捕获空间特征,再使用直接的线性拼接方法进行特征处理,在准确度上有不足.针对短时车速预测的高准确性要求,提出一种融合图注意力网络、门控循环单元和天气权重因子的深度学习预测模型(Graph Attention Network Based with Weather Weight,W2-GAT).其中,图注意力网络利用注意力机制捕获城市道路空间信息,门控循环单元用于提取车速时间特征,重点关注待预测点周边的路面车速情况;在特征处理方面,将天气因素作为可变权重超参数与具体的道路车速特征进行融合,提高预测的准确性.实验结果表明,和现有模型相比,W2-GAT模型预测结果的均方根误差平均降低7.5%,准确率平均提升4%,能够较好地反映实际路面情况下未来短时的车速特征,为具体应用提供数据支撑.

基于分解门控注意力单元的高效Conformer模型

为利用有限的存储和计算资源,在保证Conformer端到端语音识别模型精度的前提下,减少模型参数量并加快训练和识别速度,构建一个基于分解门控注意力单元与低秩分解的高效Conformer模型。在前馈和卷积模块中,通过低秩分解进行计算加速,提高Conformer模型的泛化能力。在自注意力模块中,使用分解门控注意力单元降低注意力计算复杂度,同时引入余弦加权机制对门控注意力进行加权保证其向邻近位置集中,提高模型识别精度。在AISHELL-1数据集上的实验结果表明,在引入分解门控注意力单元和余弦编码后,该模型的参数量和语音识别字符错误率(CER)明显降低,尤其当参数量被压缩为Conformer端到端语音识别模型的50%后语音识别CER仅增加了0.34个百分点,并且具有较低的计算复杂度和较高的语音识别精度。

融合评论文本和评分矩阵的电影推荐算法研究

针对电影推荐领域评论文本信息在传统推荐中未被充分利用,推荐准确度不高的问题,提出一种融合评论文本和评分矩阵的电影推荐算法.首先通过基于自注意力机制的双向门控循环单元神经网络对电影的高质量评论文本进行建模,提取评论文本中的特征,构建电影评论特征矩阵.同时使用隐语义模型对用户评分矩阵进行分解,得到用户潜在兴趣矩阵和电影潜在特征矩阵.最后通过改进的DeepFM融合电影评论特征矩阵和电影潜在特征矩阵得到电影综合得分并形成推荐列表,以达到推荐的目的.实验结果表明,与其他几种电影推荐算法相比,在AUC、F-Score、RMSE上平均提升分别约7.37%、9.32%、8.23%,最高提升分别为11.60%、15.22%、12.79%.

融合多因素的“时间齿轮”交通流预测模型

为提高交通流预测的准确度,结合城市道路交通的特点,提出一种融合多因素的“时间齿轮”交通流预测模型(TGM),将模型分为2个模块对交通流的影响因素进行特征挖掘。模块1通过深度分析天气因素的影响,挖掘提取天气因素的特征信息;模块2仿照转轴与齿轮的关系,将目标路段及其邻近交叉口各个方向路段的交通流量数据作为时间轴上的轮齿。模型框架采用正反2个方向都加入注意力机制(attention mechanism)的双向门控循环网络(bidirectional gated recurrent unit, Bi-GRU)。结果表明,TGM模型明显优于多种现有模型;与Bi-GRU模型相比,TGM模型对5,15,25 min的预测精度分别提高了4.75%,6.37%和6.73%。因此,TGM模型能够有效提高交通流预测的准确度,具有更优的中长时预测能力,可为交通组织的优化和交通流理论的研究提供帮助。

融合经验模态分解与深度时序模型的股价预测

对股票价格的建模和预测是金融研究领域中一项重要而富有挑战性的工作,它对于投资者降低决策风险,提高投资收益具有重要意义.股票价格序列的非线性、高噪声、强时变性等复杂特性,使得现有的方法无法有效提高预测准确性.为了解决这个问题,本文提出一种基于技术因子经验模态分解与嵌入时间注意力网络(EAN)的股票价格涨跌预测模型TE-EAN.该模型利用经验模态分解对传统技术因子进行分解去噪,得到高频和低频的特征序列.然后将这些具有明显趋势特征的序列映射到新的表示空间中,同时利用深层门控循环单元学习依赖于时间的隐藏嵌入.最后通过时间注意力自适应地聚合时间维度信息以降低信息冗余,实现对股票价格涨跌的预测.同时,针对股票价格序列强时变性的特点采用顺序参数迭代更新的训练方法,进一步提高了预测的准确性.在随机抽取的25只沪深300指数成分股上的实验结果表明,该模型可以有效预测股票价格的涨跌,模型AUC最高达0.732.