基于Bi-LSTM/Bi-GRU循环神经网络的锂电池SOC估计

锂电池的荷电状态(state-of-charge,SOC)涉及的物理特性或电化学特性高度复杂,其值一般难以直接测量,基于深度神经网络等新方法的SOC估计近期为相关研究者所关注。为进一步提升SOC估计性能,有效捕获锂电池SOC的动态物理特性,缓解深度神经网络模型容易发生的梯度消失与梯度爆炸等问题,本文引入双向学习策略,基于双向长短期记忆循环神经网络(bidirectional long short-term memory,Bi-LSTM)以及双向门控循环单元网络(bidirectional gated recurrent unit,Bi-GRU)估计锂电池的SOC取值。双向循环神经网络SOC估计模型由输入层、隐藏层和输出层组成。输入层输入电池电压、电流与温度序列;隐藏层在正向LSTM/GRU层的基础上增加反向LSTM/GRU层,引入逆序信息,基于输入序列上下文所含信息整体上学习、表征电池特性序列与SOC序列之间的内在关联;输出层输出模型的估计值。所拟模型使用Python语言结合TensorFlow后端在Keras框架中实现,并基于基准数据集在3种温度条件下结合多种工况进行性能分析。结果表明,双向学习策略能有效提升锂电池SOC的估计性能,较之单向学习模型具有更高的估计精度与鲁棒性。与构造电池等效模型等方法的思路不同,所拟方法基于数据驱动学习锂电池SOC的非线性特性,将易于观测的锂电池特性序列数据映射为待估计的SOC取值,为锂电池SOC估计提供了可能的新思路。

基于规则约束的深度学习网络用于文本信息抽取

针对文本信息抽取中由于训练样本不足导致性能下降的问题,提出一种基于规矩约束的深度学习网络模型。模型分为深度学习模块、逻辑规则库和差异单元3个部分。将文本句子作为输入数据馈送到学习模块中,基于Bi-GRU网络和多头自注意力机制在多个维度上为每个单词生成一个预测向量;规则库采用带权重的逻辑规则对深度学习进行约束;差异单元利用损失函数协调学习模块与规则库之间的一致性。实验结果表明,所提模型比其它算法具有更好的性能,能够高效精确处理复杂文本。

基于分层欠采样和Bi-GRU的恶意行为检测模型

为解决类不平衡和样本重叠问题,提出一种基于分层欠采样和Bi-GRU的恶意行为检测模型(SSU-BG)。数据预处理及特征模型的构建;基于欧氏距离算法统计出高频样本的最高密度点及类内平均距离,根据样本分布特点将高频类样本依次划分为稀疏区、稀疏区边界区及稠密区3个区域,根据抽取出样本标签数在稠密区内划分出不同层次圆环,计算每个类的不均衡度,计算其均值作为整个样本的采样比例,按照此时的采样比例在稀疏区边界区的圆环域和稠密区进行分层随机欠采样;将文本向量输入训练好的Bi-GRU模型中。实验结果表明,该模型改善了整体检测效果,提高了恶意评论检测率。

融合语义增强的中文短文本分类方法研究

中文短文本具有长度短以及上下文依赖强的特点。目前主流的基于词向量的双向循环神经网络分类方法依赖于词向量语义表达以及上下文特征提取能力,其分类准确率有待进一步改善。针对此问题,论文提出融合语义增强的中文短文本分类方法,该方法提出融合语义增强的思想,在词向量表示阶段,引入Bert生成融合字、文本以及位置的向量作为训练文本的词表征进行文本语义增强,接着输送到Bi-GRU网络中提取上下文关系特征,并通过多头注意力机制调整权值强化重要特征表达,最后使用softmax分类器进行文本分类。通过与其他主流方法进行对比论证,实验表明,论文提出的方法在短文本分类效果上有显著提升。