改进BERT词向量的BiLSTM-Attention文本分类模型

在文本的多分类任务中,基于预训练模型的词向量不能很好地学习到文本多样化信息,降低了文本分类任务的准确率。针对该问题,提出了一种基于残差注意力BERT词向量的BiLSTM-Attention文本分类模型。首先,将输入的文本转化为向量特征,利用残差注意力BERT模型提取更加丰富的语义特征词向量信息。接着,利用BiLSTM模型提取特征的上下文联系信息,将BERT模型“[CLS]”对应的输出与BiLSTM模型的输出进行拼接,对特征信息进行深度融合,从而实现特征有效利用。在THUNews数据集上进行性能评估,实验结果表明:所提模型在准确率和F1值指标上均优于现有深度学习模型的结果,具有更优的分类效果。

面向不平衡数据基于高斯混合聚类的SMOTE改进算法

SMOTE算法对于不平衡数据集有较好的分类,但对于类内不平衡情况分类效果欠佳,针对此问题提出一种基于高斯混合模型聚类的SMOTE过采样算法。先利用GMM算法对少数类样本集进行聚类,再删除与聚类中心点重叠的冗余样本,最后根据不同聚簇进行SMOTE过采样,使数据最终平衡。将RF、SMOTE+RF、GMM-SMOTE+RF 3种算法在6组UCI标准的公开数据集上进行分类效果实验,结果表明该模型AUC值平均提高了6.09%,可有效平衡不平衡的数据集。

基于改进EM算法的高斯混合模型图像聚类方法

针对现有高斯混合模型对初始值敏感并容易陷入局部最优值的情况,提出一种基于改进EM算法的高斯混合模型图像聚类方法。该方法首先使用惯性权重先增后减的粒子群完成高斯混合模型参数初始化;然后引入近似骨架理论对EM算法进行改进优化,求解出高斯混合模型的最终参数;最后在图像聚类应用中进行仿真实验。基于改进EM算法的高斯混合模型图像聚类方法,结构相似度相较于标准EM算法、RSEM算法和PSOEM算法分别提升6.31%、4.20%和1.38%;余弦距离值相较于标准EM算法、RSEM算法和PSOEM算法分别提升4.12%、2.69%和0.94%。实验结果表明,该方法能够有效提升局部像素区域的聚类效果,获得聚类边界更加清晰的输出图像。

结合自注意力和残差的BiLSTM_CNN文本分类模型

双向长短期记忆网络(BiLSTM)和卷积神经网络(CNN)很难在文本的多分类任务中提取到足够的文本信息。提出了一种基于自注意力机制(self_attention)和残差网络(ResNet)的BiLSTM_CNN复合模型。通过自注意力赋予卷积运算后信息的权重,接着将池化后的特征信息层归一化并接入残差网络,让模型学习到残差信息,从而进一步提高模型的分类性能。在模型的运算过程中,使用了更加光滑的Mish非线性激活函数代替Relu。通过与深度学习模型对比,所提出的方法在准确率以及F1值评价指标上均优于现有模型,为文本分类问题提供了新的研究思路。

浅析桥梁裂缝产生原因

为了进一步加强对混凝土桥梁裂缝的认识,尽量避免工程中出现危害较大的裂缝,根据多年的经验尽可能对混凝土桥梁裂缝的种类和产生的原因作较全面的分析、总结,以方便设计、施工找出控制裂缝的可行办法,达到防范于未然的作用。