基于多门混合专家网络的情感分析与文本摘要多任务模型

在目前机器学习应用场景中,大多数方法仍然专注于孤立地学习单个任务,即为每个任务建立一个单独的模型。然而许多现实问题需要多模态的方法来解决,因此需要采用多任务模型。目前多门混合专家网络MMoE在多任务领域取得了不错的效果,然而在针对特定领域的学习仍然存在没有专注于独立任务的信息学习、学习任务之间联系能力不足的问题。为此,文中在多门混合网络专家模型上针对情感分析和文本摘要这一特定领域进行了优化,采用基于解码器的架构针对MMoE的架构进行重构;为解决重新设计架构带来的数据格式和流向变化的问题,同时增加针对任务独有信息的学习,设计了新的门控制网络架构;基于情感分析与文本摘要互助理论,提出两种门控制网络权值修改机制,并通过实验选择性能最佳的机制和参数。最后通过改进前后的性能对比和消融实验,证明了在情感分析和文本摘要领域,所提模型有着更优于MMoE的性能,并且每个优化都对模型性能提升有所贡献。

基于偏正结构表示的加工命名实体识别方法

制造企业积累大量的零件加工经验多以文本形式存在,如何从文本中挖掘出高质量的零件加工知识是个尚待解决的问题。针对待识别实体存在的偏正结构特征,导致实体边界界定模糊的问题,提出一种多网络协调的中文命名实体识别方法。在BERT生成字向量的过程中,通过领域自适应方法,提高字向量对工艺实体的表征能力,同时,在BiLSTM-CRF模型中引入注意力机制和多门控制的混合专家网络捕获上下文特征与实体信息。实验表明,较于当前主流的命名实体识别模型,该文提出的方法对机械零件加工实体识别的F1值达到80.15%,取得优于其他模型的最好性能。