-
题名领域数据增强与多粒度语义理解的多轮对话模型
- 1
-
-
作者
刘律民
陈羽中
陈敬添
-
机构
福州大学计算机与大数据学院
福建省网络计算与智能信息处理重点实验室
福建省广播影视集团
-
出处
《小型微型计算机系统》
CSCD
北大核心
2024年第7期1585-1591,共7页
-
基金
福建省科技重大专项专题项目(科教联合)(2021HZ022007)资助
福建省高校产学研合作项目(2021H6022)资助
福建省自然科学基金项目(2020J01494)资助。
-
文摘
检索式多轮对话是多轮对话中一个重要的分支,如何从众多的候选回复中选择出最适合当前上下文的答复是检索式多轮对话的关键问题.近年来,深度神经网络模型在多轮回复选择问题上取得了较大进展.然而,现有模型依然存在对上下文语义理解不准确,缺乏对上下文内部、话语内部蕴含的时序语义关系的学习等问题.针对上述问题,本文提出了一种基于预训练语言模型的多辅助任务优化的学习方法MSE-BERT.首先,通过区间掩码生成任务优化预训练模型,使其更好地适应当前领域的数据集.提出一种辅助任务是token乱序插入任务,该任务通过随机选择上下文中的一句话语并将其内部的token进行随机打乱,然后预测这句话在上下文中原本的位置,多粒度的学习蕴含在上下文之间的时序语义关系.最后,利用BERT特有的位置嵌入和深层注意力机制,提出了一种双向特征融合机制,将所有的局部信息进行融合,进一步优化模型进行回复选择的能力.在Ubuntu和E-commerce数据集上的实验结果表明,MSE-BERT模型的总体性能优于对比模型.
-
关键词
多轮对话
回复选择
辅助任务
语义关系
双向特征融合
-
Keywords
multi-turn conversation
response selection
auxiliary tasks
semantic relationship
bidirectional feature fusion
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-