基于T-HDGN模型的对话摘要生成方法

随着对话系统和文本摘要生成技术的发展,生成式对话摘要引起了广泛的关注。由于会话中的信息流至少在2个对话者之间交换,关键信息往往分散在各说话者的不同话语中,因此传统文本摘要模型生成的对话摘要包含冗余或者不正确的内容。针对传统文本摘要模型在生成对话摘要时对会话的上下文理解不充分且难以将说话人与其正确的行动相联系的问题,提出一种基于T-HDGN模型的对话摘要生成方法。利用抽取的行动三元组对会话结构进行显式建模,将话语和行动三元组作为2种不同类型的数据来构建异质对话图,并通过1个异质图网络对这2种信息进行建模。同时,还增加说话人作为异质节点以促进信息流的传播。此外,在解码阶段使用主题词特征辅助摘要的生成。在SAMSum数据集上的实验结果表明,所提方法在ROUGE-1、ROUGE-2、ROUGE-L评价指标上分别达到42.05%、18.09%、39.48%,相比Longest-3、PGN、Fast Abs RL等基线模型,能有效地融合信息并且准确地将说话人与其对应动作相关联。

视频与音频特征融合生成动作指令组的方法研究

为了提高人与机器人的语音交互能力,提出一个基于视频特征与音频特征融合的动作三元组分类的神经网络框架,其本质是从音视频中提取高度概括动作的指令组。该框架包含三个模块,分别是视频特征提取网络模块、音频特征提取网络模块、特征融合模块。视频特征提取网络模块使用I3D网络结构提取视频特征;音频特征提取网络模块使用卷积神经网络以及双向长短期记忆网络提取音频特征;特征融合模块将视频特征和音频特征进行融合并输出动作三元组的分类。通过在制作的动作音视频数据集上的实验证明,所提出的音视频特征融合网络能达到74.92%的准确率,且具有较强的鲁棒性。