融合情感与语义的多模态对话生成方法

近年来,语音对话等一系列非可视化对话场景在生活中屡见不鲜,比如智能机器人的语音交互、各类客服通过语音对话了解客户需求等.音频中往往蕴含情感信息,而文本中则包含丰富的语义层面的信息,因此基于语音文本多模态特征更能充分挖掘语义及情感信息,生成信息更加丰富的对话响应.当前基于文本和音频的对话生成技术主要基于较传统的Seq2Seq模型实现,生成的响应存在多样性较低、上下文不够连贯等问题.为此,本文提出ATTransformer模型实现文本、音频多模态场景下的对话生成任务.首先使用WordEmbedding对上下文和回复进行词嵌入矩阵的构建,然后使用VGGish对对话音频进行特征提取,接着分别将其输入AT-Transformer模型中,并在多模态注意力机制中实现两种模态特征的融合,最后设计目标函数旨在提高生成语句的多样性.实验分别对情感丰富度、上下文语义相关性和句子连贯性进行评估,相较最优基准模型,情感匹配度提升2%,语义相关性提升0.5%.

基于W-ReLU的设备多工况状态异常检测方法

针对光通信设备在多工况条件下由于健康状态的不确定性导致难以及时发现运行异常的问题,对基于监控日志数据量化分析的设备异常检测方法进行研究,提出了基于加权线性修正函数(W-ReLU)的设备多工况状态异常检测方法.首先采用滑动时间窗口机制对告警日志进行划分,并根据每条日志的类型,将日志子集表征为日志特征向量;然后对健康状态下的样本点进行密度峰值聚类分析,以构建设备的基准健康状态矩阵;最后采用W-ReLU非线性映射模型量化评估设备的异常度,并据此进行异常检测.结果表明,与现有的相似性度量方法相比,该方法具有更高的准确率和稳定性.