基于多任务训练的用户登入语音识别模型仿真

传统用户登入语音识别模型的泛化性能较差,导致语音识别精度不理想。为解决上述问题,构建基于多任务训练的用户登入语音识别模型。利用循环神经网络(Recurrent Neural Network, RNN)的数据处理能力,将多任务学习(Multi-task learning, MTL)应用在循环神经网络中,采用共享隐层学习的方式并行训练多个任务,获取更多共享特征,完成多任务学习,提高循环神经网络泛化性能,构建基于MTL-RNN的语音识别模型,将用户登入连贯语音信息作为模型输入,结合多任务学习结构,通过用户身份、情感和性别的分类输出,实现用户登入语音识别。实验结果表明,上述模型具备较高语音识别准确率,语音识别非加权平均召回率较高,说明引入多任务学习可增强上述模型的语音识别的泛化能力,优化识别精度。

一种多任务联合训练的机器阅读理解模型

在机器阅读理解任务中,如何在包含不可回答问题的情况下提高答案的准确性是自然语言处理领域的一项重要挑战.虽然基于深度学习的机器阅读理解模型展现出很好的性能,但是这些模型仍然存在抽取特征冗余、语义信息不全面、问题分类任务和答案抽取任务耦合性不强的问题.为了解决以上问题,本文提出一种结合门控机制和多级残差结构的多任务联合训练模型GMRT(Gated Mechanism and Multi-level Residual Structure for Multi-task Joint Training),以提升机器阅读理解任务中答案预测的准确性.GMRT构建门控机制来筛选交互后的关联特征,从而控制信息的流动.采用多级残差结构分别连接注意力机制和门控机制,保证每个阶段都保留原始语义信息.同时,通过边缘损失函数对问题分类任务和答案抽取任务联合训练,确保预测答案过程中任务之间的强耦合性.在SQuAD2.0数据集上的实验结果表明,GMRT模型的EM值和F1值均优于对比模型.

基于多任务预训练的AMR文本生成研究

抽象语义表示(abstract meaning representation,简称AMR)文本生成的任务是给定AMR图,生成与其语义一致的文本.相关工作表明,人工标注语料的规模大小直接影响了AMR文本生成的性能.为了降低对人工标注语料的依赖,提出了基于多任务预训练的AMR文本生成方法.特别地,基于大规模自动标注AMR语料,提出与AMR文本生成任务相关的3个预训练任务,分别是AMR降噪自编码、句子降噪自编码以及AMR文本生成任务本身.此外,基于预训练模型,在朴素微调方法的基础上,进一步提出了基于多任务训练的微调方法,使得最终模型不仅适用于AMR文本生成,同时还适用于预训练任务.基于两个AMR标准数据集的实验结果表明:使用0.39M自动标注数据,提出的预训练方法能够大幅度提高AMR文本生成的性能,在AMR2.0和AMR3.0上分别提高了12.27和7.57个BLEU值,性能分别达到40.30和38.97.其中,在AMR2.0上的性能为目前报告的最优值,在AMR3.0上的性能为目前为止首次报告的性能.

基于多任务联合训练的法律文本机器阅读理解模型

随着裁判文书等司法大数据不断积累,如何将人工智能与法律相结合成为了法律智能研究的热点。该文针对2020中国法研杯司法人工智能挑战赛(CAIL2020)的机器阅读理解任务,提出了一种基于多任务联合训练的机器阅读理解模型。该模型将阅读理解任务划分为四个子模块:文本编码模块、答案抽取模块、答案分类模块和支持句子判别模块。此外,该文提出了一种基于TF-IDF的"问题-文章句子"相似度匹配的数据增强方法。该方法对中国法研杯2019的训练集进行重新标注,实现数据增强。通过以上方法,最终该集成模型在2020中国法研杯机器阅读理解任务中联合F1值为74.49,取得全国第一名。

基于多任务神经网络模型的小肠淋巴瘤检测模型

CT影像是小肠淋巴瘤诊断的主要方式,近年来深度学习在医学影像领域得到广泛应用,可以极大的减轻医生的工作量。针对小肠淋巴瘤肿瘤形态位置信息差异性大,样本量较少且产生假阳性较多的特点,该文提出了一种基于多任务神经网络模型的小肠淋巴瘤检测模型,该模型使用间质瘤和DeepLesion数据集作预训练,在检测模型当中引入了分类模块,该模块可以用于剔除掉数据中非小肠区域,同时便于引入无boundingbox的正常人小肠区域的数据,用于降低模型的假阳性率。为了增强模型对于小目标的检测效果,对FPN网络的浅层结构进行了改进。在包含正常人和患者的数据集上的测试结果表明,提出模型在保证检测精度的同时,可以有效降低模型的假阳性率。

基于注意力机制的多任务汉语关键词识别

为了提高语音关键词识别的性能,在无自动语音识别的端到端关键词识别模型的基础上,使用了软注意力机制并结合多任务训练的方式对其进行了改进。改进后的基于注意力机制的关键词识别模型由四部分构成,关键词嵌入模块和声学模块使用软注意力来得到特征向量,判别器模块和分类器模块输入特征向量来进行关键词识别。实验结果表明,改进后模型的准确率分别比基线模型和传统的关键词检索方法高出37.3%和3.1%。

复杂真实环境下的调度电话转录算法研究

调度电话的应答是调度员日常工作的重要部分,也是事故回放审查的重要依据。为了提高事故分析及回放审查的效率,为调度指挥智能化打下基础,提出一种基于注意力机制及连接时序分类联合训练的调度电话转录算法,旨在提高复杂现实环境中调度电话的转录精确率及稳定性。通过在公开数据上添加调度大厅噪音来模拟现场环境,从而测试不同信噪比条件下算法的转录性能。在0 dB、1 dB、5 dB、10 dB的信噪比条件下测试转录错字率,结果分别是17.37%,16.48%,12.46%和9.69%,证明算法在强噪声环境下依旧能够保持稳定。算法包含半监督训练,实验表明,在小规模数据上,半监督训练相较于有监督训练可保证1%~2%的错字率降低。最后,算法在调度电话数据集上进行测试,并取得87.39%的关键字转录正确率。

基于要点匹配的文科主观题通用评分

主观题自动评分是智慧教育创新中的重要环节,逐步成为人工智能与教育行业领域交叉的热门方向之一。该文面向文科要点主观题,提出基于多任务学习的要点匹配评价模型:评估学生作答与标准答案各个要点之间的匹配等级,并抽取其中与要点相对应的具体片段,通过这两个任务的结果同时刻画学生对每个要点的掌握程度,并作为自动评分的关键特征;将要点匹配评价结果与文本相似度特征相结合,实现主观题作答自动评分,在无定标数据的通用评分场景下大幅提升了效果。对比实验证明了相比传统特征,基于要点匹配评价结果的特征在评分模型中更加重要。

基于字体字符属性引导的文本图像编辑方法

针对文本图像编辑任务中编辑前后文字风格样式不一致和生成的新文本可读性不足的问题,提出一种基于字体字符属性引导的文本图像编辑方法。首先,通过字体属性分类器结合字体分类、感知和纹理损失引导文本前景风格样式的生成方向,提升编辑前后的文字风格样式一致性;其次,通过字符属性分类器结合字符分类损失引导文字字形的准确生成,减小文本伪影与生成误差,并提升生成的新文本的可读性;最后,通过端到端微调的训练策略为整个分阶段编辑模型精炼生成结果。对比实验中,所提方法的峰值信噪比(PSNR)、结构相似度(SSIM)分别达到了25.48 dB、0.842,相较于SRNet(Style Retention Network)和SwapText分别提高了2.57 dB、0.055和2.11 dB、0.046;均方误差(MSE)为0.0043,相较于SRNet和SwapText分别降低了0.0031和0.0024。实验结果表明,所提方法能有效提升文本图像编辑的生成效果。

基于交互注意力机制的多模态情感分析模型

提出一种基于交互注意力机制的多任务模型,利用模态间注意力机制、单模态自注意力机制将多模态情感分析和单模态情感分析联合训练,实现充分利用模态间以及各个任务之间信息共享、相互补充、减少噪声以提高整体识别性能的目的。实验证明所提出模型在多模态情感分析公共数据集MOSI和MOSEI上有良好表现。

基于深度学习的面部动作单元识别算法

面部动作单元识别任务是理解人脸表情最重要的环节之一,但因为类别极度不平衡和属于多标签分类等问题,给算法设计带来了不小的困难。针对这些问题设计了一种基于深度学习的面部动作单元识别算法。首先,基于迁移学习理论,以人脸识别任务为目标驱动,使用大规模数据集预训练卷积网络,使模型具有提取人脸抽象特征的能力;其次,设计了一个根据分类置信度来动态加权样本损失大小的目标函数,使得模型更关注于优化少数类样本;最后,结合多标签共现关系拟合和人脸关键点回归两个相关任务,联合训练模型并测试。实验结果表明,该方法在CK+和MMI数据集上能有效提升分类正确率与F1分数。

一种基于单样本的半监督行人重识别方法研究

近年来,监督学习的行人重识别是利用深度学习知识检索特定行人的人工智能技术,由于有监督的行人重识别需要标注数据集中所有样本,耗费了大量的人力物力,不利于行人重识别在实际场景中的应用,因此无监督行人重识别、半监督行人重识别应运而生。针对单样本的半监督行人重识别任务,即每个身份的行人仅标注一个样本,且是不同摄像头下选取的样本。由于行人姿态变化且标签样本数量较少,因此,提取有区分力的特征具有较高的难度。为了解决上述问题,首先将部件分割约束应用到单样本的行人重识别任务;其次设计了多分支网络,包括全局分支和两个局部分支用来提取水平切块的特征和实施部件分割约束,对全局特征进行补充;最后设计损失函数融合,训练过程中通过减小融合后的损失,不断学习有区分力的特征,优化模型。

多语言机器人深度学习模型构建

为了将中英文对话机器人已有的神经语言程序(NLP)能力拓展到更多语言,满足混合语言人机交互场景需求,分析了新语言特性预处理机制,提出了一种多语言机器人深度学习模型.通过多任务联合训练翻译模型构建、引入判别器对抗训练、词向量语料共享、本地化挖掘映射向量空间、跨语言知识蒸馏技术等创新方法,实现了不同语言环境下的知识迁移和自动迭代.实验结果表明,跨语言模型在单语测试和混合语言测试上均达到了预期结果,证明了该模型的有效性.