基于多任务学习的改性双基推进剂的综合性能预测

为满足改性双基推进剂多性能的综合预测需求,本研究提出基于多任务学习的机器学习策略,综合考虑推进剂组分、含量、压强和的粒度对目标性能的影响,首次构建了包含燃速、比冲、特征速度、摩擦感度和撞击感度在内的RDX-CMDB推进剂综合性能预测模型。通过网格寻参模式优化模型,结合十折交叉验证法比较了十种机器学习算法的建模效果。其中,极限梯度提升回归模型预测性能最优,平均R^(2)可达0.9997;在对6个外部样本的测试中,该模型对5个目标性能的预测误差均在5%以内。结果表明,本研究提出的多任务机器学习模型可在试验样本量不足的情况下,实现推进剂的多个目标性能准确预测,对推进剂的综合性能优化和配方设计具有理论指导意义。

基于多任务学习多目标优化的稀土元素组分含量与浓度多维度软测量

稀土混合萃取溶液中各元素组分含量的在线软测量是优化连续萃取生产过程、确保产品高纯化的前提.现有软测量方法可独立求解单个稀土元素组分含量,但忽略了多元素组分含量间或组分含量与其它相关因素(如浓度)间的共性.本文为探索多稀土元素组分含量间及组分含量与浓度间的共性,将多任务学习方法用于稀土元素组分含量软测量中.首先,构建多任务深度神经网络,提高模型的泛化能力和鲁棒性.其次,提出基于多目标优化算法的稀土多元素组分含量预测方法,通过搜索Pareto最优以提升各任务的预测精度.经多组对比实验表明,该方法在多元素组分含量或多元素组分含量与浓度同时训练时性能最佳,能满足稀土元素组分含量在线检测的精确性和实时性.

面向合同信息抽取的动态多任务学习方法

对于合同文本中要素和条款两类信息的准确提取,可以有效提升合同的审查效率,为贸易各方提供便利化服务.然而当前的合同信息抽取方法一般训练单任务模型对要素和条款分别进行抽取,并没有深挖合同文本的特征,忽略了不同任务间的关联性.因此,采用深度神经网络结构对要素抽取和条款抽取两个任务间的相关性进行研究,并提出多任务学习方法.所提方法首先将上述两种任务进行融合,构建一种应用于合同信息抽取的基本多任务学习模型;然后对其进行优化,利用Attention机制进一步挖掘其相关性,形成基于Attention机制的动态多任务学习模型;最后针对篇章级合同文本中复杂的语义环境,在前两者的基础上提出一种融合词汇知识的动态多任务学习模型.实验结果表明,所提方法可以充分捕捉任务间的共享特征,不仅取得了比单任务模型更好的信息抽取结果,而且能够有效解决合同文本中要素与条款间实体嵌套的问题,实现合同要素与条款的信息联合抽取.此外,为了验证该方法的鲁棒性,在多个领域的公开数据集上进行实验,结果表明该方法的效果均优于基线方法.

基于图半监督与多任务学习的配电网故障区段与类型统一辨识

为解决深度学习类配电网故障辨识方法在量测不足和标记率低时准确率不高的问题,提出了基于图半监督与多任务学习的故障区段与类型统一辨识方法。首先,设计了故障区段与类型统一辨识的图神经网络架构,在图嵌入层中融入网络拓扑和线路参数信息,以充分挖掘不同位置、类型的故障特征。其次,采用多任务注意力网络构建了故障区段定位和类型辨识两个任务,以提取故障的多重信息,实现不同任务间知识转移。再次,将图嵌入特征与无标签样本的编码压缩特征进行融合,得到新的多任务共享特征,以充分利用未标记数据,增强模型泛化能力。最后,通过算例测试表明,所提方法的故障辨识精度优于传统神经网络,且在实时量测少、标签率低及不同量测噪声条件下具有更好的鲁棒性。

一种基于改进多任务学习的手背静脉识别方法与系统

针对当前手背静脉识别产品较为缺乏的问题,为了促进深度学习技术在手背静脉识别领域的落地应用,提出一种基于改进多任务学习的手背静脉识别方法,同时开发一套基于软硬件协同的手背静脉识别系统。来自采集手背静脉数据集上的实验结果显示,改进算法在嵌入式设备上能够取得99.59%的准确率、0.437%的等误率、小于1 s的识别时间,足以满足大多数常见应用场景对识别性能的需求,为手背静脉识别方法的落地应用提供了一种有效的解决方案。

基于多任务学习与注意力机制的多层次音频特征情感识别研究

传统音频分类任务仅仅是从单层次音频提取特征向量进行分类,即便使用过大的模型,其过多的参数也会造成特征之间的耦合,不符合特征提取“高聚类,低耦合”的原则。由于注意到一些与情绪相关的协变量并没有得到充分利用,本文在模型中加入性别先验知识;将多层次音频特征分类问题转化为多任务问题进行处理,从而对多层次特征进行解耦再进行分类;针对特征分布的再优化方面设计了一个中心损失模块。通过在IEMOCAP数据集上的实验结果表明,本文提出模型的加权精度(WA)和未加权精度(UA)分别达到了71.94%和73.37%,与原本的多层次模型相比,WA和UA分别提升了1.38%和2.35%。此外,还根据Nlinear和Dlinear算法设计了两个单层次音频特征提取器,在单层次音频特征分类实验中取得了较好的结果。

基于串行及并行多任务学习网络的储层参数评价研究

选取基于串行还是并行多任务学习的储层参数评价网络建模是近期涌现的一个问题.本文以中国西部某油田老区储层参数试验数据为基础,对比20种不同的基础神经元模块组成的多任务学习网络的孔隙度、饱和度和渗透率评价结果,据此提出模型选择策略:确定系数为评价指标,选择串行而不是并行结构网络模型的条件为模型参数量小于1000的参考值;模型参数量大于1000时,串行多任务网络不如并行多任务网络.当平均绝对误差为评价指标时,选取串行多任务的前提是模型参数量小于10000的参考值.模型参数量大于10000时,串行和并行多任务网络结果具有一定相似性.如果平均绝对误差和模型参数量均在允许范围内,两种架构网络均可行.本文旨在为后续不同类型多任务学习网络架构模型设计及应用提供支持.

基于多任务学习的IT运维服务需求语义解析

IT运维服务的自动化水平影响着企业的运营效率,为实现基于无人坐席的智能服务台,提出一种IT运维服务需求语义解析方法,包括意图识别和命名实体识别两个任务。在Multi-BERT-BiLSTM-CRF(MBBC)基准模型之上,通过先验知识和外部资源将词性和实体词典特征融入编码层,增强模型对词法信息和领域知识的学习。对MBBC模型的参数共享方式进行改进,提出增强的MBBC模型模型,增强两个任务之间的信息共享能力。实验表明,与MBBC模型相比,融合词性与实体词典特征并采用增强的MBBC模型可以进一步提升两类任务的识别性能。

基于多任务学习的间质性肺病分割算法

间质性肺病(ILD)的分割标签标注成本极高,且现有数据集通常存在样本量较少的问题,导致训练的模型效果较差。针对该问题,提出一种基于多任务学习的ILD分割算法。首先,基于U-Net构建多任务分割模型;其次,使用生成的肺部分割标签作为辅助任务标签进行多任务学习;最后,使用一种自适应调整多任务损失函数权重的方法,平衡主任务和辅助任务的损失。在自构建的ILD数据集上的实验结果表明,多任务分割模型的Dice相似系数(DSC)达到了82.61%,与U-Net相比提升了2.26个百分点。验证了所提算法可以提升ILD的分割性能,协助临床医生进行ILD诊断。

基于多视角特征提取与多任务学习的光伏功率多步预测

准确的光伏功率多步预测结果对于电网的调度优化具有重要指导意义,针对现有光伏功率多步预测方法对历史数据特征提取不充分、忽略多步预测值之间的关联性而导致的预测精度不足等问题,提出了一种基于多视角特征提取与多任务学习的光伏功率多步预测方法。首先,为获得丰富且全面的特征信息,从时序、局部、全局3个不同的视角对输入数据进行特征提取;其次,将多步光伏功率预测任务转化为多个单步光伏功率预测子任务,使用基于注意力机制与专家网络的多任务学习模型进行多步预测,实现对多步预测值关联性的充分利用;最后,提出了一种改进的动态权重平均法对损失权重进行自适应优化调整,进一步提升模型性能。算例测试结果表明,该方法能够有效提高光伏功率多步预测的准确性。

融合行为词的罪名预测多任务学习模型

随着人工智能技术在司法领域的应用,依据案情描述预测所属罪名成为一项重要研究内容。案情内容术语专业,描述言简意赅,而现有方法却往往依赖文本特征,忽略了不同案件相关要素的差异性,缺乏对案情行为词要素的有效利用。为了解决此类问题,提出一种融合行为词的罪名预测多任务学习模型。首先,由边界识别器生成行为词跨度,提炼出案情核心内容;其次,通过构建行为词的结构特征预测所属罪名;最后,将行为词识别和罪名预测进行统一建模,通过共享参数的方式增强模型的泛化能力。通过构建行为词识别和罪名预测的多任务数据集进行验证,实验结果表明该模型识别行为词任务的F值达到了83.27%,罪名预测任务的F值达到了84.29%,与BERT-CNN模型相比,分别提高了0.57%和2.61%,验证了该模型对行为词识别和罪名预测的优势。

基于多任务学习的民事案件判决预测方法

针对民事案件预测中法律法规组合多样化的问题,提出一种基于多任务学习的民事案件判决预测方法。该方法采用多CNN融合、阈值设定等多种策略,利用案由和法条之间的依赖关系,实现民事案件的案由纠纷和相关法律法规的联合判决预测。基于中国裁判文书公开网的民事案件,构造了10万篇民事文书进行判决预测实验。实验结果表明,相比于传统的预测模型,该方法针对有依赖关系的预测任务更加合理和有效。

基于自适应多任务学习的睡眠生理时序分类方法

针对睡眠阶段与睡眠呼吸暂停低通气之间相关性的问题,提出一种基于自适应多任务学习的睡眠生理时序分类方法。该方法利用单导脑电与心电检测睡眠分期和睡眠呼吸暂停低通气综合征(SAHS),构造双流时间依赖学习模块,在两个任务的联合监督下提取共享特征,设计自适应任务间关联性学习模块,利用通道注意力机制建模睡眠阶段和呼吸暂停低通气之间的相关性。在两个公开数据集上的实验结果表明,所提方法可以同时完成睡眠分期与SAHS检测。在UCD数据集上,所提方法睡眠分期准确率、宏F1分数(MF1)、受试者特性曲线下面积(AUC)与TinySleepNet相比分别提升了1.21个百分点、1.22个百分点和0.0083,SAHS检测的宏F2分数(MF2)、受试者特性曲线下面积、召回率与6-layer CNN模型相比,分别提升了11.08个百分点、0.0537和15.75个百分点,能检出更多患病片段。所提方法可应用于家庭睡眠监测或移动医疗中,实现高效、便捷的睡眠质量评估,辅助医生对SAHS进行初步诊断。

融合多任务学习和实体遮掩的关系三元组抽取模型

针对流水线式三元组抽取模型中,命名实体识别任务里实体识别和实体分类两个子任务之间存在干扰,关系抽取任务中实体提及词对关系分类也存在干扰的问题,提出一种融合多任务学习和实体遮掩的关系三元组抽取模型.在命名实体识别任务中,先利用预训练模型对输入句子进行特征编码表示,然后利用首尾指针标注进行实体识别,最后利用注意力机制融入实体类型信息进行实体分类.在关系抽取任务中,提出了一种实体遮掩的方法,先利用实体类型信息替换实体提及词,并在其前后插入实体标记,之后利用预训练模型对输入句子进行特征编码表示,最后利用头尾实体的特征表示进行关系分类.在SCIERC和SKE两个数据集上进行大量实验,实验结果表明,所提模型相较于基于实体标记方法的PURE模型整体性能提升了2.5和1.5个百分点.充分验证了在三元组抽取任务中,分解命名实体识别任务以及在关系抽取中用实体类型信息替换实体提及词的有效性.

将行为依赖融入多任务学习的个性化推荐模型

多种类型行为数据的引入缓解了协同过滤算法存在的数据稀疏和冷启动问题,在推荐领域被广泛研究和应用。尽管当前对多行为推荐的研究已经取得很大进展,但仍然存在以下问题:未能全面捕获行为之间复杂的依赖关系;忽略了行为特征与用户和项目的相关性。这导致学习到的特征向量无法准确表达用户的兴趣偏好,使得推荐结果存在偏差。为了解决以上问题,提出了将行为依赖融入多任务学习的个性化推荐模型(BDMR),将行为之间复杂的依赖关系分为特征相关性和时序相关性。首先,设置用户个性化行为向量,利用图神经网络处理多个单行为交互图,联合用户、项目和行为特征聚合高阶邻域信息,结合注意力机制学习行为之间的特征相关性;其次,将行为特征和项目特征构成的交互序列输入长短期记忆网络,捕获行为之间的时序相关性;最后,将个性化行为向量融入多任务学习框架获取更加准确的用户、行为和项目特征。为了验证提出模型的性能,在三个真实数据集上进行对比实验,在Yelp数据集上,相较于最优基线,HR和NDCG分别提升了1.5%和2.9%;在ML20M数据集上,HR和NDCG分别提升了2.0%和0.5%;在Tmall数据集上,HR和NDCG分别提升了25.6%和30.2%。实验结果表明,该模型优于其他的基准模型。

基于多任务学习的空管指令复诵生成方法研究

在空管模拟机上实现复诵指令的自动生成能提高模拟机的智能化水平。然而,自然语言中普遍存在的多义词问题会影响到生成任务的质量和效果。为了解决以上问题,提出一种基于多任务学习的指令复诵生成模型。该模型引入多任务学习,以文本指令理解任务来辅助复诵文本生成,通过槽填充和意图理解来约束词汇和语句的语义信息。在训练阶段,引入梯度归一化优化算法,动态更新多任务的损失权重。在真实环境下的空管通话数据集上进行了实验,结果表明,提出的模型对指令复诵的准确性较基线模型有显著的提升。

面向路面抛洒物检测的多任务学习算法研究

针对现有检测算法在定点抛洒物检测方面的不足,提出一种基于多任务学习和图像处理的路面抛洒物检测算法.首先,为YOLOv6s设计一种融合多层语义特征的语义分割头,并为目标检测分支和语义分割分支设计损失函数,进行多任务学习;其次,结合语义分割分支分割连续性的优势以及图像处理的方法,提取完整路面区域;最后,引入结合IoU和质心位置的抛洒物区域识别与排除方法,实现非抛洒物的排除和最终抛洒物区域提取.实验结果表明,在BDD100k数据集上,改进算法在车辆目标检测和可行驶区域分割上分别达到77.8%的平均精度值(mAP)和91.5%的平均交并比(mIoU).

基于多任务学习和单任务学习组合模型的综合能源系统多元负荷预测

针对气象因素对多元负荷变化的灵敏度差异及多元负荷间耦合强度的差异导致多任务学习(multi-tasklearning,MTL)预测模型精度受限的问题,该文提出一种MTL和单任务学习(single-tasklearning,STL)组合的多元负荷预测方法。首先使用基于长短期记忆(long and short-term memory,LSTM)网络的MTL模型提取多元负荷间的耦合信息进行初步预测;然后采用基于前置双重注意力长短期记忆(dual attention before LSTM,DABLSTM)网络的STL模型减少输入噪声进行二次预测;同时将初步的预测值输入STL模型,使得STL模型可以考虑未来的时序信息;最后,通过全连接层对两个模型的预测结果进行融合得到最终的预测结果。实验结果表明,所提组合模型相比单一的MTL和STL模型具有更高的预测精度。

基于多任务学习的青光眼智能诊断

为了提高青光眼检测的准确率,降低青光眼的危害,本文提出一种基于多任务学习的青光眼智能诊断方法,将U-Net网络和VGG16网络结合,U-Net网络和VGG16网络共用U-Net网络的编码器部分,通过U-Net网络得到杯盘比(cup-to-disc ratio,CDR),并且将CDR作为眼底图像的特征之一输入VGG16网络,实现眼底图像的青光眼分类。实验使用REFUGE挑战数据集进行验证,网络模型在训练后得到的工作特性曲线下面积为0.9788,且视盘和视杯的分割准确率分别达到0.8745和0.9624,对比其他使用相同数据集的方法,本方法具有更高的青光眼分类准确率。

基于多任务学习的特征融合跨年龄人脸识别研究

针对跨年龄人脸识别过程中面部纹理和形状随年龄衰老产生变化而使现有识别算法精度下降的问题,提出一种基于多任务学习的特征融合跨年龄人脸识别算法。首先提取人脸随年龄衰老较稳定的多尺度与多关键区域的局部二值特征(Local Binary Patterns,LBP),将其与人脸深度学习模型进行特征融合获得多层次的全局人脸特征,联合年龄有序预测任务与身份分类任务一起优化网络模型。算法在提取融合多层次的人脸特征后,通过年龄预测任务获得年龄特征,将年龄特征经全连接层函数映射为人脸衰老中发生改变的衰老特征,再在人脸全局特征中剔除衰老特征就可得到人脸衰老过程中不变的稳定特征。这种算法在公开的跨年龄人脸数据集上的识别精度较现有算法有了一定提升。