基于多任务联合学习的弱光场景人脸检测算法

弱光场景中的人脸检测指在弱光条件下使用图像处理技术检测人脸。目前,大多数弱光环境下的人脸检测算法通常先将弱光图像进行增强再进行人脸检测,忽略了人脸检测和图像增强任务之间的特征相关性,从而影响了模型泛化能力。受EnlightenGAN算法的启发,文中提出一种适用于弱光环境人脸检测的多任务联合学习算法:首先融合人脸检测和图像增强的输入层共享表示;其次将人脸注意力网络和EnlightenGAN相结合,在全局-局部判别器的基础上增加用于人脸区域判定的局部判别器;最后在自正则化注意力图的基础上增加光照权重参数,通过调节使人脸检测的精度达到最佳值。在DARK FACE数据集上的实验结果表明,与现有算法相比,所提算法的人脸检测精度提升了1.92%,同时能够很好地提升弱光图像视觉质量。

基于多任务联合学习的多片段机器阅读理解方法研究

片段抽取式阅读理解是机器阅读理解任务中的一项重要研究内容,现有的相关研究主要关注单片段抽取,然而,实际应用中很多阅读理解问题的答案由文本的多处不连续片段组成,这使得多片段抽取式阅读理解研究受到越来越多的关注。已有的多片段抽取式阅读理解研究大都采用序列标注的方法,该方法不能有效识别多片段问题类型,常常对不同类型的问题给出多个答案片段。为此,该文提出一种结合动态预测片段数量和序列标注的多任务联合学习方法。其中,动态预测片段数量能较为准确地识别出多片段问题类型;序列标注能够实现多个答案片段的有效定位。同时,为了进一步增强现有模型的泛化能力,该文在模型训练中构造了对抗训练和两阶段训练方式。在2021中国法律智能技术评测(Challenge of AI in Law 2021,CAIL2021)数据集和QUOREF数据集上的实验结果表明,该文提出的方法相比基线模型取得了更好的效果。

基于注意力机制与多任务的肺部疾病诊断方法

肺部疾病存在种类多、病灶区域小的特点,现有数据集也存在数据量小的问题,导致模型效果不理想。为提高诊断效果,提出一种基于多任务联合注意力机制的肺部诊断网络(ASNet)。基于U-Net构建多任务诊断网络,在原有病灶分割任务基础上加入病理分类任务,加强任务之间的联系,以分割任务为辅,提升分类任务准确率;提出多尺度挤压激励模块,加强空间和通道之间的信息融合;引入一种轴向注意力机制,强调全局上下文信息和位置信息缓解由于医疗数据匮乏引起的欠拟合问题;设计自适应多任务混合损失函数,实现分割和分类任务损失权重的均衡。在自建数据集上的实验结果表明,提出网络在病灶分割任务上的Dice系数、特异性(SP)、灵敏度(SE)、HD距离和准确率的平均结果分别为81.1%、99.0%、84.1%、24.6 mm和97.5%,优于SAUNet++、SwinUnet等其他先进分割网络;在病理分类任务上比MobileNetV2网络在精确率、召回率和准确率指标上分别提升了2.0、1.8和1.7百分点,明显提升了在分类和分割上的精度,对小目标病灶分割效果更佳,其在合理的参数量下更适用于协助肺部疾病诊断。

面向任务型对话机器人的多任务联合模型研究

在任务型对话机器人的搭建过程中,一般需要执行多个自然语言处理的子任务。目前传统的训练方式是将每个子任务独立训练后再进行整合,这样忽视了不同子任务之间的关联性,限制了模型的预测能力。现提出一种Joint-RoBERTa-WWM-of-Theseus压缩联合模型,一方面通过多任务联合学习训练的方式对意图识别、行业识别和语义槽填充3个子任务进行联合训练,并在多分类的子任务中引入Focal loss机制来解决数据分布不平衡的问题;另一方面,模型通过Theseus方法进行压缩,在略微损失精度的前提下,大幅提高模型预测速度,提高模型在生产环境中的实时性与实用性。

多任务金字塔重叠匹配的行人重识别方法

针对基于局部特征的行人重识别方法在行人错位和姿态变化时识别精度较低的问题,提出一种采用多任务金字塔重叠匹配特征的重识别方法。在训练阶段,使用改进的ResNes50作为主干网络提取特征图,将其切分组合形成金字塔重叠匹配网络,获得全局特征向量并经全局平均池化得到包含多尺度特征的多个局部特征向量,联合使用Softmax损失函数、三元组损失函数和中心损失函数学习全局和局部特征向量,并利用特征归一化层减少损失函数学习目标冲突的影响。在推理阶段,将多个局部特征向量融合为一个新特征向量进行相似性匹配,以获取更好的匹配结果。在Market1501、DukeMTMC-reID和CUHK03数据集上的实验结果表明,与PSE、MultiScale等主流重识别方法相比,该方法重识别精度更高,提取的特征具有较好的鲁棒性和识别度。

联合多任务学习的人脸超分辨率重建

目的人脸超分辨率重建是特定应用领域的超分辨率问题,为了充分利用面部先验知识,提出一种基于多任务联合学习的深度人脸超分辨率重建算法。方法首先使用残差学习和对称式跨层连接网络提取低分辨率人脸的多层次特征,根据不同任务的学习难易程度设置损失权重和损失阈值,对网络进行多属性联合学习训练。然后使用感知损失函数衡量HR(high-resolution)图像与SR(super-resolution)图像在语义层面的差距,并论证感知损失在提高人脸语义信息重建效果方面的有效性。最后对人脸属性数据集进行增强,在此基础上进行联合多任务学习,以获得视觉感知效果更加真实的超分辨率结果。结果使用峰值信噪比(PSNR)和结构相似度(SSIM)两个客观评价标准对实验结果进行评价,并与其他主流方法进行对比。实验结果显示,在人脸属性数据集(Celeb A)上,在放大8倍时,与通用超分辨率MemNet(persistent memory network)算法和人脸超分辨率FSRNet(end-to-end learning face super-resolution network)算法相比,本文算法的PSNR分别提升约2.15 d B和1.2 d B。结论实验数据与效果图表明本文算法可以更好地利用人脸先验知识,产生在视觉感知上更加真实和清晰的人脸边缘和纹理细节。

全局和局部信息融合的案情关键要素识别

司法人工智能中主要挑战性问题之一是案情关键要素识别,现有方法仅将案情要素作为一个命名实体识别任务,导致识别出的多数信息是无关的.另外,也缺乏对文本的全局信息和词汇局部信息的有效利用,导致要素边界识别的效果不佳.针对这些问题,提出一种融合全局和局部信息的关键案情要素识别方法.所提方法首先利用BERT模型作为司法文本的输入共享层以提取文本特征.然后,在共享层之上建立司法案情要素识别、司法文本分类(全局信息)、司法中文分词(局部信息)这3个子任务进行联合学习模型.最后,在两个公开数据集上测试所提方法的效果,结果表明:所提方法F1值均超过了现有的先进方法,提高了要素实体分类的准确率并减少了识别边界错误问题.