基于深度多任务学习的图像美感与情感联合预测研究

图像美学评价和情感分析任务旨在使计算机可以辨认人类由受到图像视觉刺激而产生的审美和情感反应.现有研究通常将它们当作两个相互独立的任务.但是,人类的美感与情感反应并不是孤立出现的;相反,在心理认知层面上,两种感受的出现应是相互关联和相互影响的.受此启发,采用深度多任务学习方法在统一的框架下处理图像美学评价和情感分析任务,深入探索两个任务间的内在关联.具体来说,提出一种自适应特征交互模块将两个单任务的基干网络进行关联,以完成图像美学评价和情感分析任务的联合预测.该模块中引入了一种特征动态交互机制,可以根据任务间的特征依赖关系自适应地决定任务间需要进行特征交互的程度.在多任务网络结构的参数更新过程中,根据美学评价与情感分析任务的学习复杂度和收敛速度等差异,提出一种任务间梯度平衡策略,以保证各个任务可以在联合预测的框架下平衡学习.此外,构建了一个大规模的图像美学情感联合数据集UAE.据已有研究,该数据集是首个同时包含美感和情感标签的图像集合.本模型代码以及UAE数据集已经公布在https://github.com/zhenshen-mla/Aesthetic-Emotion-Dataset.

自适应重加权池化深度多任务学习的表情识别

为实现表情准确且快速的识别,提出一种自适应重加权池化深度多任务学习(DMTL)的表情识别。设计孪生神经网络,通过自适应重加权模块动态调整缩放概率参数,得到具有不同置信度的类别标签信息。改进自适应池化方法,根据样本及训练过程变化情况选取合适参数,提高特征提取的灵活性。结合类别标签信息和样本局部空间分布信息,利用改进型判别式DMTL进行人脸表情识别。基于CK+、MMI和FER2013数据集对所提方法进行实验论证,实验结果表明,其识别率在3个数据集上的识别率分别是95.2%、84.1%和73.6%,执行时间为0.082 s,均优于其它对比方法。

融合电网运行场景聚类的多任务深度强化学习优化调度

“双碳”目标和新型电力系统建设背景下,新能源的高渗透率接入导致电力系统随机性显著增大、运行方式的分布复杂多样,传统单任务深度强化学习难以自适应源荷两侧的高随机性,调度决策难以满足新型电力系统对风光消纳、功率平衡需求。为此,该文提出融合电网运行场景聚类的多任务深度强化学习优化调度方法。该方法离线训练时利用空间聚类和决策树辨识海量调度运行数据的典型运行场景与重要特征,并构建甄别场景类别的多层感知机分类器;再依据场景类别建立和划分融合聚类多任务深度强化学习模型,从数据源到状态动作设计差异化训练各子任务学习器与模型;在线决策时利用分类器辨识有限运行数据的场景类别,调用模型快速求解实时调度任务,实现高随机场景下的多任务快速迁移学习,保证电力系统优化调度决策的最优性。该文通过算例验证了该方法的解的可行性与经济性。实验结果表明,融合电网运行场景聚类的多任务深度强化学习优化调度算法较单任务算法能够明显提升调度决策经济效益。

基于多任务深度学习的WSN级联故障识别研究

为了解决传统无线传感器网络级联故障识别方法存在的正确率较低、耗时较多等问题,提出了一种基于多任务深度学习的无线传感器网络级联故障识别新方法。它不仅能计算无线传感器网络节点负载和采用负载重分发策略调整节点负载,还可根据节点负载调整结果并利用指数型关系函数优化的流量调整方法使调整参数达到最优情况下构建无线传感器网络负载模型。另外,文中还建立了一种多任务深度学习新模型,采用了联合训练方式对模型进行训练并利用批归一化的手段来优化模型,将无线传感器网络负载数据输入到优化后的模型中从而得到无线传感器网络级联故障识别结果。实验结果表明,设计的新方法识别正确率为90.2%,识别时间消耗平均值为0.73s,能够实现无线传感器网络级联故障精准快速识别。

基于多任务深度学习的齿轮箱多故障诊断方法

机械故障诊断领域已进入了“大数据”时代,且深度学习以其强大的自适应特征提取和分类能力也在机械大数据处理方面取得了丰硕的成果。然而这些研究均运用在单标签体系下,诊断单一目标故障。在大数据背景下,单标签体系不仅割裂了机械装备不同目标故障之间的联系,也难以完整描述装备故障位置、类型、程度等种类繁多的健康状态信息。提出了一种基于多任务深度学习模型的诊断方法,对齿轮箱的轴承及齿轮这两种目标的故障同时进行诊断。其优势在于通过单独的任务层,能够从同一信号中自适应的提取不同目标的特征,并进行诊断。实验结果表明,该方法实现了在多种工况,大量样本下对齿轮箱内轴承和齿轮不同故障的准确诊断。

一种轴承故障诊断的多任务深度学习方法

提出一种基于多任务深度学习的故障诊断方法,将故障诊断任务分为故障分类和损伤程度识别。共享层采用卷积神经网络提取监测振动信号中蕴含的故障特征信息,两个子任务模块使用门控循环单元从共享层的输出中进一步提取特征,进行故障分类和损伤程度识别。在多任务深度学习方法中两个子任务模块可以通过共享层相互影响,提高模型的特征提取能力,获得更好的故障诊断性能。在轴承数据集上进行故障诊断实验,同时与故障分类单任务模型和损伤程度识别单任务模型进行对比,以检验多任务深度学习方法的故障诊断性能,实验结果显示多任务深度学习模型在测试集上两个任务同时正确的准确率为99.79%。为进一步验证多任务深度学习方法的特征提取能力,在测试集中添加不同程度的高斯噪声进行故障诊断实验,在较强噪声情况下,多任务深度学习模型的准确率明显高于单任务深度学习模型。研究结果表明,多任务深度学习模型与单任务深度学习模型相比故障诊断准确率更高,同时抗噪性能更好,具有一定的实用价值。

融合多任务深度学习与主动学习的民航常旅客缺失数据填补

针对用溯源法主动对数据记录进行真实值填补成本较高的问题,结合多任务学习与主动学习的优势,提出一种深度多任务主动学习网络,将缺失数据填补任务与常旅客价值分类任务同时进行训练。此外,考虑到生产大数据环境,提出一种基于Spark的主动填补运行机制,使得深度多任务网络模型能在大数据环境下高效运行。实验表明,模型在不损失数据填补和分类性能的前提下,模型可有效降低所需训练数据的规模,进而减少训练模型所需时间以及人工标记样本所耗费的人力成本。

基于级联多任务深度学习的卡口识别引擎研究

针对在将卡口非结构化视频图像数据转化为智能结构化信息的过程中存在环境的复杂性、需求的多样性、任务的关联性和识别的实时性等问题,提出了一种级联多任务深度学习网络的卡口识别引擎方法,其通过充分利用分割、检测、识别等任务之间的相互联系实现了高精度的、高效的、同步实时的卡口车辆多种基本信息的识别(车型、品牌、车系、车身颜色以及车牌等识别任务)。首先,利用深度卷积神经网络自动完成车型的深度特征学习,在特征图上进行逻辑回归,从卡口道路复杂背景中提取出感兴趣区域(包括多车辆对象);然后,利用多任务深度学习网络对提取出来的车辆对象实现多层次的多任务识别。实验结果表明,提出的方法在识别精度和效率上都明显优于传统计算机视觉方法和现有的基于深度学习的识别引擎技术,该方法对车型、品牌、车系及车牌的识别与检测精度均达到98%以上,检测效率提升了1.6倍。

多任务学习

随着图像处理,语音识别等人工智能技术的发展,很多学习方法尤其是采用深度学习框架的方法取得了优异的性能,在精度和速度方面有了很大的提升,但随之带来的问题也很明显,这些学习方法如果要获得稳定的学习效果,往往需要使用数量庞大的标注数据进行充分训练,否则就会出现欠拟合的情况而导致学习性能的下降.因此,随着任务复杂程度和数据规模的增加,对人工标注数据的数量和质量也提出了更高的要求,造成了标注成本和难度的增大.同时,单一任务的独立学习往往忽略了来自其它任务的经验信息,致使训练冗余重复和学习资源的浪费,也限制了其性能的提升.为了缓解这些问题,属于迁移学习范畴的多任务学习方法逐渐引起了研究者的重视.与单任务学习只使用单个任务的样本信息不同,多任务学习假设不同任务数据分布之间存在一定的相似性,在此基础上通过共同训练和优化建立任务之间的联系.这种训练模式充分促进任务之间的信息交换并达到了相互学习的目的,尤其是在各自任务样本容量有限的条件下,各个任务可以从其它任务获得一定的启发,借助于学习过程中的信息迁移能间接利用其它任务的数据,从而缓解了对大量标注数据的依赖,也达到了提升各自任务学习性能的目的.在此背景之下,本文首先介绍了相关任务的概念,并按照功能的不同对相关任务的类型进行划分,之后对它们的特点进行了逐一描述.然后,本文按照数据的处理模式和任务关系的建模过程不同将当前的主流算法划分为两大类:结构化多任务学习算法和深度多任务学习算法.其中,结构化多任务学习算法采用线性模型,可以直接针对数据进行结构假设并且使用原有标注特征表述任务关系,同时,又可根据学习对象的不同将其细分为基于任务层面和基于特征层面两种不同结构,每种结构有判别式方法和生成式方法两种实现手段.与结构化多任务学习算法的建模过程不同,深度多任务学习算法利用经过多层特征抽象后的深层次信息进行任务关系描述,通过处理特定网络层中的参数达到信息共享的目的.紧接着,以两大类算法作为主线,本文详细分析了不同建模方法中对任务关系的结构假设、实现途径、各自的优缺点以及方法之间的联系.最后,本文总结了任务之间相似性及其紧密程度的判别依据,并且分析了多任务作用机制的有效性和内在成因,从归纳偏置和动态求解等角度阐述了多任务信息迁移的特点.

基于深度学习的遥感影像耕地地块边界提取应用

基于深度学习的方法从遥感影像中自动提取耕地地块信息具有较大的应用潜力,相关研究人员针对遥感影像上耕地地块信息提取应用提出了各种网络模型与方法,但缺少对相关研究成果的全面综述。总结了国内外关于深度学习方法在遥感影像耕地地块信息提取应用上的相关研究成果,重点对不同网络模型从遥感影像上提取耕地地块信息时存在的优缺点和问题进行了总结和分析。

基于多任务约束深度学习的水工隧洞缺陷检测方法研究

由于水工隧洞环境复杂、缺陷类型多,数字图像处理技术在隧洞巡检中的应用存在缺陷识别精度低、鲁棒性差等问题。为此,提出了基于多任务约束深度学习的水工隧洞缺陷自动检测方法。该方法在Faster R-CNN深度学习原理的基础上,结合原始目标检测的定位约束、类别约束,增加特征到影像恢复的约束,可以较完整地保留图像以及缺陷特征信息,从而解决部分水工隧洞缺陷样本不全而引起的特征提取不鲁棒的问题。测试结果表明:多任务约束的Faster R-CNN深度学习方法能够较好地识别裂缝、渗水、掉块等多种病害缺陷,有效提高了识别精度,为水工隧洞工程缺陷检测提供了可靠方法。

基于Faster RCNNH的多任务分层图像检索技术

针对已有的以图搜图技术中自动化和智能化水平低、缺乏深度学习、难以获取精确的检索结果、检索技术存储空间消耗大、检索速度慢且难以满足大数据时代的图像检索需求等问题,提出了一种基于Faster RCNNH(Faster RCNN Hash)的多任务分层图像检索方法。首先利用选择性检索网络在特征图上进行逻辑回归,得到图像中各感兴趣区域的概率向量,在此基础上结合紧凑量化网络对其进行编码,得到图像紧凑量化哈希码;其次利用再次筛选网络获取各感兴趣区域中响应最大的区域感知语义特征;接着针对每个感兴趣区域,基于量化哈希h矩阵的精检索策略来对图像进行快速比对;最后选出与查询图像中的对应感兴趣区域最相似的图像。提出的多任务学习方法不仅能同时得到图像紧凑量化哈希码和区域感知语义特征,还能有效去除图像背景和其他对象信息的干扰。实验结果表明:所提方法能实现端到端的训练,自动选出更高质量的感兴趣区域特征,提高了大规模图像检索的自动化和智能化水平,其检索精度(0.9478)与检索速度(0.306s)均明显优于现有的大规模图像检索技术。