多任务学习孪生网络的遥感影像多类变化检测

精确掌握土地覆盖/利用的变化及变化类型对国土空间规划、生态环境监测、灾害评估等有着重要意义,然而现有大部分变化检测研究主要关注二值变化检测。为此,该文首先提出了一种多任务学习深度孪生网络用于遥感影像的多类变化检测。首先提出面向对象的无监督变化检测方法,选择出新、旧时相影像中最有可能发生变化和最不可能发生变化的区域,并作为多任务学习深度孪生网络的样本;其次,采用多任务学习深度孪生网络模型同时对新、旧时相的土地利用图以及新、旧时相的二值变化图这3个任务模型进行学习和预测;最后,基于模型预测的新、旧时相土地利用图及新、旧时相的二值变化图获取最终的多类变化检测结果。采用第三次全国国土调查的影像数据和相应的土地利用图斑数据对多任务学习深度孪生网络模型进行了测试,结果表明所提出的方法适用于这种在没有变化、未变化样本而有历史专题图的变化检测场景中。

基于多任务自编码器的计算机网络课程资源整合方法

由于计算机网络课程资源构成复杂多元,整合后的资源差错率难以有效控制。为此,提出了基于多任务自编码器的计算机网络课程资源整合方法研究。在构建多任务自编码器阶段,引入神经网络辅助,使自编码器能够敏锐捕捉计算机网络课程资源之间的规律,并确定最优编码映射,为目标教学内容与计算机网络课程资源构建专门的编码单元。通过多层隐藏层处理输入的单热向量(计算机网络课程资源),最终输出学习的码字信息。在整合阶段,以目标教学内容为核心,将具有与目标一致编码的教学资源作为最终整合结果。测试结果显示,资源差错率始终稳定在5.0%以内,与对照组相比具有明显优势,显著提升了教学效率和质量,促进了教学创新,对提升计算机网络课程的教学效果具有重要意义。

基于图嵌入编码形态信息的非均匀多任务强化学习方法

传统强化学习方法存在效率低下、泛化性能差、策略模型不可迁移的问题。针对此问题,提出了一种非均匀多任务强化学习方法,通过学习多个强化任务提升效率和泛化性能,将智能体形态构建为图,利用图神经网络能处理任意连接和大小的图来解决状态和动作空间维度不同的非均匀任务,突破模型不可迁移的局限,充分发挥图神经网络天然地利用图结构归纳偏差的优点,实现了模型高效训练和泛化性能提升,并可快速迁移到新任务。多任务学习实验结果表明,与以往方法相比,该方法在多任务学习和迁移学习实验中均表现出更好的性能,在迁移学习实验中展现出更准确的知识迁移。通过引入图结构偏差,使该方法具备更高的效率和更好的迁移泛化性能。

基于图卷积的多任务Web服务QoS预测

为满足用户对Web服务的高质量要求,提出一种基于图卷积的Web服务QoS预测算法,结合多任务学习使算法可以在一次预测中得到两种属性的QoS值。挖掘用户和服务之间隐藏的图结构信息,将用户和服务的编号信息转换成嵌入向量,得到初始特征,经过图卷积与特征融合处理操作获得更深层的特征信息,经过降噪自编码器对特征进行重构,提高算法的鲁棒性。在公开的QoS调用数据集上进行实验,并与3种方法对比,实验结果表明,该算法在各项评价指标上总体表现更好,为图神经网络在QoS预测方向的研究提供了思路。

基于多峰标签分布学习的多任务年龄估计方法

针对面部年龄估计中标签序数信息和类间相关性提取难的问题,提出一种多峰分布(MPD)年龄编码,并基于该年龄编码构建了一个多任务年龄估计方法MPDNet(MPD Network)。首先,利用MPD将年龄标签转化为年龄分布,以提取年龄标签间的相关信息,构建年龄老化趋势的阶段性;然后,采用一个轻量级网络进行多阶段的特征提取,并对提取的特征分别进行标签分布学习(LDL)和回归学习;最后,共享两个学习任务的输出,并在训练过程中通过反向传播互相优化,避免传统标签分布学习中对分布结果直接进行回归导致的误差传播。在MORPHⅡ数据集上的实验结果表明,MPDNet的平均绝对误差(MAE)达到2.67,与基于VGGNets(Visual Geometry Group Networks)构建的DEX(Deep EXpectation)、RankingCNN(Ranking Convolutional Neural Network)等方法相当,而参数仅为VGGNets的1/788.6;而且MPDNet也优于同体量的C3AE(extremely Compact yet efficient Cascade Context-based Age Estimation model)、SSR-Net(Soft Stagewise Regression Network)等方法。MPDNet能够较好地利用年龄标签间丰富的相关信息来提取更具判别力的年龄特征,提高年龄估计任务的预测精度。

一种基于多任务学习的科学文献推荐算法

传统推荐算法通过主题模型或者词语向量化的平均值对文本内容进行映射。针对现有方法不能充分利用文本信息或忽略词序信息这一问题,文中面向科学文献,提出了一种多任务学习推荐方法。该方法基于多任务学习框架,设计编码器并搭建了GL模型。该模型被训练为内容推荐与文本元数据预测的组合,可改善传统协同过滤的稀疏性问题,使得协同过滤模型正则化。最后,分别在公开数据集与私有数据集上进行了评估测试,结果表明所提方法性能优于现有的经典方法。

基于自编码孪生神经网络的采煤机异常检测

针对机械设备异常检测在实际应用中遇到意想不到的异常情况为数据标注带来挑战的问题,文章提出了一种基于自编码孪生神经网络的采煤机异常检测方法,结合采煤机工况信息构建了的弱标签数据集来解决该问题;针对异常信息过少导致的数据类别不平衡问题,搭建了时空融合的LSTM-CNN Auto-Encoder Siamese神经网络,通过孪生神经网络减少类别不平衡对训练的影响,结合LSTM与CNN的自编码神经网络进行特征抽取,提高模型在诊断时序数据时的准确率。模型的测试结果表明本模型能有效提取高质量特征,针对不平衡数据有很好的鲁棒性,且模型有一定泛化能力,具有有效性与实用性。

基于孪生变分自编码器的小样本图像分类方法

当前深度学习大都基于大量数据通过构建深层次的网络实现自动识别,但在很多场景中难以获得大量的样本数据。针对这一问题,提出一种基于孪生变分自编码器(siamese variational auto-encoder,S-VAE)的小样本图像分类方法。通过变分自编码器提取原始训练数据的高层语义特征,然后由两个训练好的变分自编码器的编码器部分组建孪生网络的输入结构,最后通过分类器对样本进行识别。变分自编码器可以解决样本数据量少带来的过拟合问题,孪生网络的结构增加了样本数量较少的情况下的训练次数。在Omniglot数据集上进行的实验结果表明:本方法与原始孪生神经网络相比正确率平均提高了3.1%,模型收敛速度更快,证明了孪生变分自编码器能够较好地完成小样本数据分类任务。

样本不均衡时轴承故障的非平衡卷积网络诊断

为了提高样本不均衡条件下轴承故障诊断精度,提出了基于VAE-SNN的样本增广方法和基于非平衡损失网络的故障诊断方法。首先,使用变分自编码器用于数据生成,并依据孪生神经网络对生成数据的类别进行判定,实现了基于变分自编码器和孪生神经网络的样本增广;其次,分析了卷积神经网络无差别对待样本的缺点,针对不均衡样本的特殊性,提出了非平衡损失函数卷积网络,该网络能够自动关注数量少、难分的样本训练。经实验验证,生成对抗网络增广的样本相似度为0.847,孪生神经网络增广的样本相似度比对抗网络提高了6.61%,说明孪生神经网络的样本增广效果更好;在相同诊断方法前提下,样本增广后比增广前的准确率提高了9.42%,说明样本增广有利于提高轴承的故障诊断准确率;非均衡损失网络比卷积神经网络的诊断精度提高了7.17%,比自适应深度学习提高了4.12%,验证了非均衡损失网络的高准确率和优越性。

基于多任务学习的行人重识别特征表示方法

作为一种跨摄像头的检索任务,行人重识别会受到不同相机视角造成的图像样式变化的影响。近年来,许多算法通过神经网络直接从原始输入图片中学习相应特征,虽然这些特征能够很好地描述全局行人,但忽略了许多局部细节信息,在复杂的场景下容易出现误识别。针对此问题,研究了一种基于多任务学习的新的特征表示方法,采用成对输入的孪生网络结构,将局部最大出现特征(local maximal occurrence,LOMO)和深层特征一起送入网络并映射到单一的特征空间中进行训练,形成一种新的网络模型TDFN(traditional and deep features fusion network)。利用神经网络自我学习特性,联合多个任务的损失函数更新网络,使得深层特征学习到更多与手工局部特征互补的细节信息。实验表明,新特征的平均精度mAP和Rank-1精度都优于直接从孪生网络提取的全局描述子。

基于孪生自动编码器的深度说话人嵌入向量

在说话人识别任务中,如何提取出更区分性的说话人向量来表征说话人一直是研究的重点。使用基于孪生神经网络的自动编码器提取出更具区分性的说话人嵌入向量。在开源的Voxceleb1说话人识别数据集上测试提取的新向量,通过实验表明,相比基线系统的x-vector,新向量在等错误率上获得相对22%的降低。

SiamBM:实现更佳匹配的Siamese目标跟踪网络

基于孪生网络的目标跟踪算法通常采用简单的互相关匹配方式,然而这种简单的匹配方式会引入大量无关信息,弱化目标区域的响应。基于无锚框的孪生跟踪网络虽然避免了锚框参数的调整,但由于失去了先验性信息,并不能很好地适应目标物的尺度变化。因此,针对上述所存在的问题,本文提出了一种基于孪生网络的目标跟踪匹配增强算法SiamBM。通过将目标的边界框坐标信息进行编码,为跟踪模型提供有效的指导信息;采用深度可分离互相关级联像素匹配互相关的方式,进一步提高跟踪模型的判别能力;采用多尺度互相关的方式,增强跟踪模型的尺度适应能力。在OTB100数据集上,SiamBM的成功率和精确率分别达到了0.684和0.906,相比基准模型分别提高了5.2%和4.2%。实验结果表明,与目前主流的跟踪器相比,SiamBM取得了相当有竞争力的结果,在各项数据集指标上取得了优越的性能。

自适应重加权池化深度多任务学习的表情识别

为实现表情准确且快速的识别,提出一种自适应重加权池化深度多任务学习(DMTL)的表情识别。设计孪生神经网络,通过自适应重加权模块动态调整缩放概率参数,得到具有不同置信度的类别标签信息。改进自适应池化方法,根据样本及训练过程变化情况选取合适参数,提高特征提取的灵活性。结合类别标签信息和样本局部空间分布信息,利用改进型判别式DMTL进行人脸表情识别。基于CK+、MMI和FER2013数据集对所提方法进行实验论证,实验结果表明,其识别率在3个数据集上的识别率分别是95.2%、84.1%和73.6%,执行时间为0.082 s,均优于其它对比方法。

基于孪生网络和BERT模型的主观题自动评分系统

由于现在缺乏多语言教学中的主观题自动评分,针对这一问题提出了一种基于孪生网络和BERT模型的主观题自动评分系统.主观题的问题文本和答案文本通过自然语言预处理BERT模型得到文本的句向量,BERT模型已经在大规模多种语言的语料上经过训练,得到的文本向量包含了丰富的上下文语义信息,并且能处理多种语言信息.然后把问题文本和答案文本的句向量再通过深度网络的孪生网络进行语义相似度的计算,最后连接逻辑回归分类器,完成主观题的自动评分.实验所使用数据集由Hewlett基金提供的英文数据集以及翻译后的中文数据集,并以二次加权Kappa系数作为模型的评估指标.实验结果表明,对比其他基准模型,基于孪生网络和BERT模型的自动评分系统在各个数据子集得到的结果最好.

基于数字孪生的行车多因素隐性级联故障诊断

针对行车传统运维方式中存在的可管可控状态不明、故障时定位分析耗时久、设备宕机时间长等问题,为实现行车状态运维的智能化转型升级,基于数字孪生技术和数据驱动方法,提出一种用于行车多机构联动、多因素耦合的隐性级联故障诊断分析方法。以数据驱动为核心,构建了数据驱动的行车数字孪生模型,详细阐述了行车数字孪生系统的组成和交互行为;对显性故障和隐性故障进行分类和定义,设计了SDAE—MCSVM—FBN方法解决多因素隐性级联故障;构建了数据驱动的行车数字孪生模型的原型系统,以某大型国企钢厂某车间内的行车作业过程为例,与传统运维方式中的人工点检对比,在所提方法应用前后,故障维修时长和设备宕机时长分别减少的时间比例区间为24.5%~32.8%,20.5%~32.4%,证实了所提方法对隐性级联故障诊断分析的有效性和可行性。

液态奶中镉、铜等重金属的光谱智能检测新方法研究

该文针对传统重金属检测方法速度慢、通量低等问题,发展了表面富集扫描激光诱导击穿光谱(SES-LIBS)检测新方法,显著提升了液态奶中重金属的检测灵敏度和通量。SES-LIBS方法利用金属置换反应原理,将液态奶中游离的痕量重金属离子置换并富集到活性金属基底的特定区域表面,进而高效采集该区域表面的LIBS信号。SES-LIBS方法在有效避免液体离子猝灭效应的同时,显著提升了痕量重金属离子的检测灵敏度。为克服样品采集和基质的干扰,采用重加权特征光谱驱动的自编码孪生多网络算法(RCSD-ASMN)进行SES-LIBS信号解析,从复杂、变动的LIBS信号中准确提取出待测组分的光谱特征信息。SES-LIBS方法可同时检测Cd、Cu等多种重金属元素,检出限分别为0.11、0.13 mg/kg,R^(2)均不低于0.97。实验结果证明,SES-LIBS技术能有效克服不同品牌液态奶基底和重金属元素的交叉干扰,具备良好的检测精度和线性度,为液态样品中重金属的高通量检测提供了一种新手段。

基于手指双模态特征的自动身份验证方法及系统

针对目前单模态生物特征识别在稳定性与安全性等方面的不足以及多模态融合识别的多设备多输入困难等问题,本文提出一种充分考虑类内与类间度量的学习模型,实现基于手指双模态特征的自动身份验证方法及系统。由于指静脉与指折痕具有不易改变,难以伪造的特点,本文选取这两种重要的手部特征进行身份验证。通过结合两种不同模态特征,利用自编码网络对类内特征进行表示,来构建基于度量学习的孪生网络模型,从而提取类内与类间特征;接着将提取的指静脉和指折痕特征进行距离计算,将距离融合后使用逻辑回归模型进行概率判断,最终实现有效的双模态融合身份验证。为验证我们提出方法的有效性,我们对指静脉识别结果性能进行了对比。实验结果表明,我们的方法在更具有挑战性的数据库上识别等错误率为1.69%,较之现有代表性论文提出的模型的等错误率降低了2.96%。我们也将构建的双模态融合模型与仅使用单一模态模型进行对比,结果表明融合指静脉和指折痕特征的融合模型的等错误率为1.55%,比单一模态的指静脉与指折痕模型分别降低了0.14%和3.0%,表明了双模态身份验证模型性能更优。进一步地,本文采集了一个更具有挑战性的数据库,开发了显示图像及识别结果的图形界面,最终实现了一个从数据采集到识别匹配的端对端的一体化自动身份验证系统。基于以上研究,本文首次提出了一个基于指静脉和指折痕特征的多目自动身份验证方案,实现集准确性,鲁棒性和实效性为一体的系统。

一种采用空间特征编码的车道线检测方法

针对位于视野两侧的车道线易受光照等影响变得模糊而难以检测的问题,本文利用外形细长的车道线具有较强的空间信息的先验知识,设计了一个基于空间特征编码的端到端多任务网络LDNet-SFE.通过将特征图的每一行视作新的卷积层,把逐层卷积操作的原理应用到逐行卷积中,从而提取丰富空间信息,使网络更好地捕获车道线的空间连续性的特征.我们在公开数据集Cordova1和Washington1下进行实验,LDNet-SFE的F1分数分别达到了0.877和0.866,性能优于现有方法.

基于深度自编码的医疗命名实体识别模型

针对在医疗命名实体识别(MNER)问题中随着网络加深,基于深度学习的识别模型出现的识别精度与算力要求不平衡的问题,提出一种基于深度自编码的医疗命名实体识别模型CasSAttMNER。首先,使用编码与解码间深度差平衡策略,以经过蒸馏的Transformer语言模型RBT6作为编码器以减小编码深度以及降低对训练和应用上的算力要求;然后,使用双向长短期记忆(BiLSTM)网络和条件随机场(CRF)提出了级联式多任务双解码器,从而完成实体提及序列标注与实体类别判断;最后,基于自注意力机制在实体类别中增加实体提及过程抽取的隐解码信息,以此来优化模型设计。实验结果表明,CasSAttMNER在两个中文医疗实体数据集上的F值度量可分别达到0.9439和0.9457,较基线模型分别提高了3个百分点和8个百分点,验证了该模型更进一步地提升了解码器性能。

基于动态位置编码和注意力增强的目标跟踪算法

为了充分利用模板和搜索区域之间的位置信息以及提高融合特征的表征能力,提出使用动态位置编码和多域注意力特征增强的方法.在注意力模块内部嵌入带有卷积操作的位置编码模块,随注意力计算更新位置编码,提高自身空间结构信息的利用率.引入多域注意力增强模块,在空间维度上使用不同空洞率和步长的平行卷积进行采样,以应对不同大小的目标物,并聚合通道注意力增强后的特征.在解码器中加入空间域注意力增强模块,为预测头提供更精确的分类回归特征.本算法在GOT-10K数据集上的平均重叠度(AO)为73.9%;在TrackingNet、UAV123和OTB100数据集上分别取得了82.7%、69.3%和70.9%的曲线下面积(AUC).与主流算法的对比结果表明,融合了动态位置编码和通道、空间注意力增强的跟踪模型可以有效提升模板和搜索区域间的信息交互,提高跟踪的精度.