一种新的半监督归纳迁移学习框架:Co-Transfer

在许多实际的数据挖掘应用场景,如网络入侵检测、Twitter垃圾邮件检测、计算机辅助诊断等中,与目标域分布不同但相关的源域普遍存在.一般情况下,在源域和目标域中都有大量未标记样本,对其中的每个样本都进行标记是件困难的、昂贵的、耗时的事,有时也没必要.因此,充分挖掘源域和目标域中标记和未标记样本来解决目标域中的分类任务非常重要且有意义.结合归纳迁移学习和半监督学习,提出一种名为Co-Transfer的半监督归纳迁移学习框架.Co-Transfer首先生成3个TrAdaBoost分类器用于实现从原始源域到原始目标域的迁移学习,同时生成另外3个TrAdaBoost分类器用于实现从原始目标域到原始源域的迁移学习.这2组分类器都使用从原始源域和原始目标域的原有标记样本的有放回抽样来训练.在Co-Transfer的每一轮迭代中,每组TrAdaBoost分类器使用新的训练集更新,其中一部分训练样本是原有的标记样本,一部分是由本组TrAdaBoost分类器标记的样本,还有一部分则由另一组TrAdaBoost分类器标记.迭代终止后,把从原始源域到原始目标域的3个TrAdaBoost分类器的集成作为原始目标域分类器.在UCI数据集和文本分类数据集上的实验结果表明,Co-Transfer可以有效地学习源域和目标域的标记和未标记样本从而提升泛化性能.

移乘背抱护理机器人舒适性生物力学模型分析

为探索移乘背抱护理机器人人机交互力学特性与被护理人舒适性感受的潜在关联,研究显性的人机接触力相对于人体生物力学特性的映射关系,揭示影响被护理人舒适性的主要作用肌群,提出了舒适性测试试验与AnyBody背抱运动人体生物力学模型相结合的方法.从被护理人的肌肉激活程度入手,对移乘背抱护理机器人背抱运动舒适性特征进行了分析.首先,介绍了移乘背抱护理机器人典型结构工作原理并进行了运动学分析,在此基础上搭建了舒适性测试试验系统,基于主观舒适性评分规划了服务于试验的基础运动轨迹,并通过试验得到了人机主要接触部位力学信息.然后,以试验数据为边界条件构建了基于AnyBody的背抱运动人体生物力学模型,依托逆动力学仿真分析得到了肌肉激活程度,并对比舒适性测试肌肉激活程度验证了仿真模型的有效性.最后,结合人机主要接触部位受力、肌肉激活程度及主观舒适性评分综合分析了移乘背抱护理机器人背抱运动舒适性特征,明确了影响被护理人舒适性的主要作用肌群.结果表明:影响被护理人舒适性的主要作用肌群有7个,且被护理人胸部压力与腋下压力值大小分别与影响其躯干和上肢舒适性的肌肉激活程度呈正相关.可通过建立胸部压力与腋下压力值相关的加权函数有效描述不同被护理人整体舒适性特征,为移乘背抱护理机器人舒适性运动控制提供了理论依据.

基于视网膜图像疾病检测大模型的可迁移性验证

迁移学习通过整合源领域模型知识,优化目标领域的模型性能。但在医学领域中不同病种之间存在差异,甚至某些病种在源机构标注训练集中从未出现,这构成了典型的开放场景下的迁移学习问题,此外由于部分数据难以获取,以大批量标注来进行二次训练的工作存在困难。医学影像基础大模型的出现为这些问题提供了一种潜在解决方案,这些基础大模型是基于海量的数据进行预训练,具备强大的特征提取和学习能力,可以将其作为迁移学习的起点,将源领域的知识迁移到目标领域。基于视网膜影像疾病诊断基础大模型,从疾病种类、疾病位置、模型迁移方法的跨任务迁移能力及外部测试的跨中心迁移能力4个方面对其进行了可迁移性的验证,展示了其在解决开放场景下医学迁移学习问题中的潜力和价值,为医学影像分析技术的发展和应用提供了新的思路和方法。

持续学习的研究进展与趋势

随着深度学习技术的发展与应用,特别是资源受限场景和数据安全场景对序列任务和数据进行快速学习需求的增多,持续学习逐渐成为机器学习领域关注的一个新热点.不同于人类所具备的持续学习和迁移知识的能力,现有深度学习模型在序列学习过程中容易遭受灾难性遗忘的问题.因此,如何在动态、非平稳的序列任务及流式数据中不断学习新知识、同时保留旧知识是持续学习研究的核心.首先,通过对近年来持续学习国内外相关工作的调研与总结,将持续学习方法分为基于回放、基于约束、基于结构三大类,并对这3类方法做进一步的细分.具体而言,根据所使用的样本来源将基于回放的方法细分为采样回放、生成回放、伪样本回放3类;根据训练约束的来源将基于约束的方法细分为参数约束、梯度约束、数据约束3类;根据对于模型结构的使用方式将基于结构的方法细分为参数隔离、模型拓展2类.通过对比相关工作的创新点,对各类方法的优缺点进行总结.其次,对国内外研究现状进行分析.最后,针对持续学习与其他领域相结合的未来发展方向进行展望.

基于机器学习的演化多任务优化框架

演化多任务优化是近年来计算智能领域的研究热点之一,其原理是通过任务间的知识转移提高演化算法同时求解多个任务的效率.由于任务间相似性对促进任务之间的正向知识转移具有重要的影响,因此,如何度量任务间的相似性成为了重点研究方向之一.目前,演化多任务优化在处理两个任务时,辅助任务的选取仅限于两者之一,且在处理超多任务时对任务间知识的转移缺乏灵活性.为此,本文提出一个基于机器学习的演化多任务优化框架,命名为MaTML.该框架联合所有任务关联的子种群形成一个统一的初始化种群,利用目标任务的技能因子及其对应的种群个体分别构建标签和训练集,应用十折交叉法拟合模型,并运用模型预测与目标任务相似的个体以组成辅助种群,从而促进演化优化中的正向知识转移.本文提出的算法能够在动态的种群个体中找到目标任务的辅助种群,不仅可以为三个或以上的多任务优化灵活地选取相似辅助任务,而且解决了当任务数量为两个时有效地选择辅助任务的问题.通过与现阶段的多任务算法和超多任务算法分别在CEC2017问题测试集和WCCI2020SO问题测试集进行比较,实验结果证实MaTML在优化多任务问题时具有更优或竞争性的性能.此外,文中还详细研究了MaTML的计算资源、模型性能、模型稳定性以及相关组件.最后,本文还基于真实问题的测试进一步验证了MaTML的有效性.

多任务优化算法及应用研究综述

进化多任务优化(EMTO)是进化计算中一种新型方法,它可以同时解决多个相关的优化任务,并通过任务之间的知识转移增强每个任务的优化。近年来,越来越多的进化多任务优化相关研究致力于利用它强大的并行搜索能力和降低计算成本的潜力优化各种问题,并且EMTO已应用于各种各样的实际场景当中。从EMTO的原理、核心设计、应用以及挑战四个方面对EMTO的算法及应用进行了讨论。首先介绍了EMTO的大致分类,分别从两个层次、四个方面介绍,包括单种群多任务、多种群多任务、辅助任务形式以及多形式任务形式;其次介绍EMTO的核心组件设计,包括任务构建以及知识转移;最后对它的各种应用场景进行介绍,并对今后研究做了总结与展望。

Risk evaluation for the task transfer of an aircraft maintenance program based on a multielement connection number

This paper proposes a framework for evaluating the efficacy and suitability of maintenance programs with a focus on quantitative risk assessment in the domain of aircraft maintenance task transfer. The analysis is anchored in the principles of Maintenance Steering Group-3 (MSG-3) logic decision paradigms. The paper advances a holistic risk assessment index architecture tailored for the task transfer of maintenance programs. Utilizing the analytic network process (ANP), the study quantifies the weight interrelationships among diverse variables, incorporating expert-elicited subjective weighting. A multielement connection number-based evaluative model is employed to characterize decision-specific data, thereby facilitating the quantification of task transfer-associated risk through the appraisal of set-pair potentials. Moreover, the paper conducts a temporal risk trend analysis founded on partial connection numbers of varying orders. This analytical construct serves to streamline the process of risk assessment pertinent to maintenance program task transfer. The empirical component of this research, exemplified through a case study of the Boeing 737NG aircraft maintenance program, corroborates the methodological robustness and pragmatic applicability of the proposed framework in the quantification and analysis of mission transfer risk.

基于层级参数变换的电子病历多任务信息提取

针对电子病历命名实体识别和负面断言检测的热点和难点问题,提出了一种基于层级参数变换的电子病历多任务信息提取方法。该方法通过基于层级参数转换矩阵的迁移学习策略实现标注模型间接的参数优化,以解决数据稀缺导致目标模型不能直接训练的难题,同时引入了示性函数门控单元结构,用于对底层语义特征的自适应变换,以实现多任务联合学习。结果表明,本研究提出的方法能同时得到命名实体识别和负面断言检测结果,且性能指标得到了提升。中文数据集测试中使用迁移模型后得到的F1值提高了约1.8%,英文数据集测试中使用迁移多任务模型比单任务模型得到的F1值提高了1.9%。所提出的方法在电子病历的多任务信息提取上具有重要的实践价值。

基于元知识转移的认知雷达波形设计

认知雷达在实际应用中常常需要应对多样性的任务需求,传统的雷达系统往往是针对单一任务进行设计和优化。然而,现实场景中的雷达应用往往需要同时满足多个任务的需求。本文提出了一种多任务雷达波形设计方法,能够根据环境先验知识同时使用多个优化准则进行发射波形的设计。与此同时,引入了基于元知识迁移(Meta⁃Knowledge Transfer,MKT)的协方差矩阵自适应进化策略算法,通过使用更通用的MKT方法在有限的雷达资源下求解多个雷达任务。该方法通过转移雷达任务求解过程中产生的元知识,来提高每个雷达任务的求解效率。通过仿真实验验证了所提出的求解多任务雷达发射波形算法的可行性。相较于使用进化算法分别求解单一的雷达任务,避免了每个任务都需要从头开始学习优化策略,节省大量的计算资源和时间,加快了最优发射波形的求解速度。

基于对比学习的零样本对象谣言检测

现有的谣言检测模型通常依赖大规模人工标注的谣言数据集,标注成本高且谣言特征来源于已被辟谣的谣言.为了提高模型对未知谣言的检测能力,提出面向不同对象的谣言检测方法.基于零样本学习,将谣言数据集按照不同的对象划分为样本与内容互不重叠的多个数据集,从而实现零样本对象谣言检测任务;为了表征对象之间的关系构建通义掩码特征,从而设计区分通义掩码特征的代理任务;为了减少数据增强带来的噪声,引入面向对象的信息辅助文本作为特征,并将其与原语义向量进行线性变换.在此基础上,提出面向零样本对象谣言检测的基于代理任务的分层对比学习模型(ZPTHCL),可以通过迁移学习进行谣言检测.在一个基于对象的零样本谣言数据集和Ma-Weibo、Weibo20、Twitter15、Twitter16这4个公开数据集上进行实验,结果表明所提出的对比学习零样本对象谣言检测模型性能更优.

基于知识图谱的用户特征-关系推荐模型在电力安全教育中的应用

电力安全教育中员工群体分布的长尾特征,导致采样到的用户交互数据具有明显的稀疏性,使用传统推荐算法无法获得理想的效果,为此文章提出了基于知识图谱的用户特征-关系推荐模型。建立一个基于多任务迁移学习的神经网络,通过引入F-R单元实现了用户特征与实体关系的深度聚合,能识别出对推荐有重要影响的“用户特征-实体关系”组合,并通过神经网络挖掘其内在作用规律,从而利用实体关系信息强化了用户特征对推荐算法的影响,显著提升了模型的预测性能。实验证明,本模型能够有效解决电力安全教育场景中‘长尾’群体用户交互数据的稀疏问题,明显缓解冷启动效应。

移动边缘计算网络中基于任务转移的负载均衡优化方案

针对MEC服务器之间的负载不均衡问题,论文提出了一种基于任务转移的负载均衡算法。该算法在考虑任务转移时延的前提下,确定是否将任务转移至其他MEC服务器,并在当前时隙结束时做出最优的任务转移决策。实验结果表明,提出方案的性能优于其他方案,使得MEC服务器之间的负载更加均衡。

基于5G毫米波协作通信的小单元无线能量信标优化部署策略

为实现第五代移动通信(5G)无线网络中高频谱效率与低能耗的绿色通信目的,本文研究了基于毫米波(mmWave)协作通信小单元下无线能量信标(Power Beacons,PB)的优化部署策略。该策略构建了一个高低频混合组网的能量受限型用户设备(User Equipment Devices,UE)毫米波协作通信的小单元网络模型,通过设计一个“需求-选择-建链”模式的新型建链协议,将通信毫米波定向传输技术应用于该建链过程中。在此模型基础上,以提高边缘系统频谱效率和能量收集覆盖率为目标,通过最小化固定充电的能量信标数量,在实现系统能耗最小化问题基础上保证系统的正常运行。针对该最优化问题是一个混合整数规划的多项式复杂程度的非确定性(Non-deterministic Polynomial Hard,NP-难)问题,设计一个具有常数因子的贪心算法近似求解优化问题。理论分析证明了该算法的可行性。仿真结果表明,本研究提出的优化部署策略能有效优化能量信标部署,在同等覆盖率与区域频谱效率增益下能耗最低。

基于学习迁移理论的智能制造概论课程开发研究

随着智能制造技术的快速发展,高职院校对智能制造人才的需求不断增加,传统智能制造概论课程教学模式存在知识迁移困难、学生实践能力不足等问题。该文基于学习迁移理论,提出了一种课程开发思路,通过构建以任务驱动为导向的教学模块,促进学生将已有知识迁移到新的学习情境中。同时,以潍柴动力股份有限公司智能制造结构为案例,结合项目驱动的教学模式,使学生能够通过真实的企业案例进行实践训练。通过任务设计和案例分析,引导学生将理论知识应用于实际问题的解决过程中,增强了知识迁移的效果,为培养符合现代制造业需求的智能制造人才提供了有效途径。

跨领域推荐方法研究综述

近年来,随着信息技术的迅速发展的爆发性增长,这一爆发式增长推动了跨领域推荐系统的出现和发展。跨领域推荐系统的设计和实现面临着诸多挑战,包括数据异构性、领域知识融合等问题。因此,书写跨领域推荐方法的研究变得尤为重要。这些方法旨在有效地整合来自不同领域的数据和信息,同时保持推荐系统的高效性和准确性。为实现这一目标,研究者们提出了各种跨领域推荐方法,包括基于迁移学习方法、基于多任务学习的方法等跨领域推荐方法,文章将从处理步骤及优缺点梳理各跨领域推荐系统方法。

基于多STA-GLN集成模型的电力系统暂态稳定评估方法

随着高比例可再生能源的不断接入和电力电子化程度的提高,电力系统结构日益复杂,导致电力系统稳定性受威胁。针对基于人工智能的暂态稳定评估(TSA)方法存在的拓扑适应能力差、失稳样本学习困难和模型训练耗时长等缺陷,提出了基于图形卷积和长短时记忆组合网络的空间和时间双注意力机制(STA-GLN)集成电力系统TSA方法。搭建了电力系统仿真模型,在全接线、N-1断线和N-2断线3种拓扑结构下设置不同线路故障,获取原始样本集,基于STA-GLN的TSA方法对系统拓扑变化表现出更强的适应性和评估准确性;构建了基于自适应增强(AdaBoost)算法和迁移学习的集成STA-GLN多任务TSA模型,解决了失稳误判问题并加快了模型的响应速度。最后通过新英格兰10机39节点系统仿真分析验证了该方法的有效性。

智能任务分派分位点转运模式在急救患者院内转运中的应用

目的 探讨智能任务分派分位点转运模式在急救患者院内转运中的应用效果。方法 采用类实验研究设计,选择2019年7~12月的急救患者60例为对照组,2020年7~12月的62例为干预组。对照组采用传统转运方式,干预组实施转运任务分派分位点院内转运模式。比较两组转运不良事件、转运时间。结果 干预组转运总时间、急诊滞留时间、室外运送时间、科室交接时间显著短于对照组(均P<0.05)。干预组任务延迟率显著低于对照组(P<0.05)。结论 智能任务分派分位点院内转运模式保证了转运患者信息传递的准确性,提升各环节的安全监控,降低运送延迟发生率。

融合电网运行场景聚类的多任务深度强化学习优化调度

“双碳”目标和新型电力系统建设背景下,新能源的高渗透率接入导致电力系统随机性显著增大、运行方式的分布复杂多样,传统单任务深度强化学习难以自适应源荷两侧的高随机性,调度决策难以满足新型电力系统对风光消纳、功率平衡需求。为此,该文提出融合电网运行场景聚类的多任务深度强化学习优化调度方法。该方法离线训练时利用空间聚类和决策树辨识海量调度运行数据的典型运行场景与重要特征,并构建甄别场景类别的多层感知机分类器;再依据场景类别建立和划分融合聚类多任务深度强化学习模型,从数据源到状态动作设计差异化训练各子任务学习器与模型;在线决策时利用分类器辨识有限运行数据的场景类别,调用模型快速求解实时调度任务,实现高随机场景下的多任务快速迁移学习,保证电力系统优化调度决策的最优性。该文通过算例验证了该方法的解的可行性与经济性。实验结果表明,融合电网运行场景聚类的多任务深度强化学习优化调度算法较单任务算法能够明显提升调度决策经济效益。

基于相似度约束的双策略蒸馏深度强化学习方法

策略蒸馏是一种将知识从一个策略转移到另一个策略的方法,在具有挑战性的强化学习任务中获得了巨大的成功。典型的策略蒸馏方法采用的是师生策略模型,即知识从拥有优秀经验数据的教师策略迁移到学生策略。获得一个教师策略需要耗费大量的计算资源,因此双策略蒸馏框架(Dual Policy Distillation,DPD)被提出,其不再依赖于教师策略,而是维护两个学生策略互相进行知识迁移。然而,若其中一个学生策略无法通过自我学习超越另一个学生策略,或者两个学生策略在蒸馏后趋于一致,则结合DPD的深度强化学习算法会退化为单一策略的梯度优化方法。针对上述问题,给出了学生策略之间相似度的概念,并提出了基于相似度约束的双策略蒸馏框架(Similarity Constrained Dual Policy Distillation,SCDPD)。该框架在知识迁移的过程中,动态地调整两个学生策略间的相似度,从理论上证明了其能够有效提升学生策略的探索性以及算法的稳定性。实验结果表明,将SCDPD与经典的异策略和同策略深度强化学习算法结合的SCDPD-SAC算法和SCDPD-PPO算法,在多个连续控制任务上,相比经典算法具有更好的性能表现。

信息迁移多任务优化共生生物搜索算法

针对现有共生生物搜索(SOS)算法只能求解单个任务,以及信息负迁移影响多任务优化(MTO)性能这两个难题,提出一个信息迁移多任务优化共生生物搜索(ITMTSOS)算法。首先基于多种群演化MTO框架,根据任务个数设置相应数量种群;然后各种群独立运行基本SOS算法,当某一种群连续若干代停滞进化时,引入个体自身最优经验和邻域最优个体以形成知识模块并将该模块迁移至该种群个体进化过程中;最后对ITMTSOS算法时间和空间复杂度进行分析。仿真实验结果表明,ITMTSOS算法同时求解多个不同形态高维函数时均能快速收敛至全局极值解0,与单任务SOS算法相比,平均运行时间最多缩短约25.25%;而在同时求解多维0/1背包问题和师生匹配问题时,所提算法在测试集weing1和weing7上的最优适应值与目前测试集公布的最优结果相比分别提高了22767和22602,师生最优匹配差和平均匹配差的绝对值分别下降了26和33,平均运行时间约缩短了7.69%。