基于无监督学习和监督学习的抽取式文本摘要综述

相较于生成式摘要方法,抽取式摘要方法简单易行、可读性强,使用范围广。目前,抽取式摘要方法综述文献仅对特定的某个方法或领域进行分析综述,缺乏多方面、多语种的系统性综述,因此探讨文本摘要生成任务的内涵,通过系统梳理和提炼现有的相关文献,对无监督学习和监督学习的抽取式文本摘要技术进行多维度、全方位的分析。首先,回顾文本摘要技术的发展,分析不同的抽取式文本摘要方法,主要包括基于规则、词频-逆文件概率(TFIDF)、中心性方法、潜在语义、深度学习、图排序、特征工程和预训练学习等,并对比不同方法的差异;其次,详细介绍不同语种文本摘要生成的常用数据集和主流的评价指标,通过不同的实验指标对相同数据集上的方法进行比较;最后,指出当前抽取式文本摘要研究中存在的主要问题和挑战,并提出具体的解决思路和未来发展趋势。

一种CLIP自监督学习的多模态睡眠分期方法

睡眠分期对睡眠质量评估、睡眠障碍诊断具有重要的意义。针对基于深度学习的睡眠分期存在标签数据少、数据标注困难等问题,提出一种CLIP自监督学习的多模态睡眠分期方法。通过学习无标签数据的特征表示,解决了因标签数据少而导致的模型训练效果欠佳的问题。在不同标签数据下,将基于CLIP的多模态自监督学习方法与有监督学习、单模态自监督学习方法SimCLR和TS-TCC进行对比实验。实验结果表明,基于CLIP的多模态自监督学习方法能有效提高睡眠分期的性能。

基于异常保持的弱监督学习网络入侵检测模型

网络入侵检测系统对维护网络安全至关重要,目前针对只有较少异常标记网络数据的入侵检测场景的研究较少。基于数据的异常保持性,设计了基于异常保持的弱监督学习网络入侵检测模型WIDS-APL,该检测模型包含数据转换层、表征学习层、转换分类层和异常判别层4部分,利用一组可学习的编码器将样本映射到不同区域并压缩到超球体,利用异常样本的标签信息学习正常样本和异常样本的分类界限,得到样本的异常分数。在4个数据集上的测试结果表明了该模型的有效性和鲁棒性,相比4个主流算法,在AUC-ROC值上分别提升了4.80%,5.96%,1.58%和1.73%,在AUC-PR性能上分别提升了15.03%,2.95%,4.71%和9.23%。

基于半监督学习的网络异常检测研究综述

网络流量数据的获取较为容易,而对流量数据进行标记相对困难。半监督学习利用少量有标签数据和大量无标签数据进行训练,减少了对有标签数据的需求,能较好适应海量网络流量数据下的异常检测。文章对近年来的半监督网络异常检测领域的论文进行深入调研。首先,介绍了一些基本概念,并深入剖析了网络异常检测中使用半监督学习策略的必要性;然后,从半监督机器学习、半监督深度学习和半监督学习结合其他范式三个方面,分析和比较了半监督网络异常检测领域近年来的论文,并进行归纳和总结;最后,对当前半监督网络异常检测领域进行了现状分析和未来展望。

非独立同分布下联邦半监督学习的数据分享研究

联邦学习作为一种保护本地数据隐私安全的分布式机器学习方法,联合分散的设备共同训练共享模型。通常联邦学习在数据均有标签情况下进行训练,然而现实中无法保证标签数据完全存在,提出联邦半监督学习。在联邦半监督学习中,如何利用无标签数据提升系统性能和如何缓解数据异质性带来的负面影响是两大挑战。针对标签数据仅在服务器场景,基于分享的思想,设计一种可应用在联邦半监督学习系统上的方法Share&Mark,该方法将客户端的分享数据由专家标记后参与联邦训练。同时,为充分利用分享的数据,根据各客户端模型在服务器数据集上的损失值动态调整各客户端模型在联邦聚合时的占比,即ServerLoss聚合算法。综合考虑隐私牺牲、通信开销以及人工标注成本3个方面的因素,对不同分享率下的实验结果进行分析,结果表明,约3%的数据分享比例能平衡各方面因素。此时,采用Share&Mark方法的联邦半监督学习系统FedMatch在CIFAR-10和Fashion-MNIST数据集上训练的模型准确率均可提升8%以上,并具有较优的鲁棒性。

自监督学习结合对抗迁移的跨工况轴承故障诊断

轴承智能故障诊断应用中,由于实际工况复杂多变,极难获得足够的真实故障数据,且目标域和源域信号存在较大差异,导致深度模型的跨工况迁移识别也出现特征提取及分类困难、模型泛化性弱。考虑到目标域存在大量无标签数据,引入无监督思想,提出基于自监督学习结合对抗迁移的改进方法。首先根据信号本身特点创建辅助任务,对大量无标签数据学习,建立源域与目标域故障类别之间的内在联系;再通过对抗域适应和联合最大平均差异将源域知识迁移到目标域中,结合辅助任务优化两域差异,最终实现目标域准确的故障分类。用2个公开的轴承数据集上验证了所提方法的性能,实验结果表明,所提方法的故障诊断识别准确率在多数情况下均高于98%。

融合全监督学习的半监督矿石粒度预测算法

针对选矿过程矿石粒度分析精度的提高依赖于有标签样本数量,以及传统全监督建模方法泛化性能较差的问题,提出了融合全监督学习的半监督矿石粒度预测算法。以运矿皮带上应用图像获取的矿石粒度数据作为研究对象,利用半监督学习获得无标签的图像识别矿石粒度样本伪标签,扩展数量有限的原始标签样本,以提高矿石粒度预测模型的性能。采用筛分法获取的矿石粒度数据集来验证融合全监督学习的半监督预测算法,结果表明,融合全监督学习的半监督预测算法的模型决定系数达到92.1%,均方根误差和平均绝对误差分别为0.023和0.02,相较于传统全监督建模方法,该模型的预测精度显著提高,为提高矿石粒度检测精度提供了有力的技术支撑。

基于平衡采样的主动半监督学习人类活动识别研究

基于可穿戴传感器的人类活动识别研究逐渐受到人们的广泛关注。本文提出了一种基于平衡采样的主动半监督模型,在挑选样本进行标注时,将样本的不确定性和多样性一并考虑在内,挑选出类别平衡的不确定性样本。确保训练后的模型对每个类都有很好的识别性能,从而提升整体分类结果。同时,为了全部利用标记和未标记样本的信息,将主动学习和半监督学习相结合,利用损失项信息不断更新网络参数,提升模型在低注释下的识别性能。该模型在2个公开数据集上得到了验证,在确保获得较优分类准确率的同时,可以大大减少样本的人工标注工作。

视觉表面缺陷无监督学习检测方法研究进展

视觉表面缺陷检测是工业生产质量控制重要环节,其中无监督学习范式检测方法是重要的发展趋势。该文针对视觉表面缺陷无监督学习检测方法在工业生产、质量控制中的实际应用问题,系统介绍目前国内外的主要物体表面缺陷数据集以及缺陷视觉检测方法主要评价指标,评述图像重建范式、生成模型范式、特征嵌入范式在视觉表面缺陷无监督学习检测中的分类、基本原理及框架、应用性能等方面内容,总结比较各种方法的应用特点以及技术发展趋势,指出归一化流模型、预训练大模型等无监督视觉表面缺陷检测研究值得关注。

基于3D注意力卷积与自监督学习的脑疾病分类方法

为了提升现有脑疾病分类方法提取三维空间特征的能力,提出一种融合3D注意力卷积与自监督学习的分类模型。首先,提出一种基于残差结构的3D注意力卷积神经网络来提取空间特征,利用3D注意力机制区分体素数据中不同空间位置的重要性;其次,利用空间特征构建一个基于自监督学习的多任务学习框架,通过基于空间连续性的自监督辅助任务来进一步挖掘体素的空间依赖关系;最后,通过辅助任务与目标分类任务的联合训练优化神经网络参数,进而提升分类模型的性能。在ABIDE-Ⅰ和ABIDE-Ⅱ数据集上的实验结果表明,所提方法具有优异的分类性能,分类结果也具备良好的可解释性。

基于自监督学习的IRS辅助矿井通信系统信道估计方法

针对矿井复杂环境导致的多径衰落、非视距通信及真实标签获取困难的问题,提出一种基于自监督学习(SSL)的智能反射面(IRS)辅助矿井通信系统信道估计方法。根据井下Nakagami-g衰落信道模型和IRS信号传输模型搭建井下通信系统模型,通过IRS技术解决多径衰落和非视距通信问题。通过最小二乘(LS)算法进行初步信道估计,再采用SSL框架下的八度卷积(OCT)神经网络优化信道估计结果。OCT直接对高频分量和低频分量进行处理,能同时捕捉信道的粗糙特征和细微差别,提供全面的信道信息,从而更准确地估计信道状态;SSL算法使用接收信号及其带噪版本作为训练数据,通过未标注数据的内在结构提升IRS辅助信道估计的精度和效率,从而降低对人工标签的依赖。仿真结果表明:①引入IRS技术能有效降低信道估计误差。②OCT神经网络的损失值明显低于CNN,数据拟合效果更好;OCT神经网络计算效率高,可提高通信系统信道估计的整体性能;在计算资源有限的环境下,OCT神经网络可保持较低参数量和内存使用量。③SSL算法在所有信噪比条件下均能保持较低的归一化均方误差,验证了其在信道估计中的高效性和鲁棒性。④基于SSL的IRS辅助矿井通信系统信道估计方法在大规模网络中具有较好的扩展性和鲁棒性。

融合多个性化桥和自监督学习的跨域推荐算法

针对跨域推荐系统中目标域中项目交互较少的用户,提出一种融合多个性化桥和自监督学习的跨域推荐算法(MS-PTUPCDR)。首先,在目标域加入变分二部图编码器,使用变分推理框架生成潜在变量,目标域用户表示聚合其同构邻居信息。其次,将用户单一偏好桥扩展为用户多个性化偏好桥,将用户在多源域可转移的用户因子转移到目标域,在目标域加入多头注意力机制融合分别来自不同源域转换的用户潜在因子作为自监督学习的辅助任务。最后,在目标域中将聚合用户邻居因子和融合后的用户多源域转移用户因子进行自监督学习。在目标域通过用户自监督学习后的用户因子和目标域项目因子点积进行目标域项目评分预测。算法在Amazon和MovieLens两个数据集上进行实验,结果表明算法在MAE和RMSE两个评价指标上优于对比基线算法,在两个数据集上与最优对比基线算法相比,MAE平均提升1.96%,RMSE平均提升1.92%,验证了算法的有效性。

基于半监督学习的路面裂缝检测

针对裂缝自动检测任务中难以获取大量精确标注样本数据的问题,提出LGS-Net(Local Global Similarity-Network)模型。LGS-Net的核心在于利用裂缝图像区域的语义相似性,有效结合少量已标注数据和大量未标注图像数据,通过半监督学习实现裂缝自动检测。为全面评估LGS-Net的性能,实验在GAPs384和Crack500数据集上进行验证。结果表明,在标注资源有限的情况下,LGS-Net能够实现高精度的裂缝检测。通过对检测结果的可视化分析,证明LGS-Net具有在复杂环境下有效识别裂缝的能力。LGS-Net利用路面裂缝图像的语义相似性特征进行检测,能为路面裂缝检测的工程应用提供技术支持。

基于无监督学习的连铸铸坯缺陷检测方法

铸坯在连铸过程中受温度分布不均、流动速度不稳等多种因素的影响,容易出现各种表面和内部缺陷,如疏松、偏析、缩孔、裂纹、气泡、夹杂等。这些缺陷不仅影响产品的外观和性能,还可能对工程结构的安全性产生潜在威胁。针对这一问题,提出了一种基于无监督学习的连铸铸坯缺陷检测方法,该方法利用图像频域处理技术和深度学习算法学习连铸铸坯正常样本的图像特征,通过图像重建方式自动检测铸坯图像中的缺陷。首先,通过频率解耦模块对铸坯图像进行图像频率分离,得到铸坯的低频图像与高频图像。然后,采用带有自监督预测卷积注意模块的生成器网络集合,分别重建低频图像和高频图像。最后,通过判别器网络对铸坯的原始图像与重建图像进行判定,以确定铸坯图像中是否包含缺陷。实验结果表明,该方法能够有效检测连铸铸坯的缺陷,具有较高的准确性和可靠性,可为提高连铸产品质量和生产效率提供有力支持。

基于协同训练的半监督学习3D医学图像分割模型

近年来人工智能应用于COVID-19医学影像诊断,降低了检测成本和漏检率,但临床医学图像样本数量较少和标签质量较低,影响了3D模型的分割性能。本文提出基于协同训练的半监督学习3D医学图像分割模型,使用空间翻转和窗口技术生成多视角、多模态图像,增强3D图像样本的空间差异性;采用一种基于加权不确定度的虚拟标签生成模块,为无标签数据生成可靠的虚拟标签,减少过拟合;采用基于三阶段的三维度六模型协同训练,增强分割精度和泛化性能。此外,本文可视化协同训练各阶段的特征关注度热力图,为临床诊断提供有效参考。针对661位新冠患者的771例NIFTI格式3D COVID-19的CT图像展开实验,5折交叉验证结果表明,本文模型Dice系数为73.30%,平均表面距离(ASD)为10.633,灵敏度(Sen⁃sitivity)为0.630,特异度(Specificity)为0.996。与各种典型半监督学习3D分割模型相比,具有更好的分割精度和泛化性能。

融合无监督和有监督学习的虚假数据注入攻击检测

虚假数据注入攻击(false data injection attack,FDIA)是智能电网安全与稳定运行面临的严重威胁。文中针对FDIA检测中存在的有标签数据稀少、正常和攻击样本极不平衡的问题,提出了融合无监督和有监督学习的FDIA检测算法。首先引入对比学习捕获少量攻击数据特征,生成新的攻击样本实现数据扩充;然后利用多种无监督检测算法对海量的无标签样本进行特征自学习,解决有标签样本稀缺的问题;最后将无监督算法提取的特征与历史特征集进行融合,在新的特征空间上构建有监督XGBoost分类器进行识别,输出正常或异常的检测结果。在IEEE 30节点系统上的算例分析表明,与其他FDIA检测算法相比,文中方法增强了FDIA检测模型在有标签样本稀少和数据不平衡情况下的稳定性,提升了FDIA的识别精度并降低了误报率。

一种基于自监督学习的糖尿病视网膜病变诊断方法

本文提出一种基于自监督学习的糖尿病视网膜病变诊断方法.具体来说,SimCLR首先从原始数据集中随机抽取示例,并使用简单增强的组合将每个示例转换两次,创建两组相应的视图.然后,它使用基于ResNet架构的卷积神经网络计算图像表示,接着使用多层感知机计算图像表示的非线性投影.这会放大不变特征并使网络识别同一图像的不同变换的能力最大化.通过对比学习的方法对眼底图像中存在的特征进行学习.这种方法在多个数据集上取得较好的结果,证明自监督学习在糖尿病视网膜病变诊断中的可行性.

基于自监督学习的多数据增广时间序列分类算法

时间序列分类算法广泛应用于医疗诊断、金融预测等领域。然而,在解决时间序列分类问题时,深度学习模型通常面临数据标注困难等挑战。为了克服这些困难,本文提出了一种基于自监督学习的时间序列分类算法。该算法通过对时间序列片段进行数据增广,并设计区分数据增广形式的自监督辅助任务来挖掘时间序列的局部信息,以提高分类性能。实验结果表明,该算法在五个基准时间序列数据集上展现出优异的分类性能,并超过了现有方法。

一种无需手工标注的半监督学习关键词抽取方法

关键词的自动抽取技术是为了满足信息时代人们对特定领域知识快速便捷获取的需求.它也是机器翻译、信息检索、知识图谱构建等应用场景中的关键基础问题和研究热点.监督学习方法的效果是建立在有现成的大量的带有准确标注的高质量的数据集的前提上的,无法在低资源环境下快速运用.本文提出了一种考虑词频、词长以及词大小写特征的无监督算法以及结合了该无监督算法的自扩展迭代的半监督学习关键词抽取方法.半监督学习方法在同样无需手工标注关键词的前提下,相比无监督算法具有更高的F1值.

基于半监督学习Informer算法的工业机器人故障诊断方法

在工业领域中,六轴机器人的故障监测数据难以收集大量的故障标签数据。传统的智能诊断方法通常依赖于大规模有标签数据的监督学习,但这在实际应用中存在局限。在解决这一问题的同时,针对单一模型特征提取能力不足、分类性能差的问题,结合半监督学习机制与Informer在处理时序数据的优势,提出一种基于半监督学习和概率稀疏注意力的Informer网络架构,实现对少量有标签数据和大量未标签数据的深度学习,以实现对设备故障的精准诊断。对多组真实环境下采集的工业六轴机器人试验数据进行验证,并与CNN、LSTM、GRU 3种深度学习网络对不同故障程度的辨识能力进行比较。结果表明,在无标签数据为100%组的对比实验中所提出方法的故障诊断准确率达到了90%,同时具有更高的分类准确率和更快的收敛速度;在10%标签数据的条件下所提出方法可实现的诊断准确率达到89.7%。