基于Bagging半监督深度森林回归的二噁英排放浓度软测量

城市固废焚烧(MSWI)过程产生的副产品之一是被称为“世纪之毒”的二噁英(DXN),受限于其排放浓度检测技术难度以及时间与经济成本等因素,难以获得足量的有标记样本用于构建DXN排放浓度软测量模型。为有效利用现场控制系统采集的大量无标记样本,同时解决传统浅层学习模型泛化性能较差的问题,提出了基于Bagging半监督深度森林回归(DFR)的DXN排放浓度软测量方法。首先,基于Bagging机制以重采样原始标记数据集的方式获得多个训练子集,并构建具有差异性的多个随机森林(RF)模型;接着,将RF模型迭代更新、近邻集合选择和性能评估策略相结合用于获得高置信度伪标记样本;最后,基于伪标记和原始标记样本集构建DFR模型。采用北京某MSWI电厂的实际DXN检测数据验证了所提方法的有效性,结果表明,该方法的预测稳定性较好,其训练、验证和测试集的均方根误差分别为0.015 50、0.020 23和0.019 73。

基于半监督学习的网络异常检测研究综述

网络流量数据的获取较为容易,而对流量数据进行标记相对困难。半监督学习利用少量有标签数据和大量无标签数据进行训练,减少了对有标签数据的需求,能较好适应海量网络流量数据下的异常检测。文章对近年来的半监督网络异常检测领域的论文进行深入调研。首先,介绍了一些基本概念,并深入剖析了网络异常检测中使用半监督学习策略的必要性;然后,从半监督机器学习、半监督深度学习和半监督学习结合其他范式三个方面,分析和比较了半监督网络异常检测领域近年来的论文,并进行归纳和总结;最后,对当前半监督网络异常检测领域进行了现状分析和未来展望。

非独立同分布下联邦半监督学习的数据分享研究

联邦学习作为一种保护本地数据隐私安全的分布式机器学习方法,联合分散的设备共同训练共享模型。通常联邦学习在数据均有标签情况下进行训练,然而现实中无法保证标签数据完全存在,提出联邦半监督学习。在联邦半监督学习中,如何利用无标签数据提升系统性能和如何缓解数据异质性带来的负面影响是两大挑战。针对标签数据仅在服务器场景,基于分享的思想,设计一种可应用在联邦半监督学习系统上的方法Share&Mark,该方法将客户端的分享数据由专家标记后参与联邦训练。同时,为充分利用分享的数据,根据各客户端模型在服务器数据集上的损失值动态调整各客户端模型在联邦聚合时的占比,即ServerLoss聚合算法。综合考虑隐私牺牲、通信开销以及人工标注成本3个方面的因素,对不同分享率下的实验结果进行分析,结果表明,约3%的数据分享比例能平衡各方面因素。此时,采用Share&Mark方法的联邦半监督学习系统FedMatch在CIFAR-10和Fashion-MNIST数据集上训练的模型准确率均可提升8%以上,并具有较优的鲁棒性。

一种双通道半监督网络表示学习模型

在半监督网络表示学习中,节点标签对于网络在不同空间中映射关系的建立具有重要指导意义。然而在很多实际任务中,可用标签信息往往比较有限或难以获取,这导致在学习网络低维表示的过程中无法提供充分有效的监督。针对这一问题,提出了一种双通道半监督网络表示学习模型,该模型以自编码器为基本框架,由自监督和半监督两个信息传递通道构成。自监督信号与标签信息分别在两个通道中对网络表示映射关系的建立提供指导,同时二者之间形成信息互补与增强。考虑到两个通道间可能存在信息冗余,在互信息视角下设计了冗余识别与消除机制。在此基础上,构造了一体化优化模型,实现自监督学习与半监督学习的协同,使学习到的网络表示更好地捕捉和保持网络的结构和特性。在真实数据集上的实验结果表明,提出的模型学习的网络表示在节点分类、聚类和可视化等任务中能够获得优于基线方法的性能。

基于自反馈阈值学习的半监督皮肤癌诊断模型

为解决监督学习皮肤癌诊断模型的训练需要大量数据标注,且医学专家标注工作成本高、耗时长、易疲劳等问题,提出了一种基于自反馈阈值学习(Self-Feedback Threshold Learning,SFTL)的半监督皮肤癌诊断方法.在标注数据预训练的ResNet网络基础上,引入全局和局部类别间伪标签自反馈阈值学习机制动态筛选ResNet预测概率大于自反馈阈值的无标记样本,引入无监督阈值学习损失和分类交叉熵损失进行模型训练,在标记样本稀缺的情况下深入挖掘无标记数据的鉴别诊断信息,显著降低模型在无标记皮肤病变图像中的误判率.选取公开数据集HAM10000的皮肤病变图像展开实验验证,在仅需50%标记数据下实现了0.8229的准确率和0.7651的F1分数,证明所提出的SFTL模型在半监督场景下可有效解决皮肤癌诊断任务,相比其他同类方法具有更好的分类性能.

面向日志的半监督一致性异常检测

为了解决真实数据缺少类标签、日志解析错误影响模型性能的问题,设计了基于置信度的半监督异常检测模型SemiCAD.该模型首先基于原始日志数据进行特征提取;其次,通过基于分层密度的带噪声应用空间聚类(HDBSCAN)的正例无标记样本(PU)学习算法,对训练集中无标签的数据进行伪标签估计;最后,使用一致性预测中的统计量p值度量日志数据间的不一致性,选择多个合适的集成算法作为不一致性度量函数计算不一致得分进行协同检测,给出待测日志序列的标签及其标签置信度.在超级计算机(Blue Gene/L)和Hadoop分布式文件系统(HDFS)的日志数据上进行实验,结果表明,相比其他日志异常检测模型,该模型的召回率和F1值等均有所提升,证明该半监督模型在缺少标签的日志中可以有效检测异常.

基于平衡采样的主动半监督学习人类活动识别研究

基于可穿戴传感器的人类活动识别研究逐渐受到人们的广泛关注。本文提出了一种基于平衡采样的主动半监督模型,在挑选样本进行标注时,将样本的不确定性和多样性一并考虑在内,挑选出类别平衡的不确定性样本。确保训练后的模型对每个类都有很好的识别性能,从而提升整体分类结果。同时,为了全部利用标记和未标记样本的信息,将主动学习和半监督学习相结合,利用损失项信息不断更新网络参数,提升模型在低注释下的识别性能。该模型在2个公开数据集上得到了验证,在确保获得较优分类准确率的同时,可以大大减少样本的人工标注工作。

融合全监督学习的半监督矿石粒度预测算法

针对选矿过程矿石粒度分析精度的提高依赖于有标签样本数量,以及传统全监督建模方法泛化性能较差的问题,提出了融合全监督学习的半监督矿石粒度预测算法。以运矿皮带上应用图像获取的矿石粒度数据作为研究对象,利用半监督学习获得无标签的图像识别矿石粒度样本伪标签,扩展数量有限的原始标签样本,以提高矿石粒度预测模型的性能。采用筛分法获取的矿石粒度数据集来验证融合全监督学习的半监督预测算法,结果表明,融合全监督学习的半监督预测算法的模型决定系数达到92.1%,均方根误差和平均绝对误差分别为0.023和0.02,相较于传统全监督建模方法,该模型的预测精度显著提高,为提高矿石粒度检测精度提供了有力的技术支撑。

特征增强与残差重塑的多重一致性约束半监督视频动作检测

一致性正则化半监督视频动作检测方法对原始数据和增广数据进行特征表示时容易引起两类数据间判别域偏差,导致判别结果无法拟合.针对该问题,文中提出特征增强与残差重塑的多重一致性约束半监督视频动作检测方法.首先,将基础动作特征描述子在时空维进行连续性增强编码,获取视频动作理解中至关重要的上下文信息.然后,在通过残差特征重塑模块获得多尺度残差信息的同时进行特征重塑.为了降低不同数据间的判别偏差,分别从分类特征与动作定位特征角度对原始数据和增广数据施加多重一致性约束,实现模型对增广数据和原始数据判别结果和特征表示的匹配.最后,在JHMDB-21、UCF101-24数据集上的实验表明,文中方法能有效提高少样本标记条件下视频动作检测准确度,具有较强的竞争力.

半监督空谱局部判别分析的高光谱影像特征提取

为充分利用高光谱影像中蕴含的空谱特征,提出了一种半监督空谱局部判别分析的高光谱影像特征提取算法(S4LFDA)。鉴于高光谱数据集具有空间一致性,首先将像元进行空间重构,保存高光谱数据的近邻关系;其次引入光谱信息散度重构像元间的相似度;为了充分利用大量无标签样本提高算法性能,采用模糊C均值聚类算法对样本进行聚类分析得到伪标签;然后通过增加规范化项到局部力导引算法(FDA)的类内散度矩阵和类间散度矩阵中,以此保持无标签样本的聚类结构一致性;最后通过局部FDA算法来保持有标签样本类间散度最大化和类内散度最小化并求解最佳投影向量。S4LFDA算法既保持了数据集在光谱域的可分性,又保持了像元在空间区域内的近邻关系,合理利用有标签样本及无标签样本,提高了算法的分类性能。在Pavia University和Indian Pines数据集上进行实验,总体分类精度达到95.60%和94.38%。与其他维数约简算法相比,该算法有效提高了地物分类性能。

基于自训练半监督神经网络的结构损伤识别

为解决结构损伤识别中标签样本不足的问题,提出一种基于自训练半监督神经网络(self-training semi-supervised neural networks,SSNN)的结构损伤识别框架,该框架利用自训练半监督方法对多层感知机(multilayer perceptron,MLP)神经网络进行训练,从无标签样本中挑选置信度高的样本标注伪标签,扩大样本训练集,并采用归一化频率变化率和损伤特征指数作为输入特征,用于识别结构损伤。首先,介绍自训练半监督学习的基本理论和方法;其次,从神经网络构建、损伤特征提取、分类器评估等方面,给出结构损伤识别流程;最后,通过空间桁架的数值案例及3层框架的试验数据,验证所提出的损伤识别方法。结果表明:自训练半监督学习能够从无标签样本中选取置信度较高的样本,为损伤识别提供更充足的有标签样本;在标记样本不足的条件下,SSNN比MLP神经网络的损伤识别效果更好;相较于MLP神经网络,SSNN在单一位置损伤工况下,识别准确率提升约4%,2个位置损伤识别准确率提升约9%。

基于图半监督与多任务学习的配电网故障区段与类型统一辨识

为解决深度学习类配电网故障辨识方法在量测不足和标记率低时准确率不高的问题,提出了基于图半监督与多任务学习的故障区段与类型统一辨识方法。首先,设计了故障区段与类型统一辨识的图神经网络架构,在图嵌入层中融入网络拓扑和线路参数信息,以充分挖掘不同位置、类型的故障特征。其次,采用多任务注意力网络构建了故障区段定位和类型辨识两个任务,以提取故障的多重信息,实现不同任务间知识转移。再次,将图嵌入特征与无标签样本的编码压缩特征进行融合,得到新的多任务共享特征,以充分利用未标记数据,增强模型泛化能力。最后,通过算例测试表明,所提方法的故障辨识精度优于传统神经网络,且在实时量测少、标签率低及不同量测噪声条件下具有更好的鲁棒性。

TS-Aug架构的半监督自训练情感分类算法

网络教学资源的普及使得资源评价的文本数据规模逐步增大.传统的有监督学习文本分类对标注数据的依赖度较高,需要足够的数据量和高质量数据才能得到良好的结果.在网络教学资源的评价文本工作中,由于标注数据难以获取且质量参差不齐,使得这一任务的难度越来越高.针对这一困难,提出一种TS-Aug半监督自训练方案,通过添加无标签数据并进行伪标签训练,能在强力数据增广的作用下大幅扩充样本集,解决数据增广中的过拟合风险.首先利用标注数据和弱增广策略进行初始化监督训练,然后利用无标注数据和强增广策略进行半监督训练,最后使用标注数据进行微调监督训练.在自建的在线课程评论数据中,能将分类F 1-Score从0.88提升至0.95,表明TS-Aug半监督自训练方案在文本分类任务中具有较好的应用前景.

基于双向时间卷积网络的半监督日志异常检测

由于日志解析准确率不高以及标记样本不足降低了异常检测的准确率,所以提出了一种新的基于日志的半监督异常检测方法。首先,通过改进字典的日志解析方法,保留了日志事件中的部分参数信息,从而提高日志信息的利用率和日志解析的准确率;然后,使用BERT对模板中的语义信息进行编码,获得日志的语义向量;接着采用聚类的方法进行标签估计,缓解了数据标注不足的问题,有效提高了模型对不稳定数据的检测;最后,使用带有残差块的双向时间卷积网络(Bi-TCN)从两个方向捕获上下文信息,提高了异常检测的精度和效率。为了评估该方法的性能,在两个数据集上进行了评估,最终实验结果表明,该方法与最新的三个基准模型LogBERT、PLELog和LogEncoder相比,F 1值平均提高了7%、14.1%和8.04%,能够高效精准地进行日志解析和日志异常检测。

融合双重极化注意力的轻量化半监督语义分割

针对目前半监督语义分割方法复杂度高、训练精度低、参数量过大等问题,提出融合双重极化自注意力机制的轻量级半监督语义分割算法。模型使用由位置感知循环卷积构造的Resnet-101残差网络作为分割骨干网络提取深层特征。融合了通道及空间双重极化自注意力机制,在极化通道和空间注意力分支中保持较高内部分辨率。将位置感知循环卷积与通道注意力操作结合起来,提升分割精度并降低计算成本,克服硬件支持等问题。在公开数据集PASCALVOC 2012上的实验结果显示,该算法其平均交并比可达到76.32%,较基准模型准确率提高了2.52个百分点,参数量减少了9%,模型硬件所占内存减小了61.6%。设计的模型与领域内最新算法相比,该算法在精度、模型复杂度、参数量等方面均展现出了显著的优势。

基于半监督对比学习的人脸表情识别

为解决面部表情识别(FER)大规模表情收集困难和现有表情无法满足实际细粒度需求的问题,在ResNet系列网络,以Resnet-18残差网络作为基础,首先引入图像预处理算法处理人脸表情图片,然后利用半监督学习方法将未标记数据与标记数据相结合,用以描述输入空间的数据分布。最后利用对比学习方法扩大类间距,减少类内差异。该方法在RAF-DB真实场景人脸表情识别数据集上进行了测试,其中2000个有标签的训练集测试准确率为81.37%,4000个有标签的训练集测试准确率为83.63%。

一种无需手工标注的半监督学习关键词抽取方法

关键词的自动抽取技术是为了满足信息时代人们对特定领域知识快速便捷获取的需求.它也是机器翻译、信息检索、知识图谱构建等应用场景中的关键基础问题和研究热点.监督学习方法的效果是建立在有现成的大量的带有准确标注的高质量的数据集的前提上的,无法在低资源环境下快速运用.本文提出了一种考虑词频、词长以及词大小写特征的无监督算法以及结合了该无监督算法的自扩展迭代的半监督学习关键词抽取方法.半监督学习方法在同样无需手工标注关键词的前提下,相比无监督算法具有更高的F1值.

基于融合编码器与双解码器的半监督疲劳裂纹分割

针对现有基于深度学习的疲劳裂纹分割算法依赖于大量像素级标记的问题,提出了一种半监督疲劳裂纹分割网络SFD-Net.SFD-Net利用对比学习方法进行半监督训练,以减少对大量像素级标记的依赖.同时,它采用融合编码器和双解码器的设计,旨在更好地捕捉裂纹区域的特征并提高分割准确性.通过引入改进注意力模块和边界优化模块,增强了对裂纹特征的表示,提高了裂纹边界的分割质量.在公开的疲劳裂纹数据集上对SFD-Net进行性能验证.结果表明:相较于使用相同标记比例的全监督算法,SFD-Net的分割性能有明显提升;仅使用25%的标记数据时,SFD-Net的交并比(IoU)达到70.6%,超过了使用100%标记数据的其他全监督算法的平均IoU(69.1%);同时,与其他先进的半监督方法相比,SFD-Net在所有标记数据比例下均取得了最高的预测精度.

Laplace周期图与关联性检验相结合的半监督信号异常检测方法

信号异常检测方法具有普遍的研究意义和广泛的实用价值.该文首先研究Laplace周期图的统计性质,再结合用于关联性检验的有力工具互信息的刀切估计(JMI),对两段信号的Laplace周期图对数比进行统计检验,可判断所检测信号是否具有相同的归一化动态特征.作为一种半监督的异常检测方法,可在已知正常信号标签的情况下,以动态特征检测出未知信号是否异常.统计模拟试验和滚动轴承数据的实例分析显示,该文所提的新方法优于Laplace周期图分别与B样条F检验(B-spline F test)、Ljung-Box Q检验(LBQ)、游程检验(run test)相结合的方法,兼顾了稳健性和较低的犯错概率,具备一定的实用性和有效性.

融合维基知识的变分半监督百度百科分类

跨语言知识图谱构架多利用维基百科,但其中文实体较少,构建大规模以中文为核心的跨语言知识图谱比较困难。如何利用百度百科等现有的大规模中文百科知识库来辅助构建跨语言知识图谱是亟待解决的问题,然而维基百科和百度百科属于不同的分类体系,增加了跨百科检索的范围和难度。基于此,提出一种融合少量带分类标签的维基知识指导下的半监督百度百科分类方法。基于词嵌入和词袋模型分别获得百科摘要文本的语义特征和统计特征;融合两者作为变分自编码模型的输入,获得其语义表征;利用少量维基百科分类损失和海量无标签百度百科重构损失,构造半监督分类损失,实现分类体系统一。实验结果表明,所提方法能够准确实现百度百科到维基百科分类体系的迁移。