动态一致自信的深度半监督学习

基于一致性正则化和熵最小化的深度半监督学习方法可以有效提升大型神经网络的性能,减少对标记数据的需求。然而,现有一致性正则化方法的正则损失没有考虑样本之间的差异及错误预测的负面影响,而熵最小化方法则不能灵活调节预测概率分布。首先,针对样本之间的差别以及错误预测带来的负面影响,提出了新的一致性损失函数,称为动态加权一致性正则化(DWCR),可以实现对无标记数据一致性损失的动态加权。其次,为了进一步调节预测概率分布,提出了新的促进低熵预测的损失函数,称为自信促进损失(SCPL),能灵活调节促进模型输出低熵预测的强度,实现类间的低密度分离,提升模型的分类性能。最后,结合动态加权一致性正则化、自信促进损失与有监督损失,提出了名为动态一致自信(DCC)的深度半监督学习方法。多个数据集上的实验表明,所提出方法的分类性能优于目前较先进的深度半监督学习算法。

基于半监督深度学习网络的水体分割方法

水体分割是遥感图像语义分割的一个重要应用方向,现有的深度学习语义分割方法,无法有效分割复杂的水体边界、难以将空间信息和语义信息统一。为了解决上述问题,提出一种针对水体分割的深度学习网络。网络引入了注意力感知机制,能够对特征图中重要的信息加权,提高了对水体边界轮廓的感知能力。为了解决网络上采样过程中语义信息和空间信息不平衡的问题,将不同尺度的特征图融合进行预测。采用半监督框架对网络进行训练,充分利用无标记图像的特征信息,增强了网络的分割性能。实验表明,提出的网络分割性能优于其他现有语义分割网络。

基于图的半监督深度学习及其在新生儿疼痛表情识别中的应用

针对新生儿疼痛表情识别任务中由于有类别标签样本数量不足而导致分类准确率不高的问题,提出了一种基于图的半监督深度学习(Graph-based Semi-supervised Deep Learning,GSDL)方法。首先,使用训练集中少量有类别标签的样本对深度神经网络模型进行初步训练,得到初始模型;然后,利用初始模型提取有类别标签样本与无类别标签样本的特征向量,并使用提取的特征向量构建一个邻接矩阵,进而构建一个图,在构建的图上通过标签传播算法推测出无类别标签样本的伪标签;最后,使用所有样本及其标签对深度神经网络模型进行微调,得到最终的新生儿疼痛表情识别分类模型。在新生儿疼痛表情数据集上的实验结果表明,在使用相同数量的有类别标签样本情况下,文中提出的GSDL模型的分类准确率优于传统的有监督深度学习模型,也高于现有的半监督深度学习模型(Mean-Teachers,MT),验证了GSDL方法在新生儿疼痛表情识别中的有效性。

融合一致性正则与流形正则的半监督深度学习算法

半监督学习已被广泛应用于大数据分析。目前,基于一致性正则的方法是半监督深度学习的研究热点之一。然而这类方法没有考虑数据的流形结构,可能会导致部分相近的样本得到差异很大的输出,进而导致分类器性能下降。针对这个问题,提出了一种融合一致性正则与流形正则的半监督深度学习算法。该算法在对模型施加一致性约束的同时,对样本构图并加入平滑性损失,实现了每个样本点局部邻域的平滑以及邻近(相连)样本点之间的平滑,从而提高半监督深度学习算法的泛化性能。在多个图像和文本数据集上的实验结果表明,与其他的半监督深度学习算法相比,所提算法更有效。

面向中文电子病历文书的医学命名实体识别研究——一种基于半监督深度学习的方法

电子病历文书详细记录患者诊疗全过程,蕴藏的医学知识是电子病历中最丰富的,因此挖掘电子病历文书潜在的知识结构具有十分重要的价值。面向非结构化电子病历知识挖掘的首要工作是命名实体识别,现有的医学领域命名实体识别方法面临标注数据质量偏低、标注数据不足的问题,同时现有方法中均只考虑文本的序列特性,忽略文本中词间、字间的依赖关系,限制了命名实体识别效果。本文提出一种基于半监督深度学习的医学命名实体识别方法,即结合具有专家权威的中文百科半自动化实体标注法及BERT-GCN-CRF框架,对电子病历文本进行医学命名实体识别抽取。以真实电子病历文本作为实验对象,该模型获取的准确率、召回率、F1值均有明显提高,其中P、R和F1综合平均值分别为84.6%、84.0%和84.2%,同时人工标注工作量显著减少。本文提出的方法对电子病历的非结构化文本挖掘工作有重要意义。

基于半监督深度学习的无砟轨道扣件缺陷图像识别方法

提出基于置信图的扣件子图快速定位算法,即基于概率图模型构建扣件子图邻域纹理图和初始引导图与被定位图之间的置信图,并通过计算置信图的最大极值点实现对扣件子图中心点的快速定位。在此基础上,针对无砟轨道扣件缺陷样本相对稀缺的问题,提出基于半监督深度学习的扣件缺陷图像识别方法,即首先采用稀疏自编码(SAE)网络在无标签的数据集进行迭代学习获得扣件子图稀疏表征,然后将训练好的SAE网络连接softmax层组成分类网络,最后在有人工类别标注的小数据集进行二次训练及参数微调获得最终的识别模型。通过在装配WJ-7型扣件的CTRS-Ⅰ和WJ-8型扣件的CTRS-Ⅱ型无砟轨道图像进行应用测试和方法验证。结果表明:该方法可快速精确定位扣件并识别扣件缺失、弹条折断、弹条移位3类缺陷,有效检出率达95%以上。

半监督深度学习图像分类方法研究综述

作为人工智能领域近十年来最受关注的技术之一,深度学习在诸多应用中取得了优异的效果,但目前的学习策略严重依赖大量的有标记数据。在许多实际问题中,获得众多有标记的训练数据并不可行,因此加大了模型的训练难度,但容易获得大量无标记的数据。半监督学习充分利用无标记数据,提供了在有限标记数据条件下提高模型性能的解决思路和有效方法,在图像分类任务中达到了很高的识别精准度。首先对于半监督学习进行概述,然后介绍了分类算法中常用的基本思想,重点对近年来基于半监督深度学习框架的图像分类方法,包括多视图训练、一致性正则、多样混合和半监督生成对抗网络进行全面的综述,总结多种方法共有的技术,分析比较不同方法的实验效果差异,最后思考当前存在的问题并展望未来可行的研究方向。

ReLSL:基于可靠标签选择与学习的半监督学习算法

深度神经网络在众多视觉表征领域取得了显著的成功,如目标检测、识别等.然而,需要大量良好标记的数据进行训练是它们最普遍的限制之一.在实际应用中,为每一个要学习的新任务建立庞大的标记数据集是极其昂贵,甚至是不可行的.半监督深度学习,通过在有限标记数据的条件下充分挖掘大量的未标记数据信息,从而达到与监督学习相媲美的分类精度.然而,当标记数据极其稀少时,现有半监督算法的性能会受到严重影响.因此,本文提出了一种可靠标签选择与学习(Reliable Label Selection and Learning,ReLSL)算法,以解决在仅有极少量标签图像数据时半监督深度学习所面临的问题.具体地,本文首先运用无监督学习方法提取样本特征,并应用基于图的标签传染算法得到无标签样本的伪标签.而后,为了筛选出更为可靠、有更多信息的样本,本文提出了一种综合考虑样本输出均值和一致性的伪标签学习与标定策略.在获得具有扩展标签的数据集后,考虑到训练样本中引入一定比例的标签噪声无可避免,因此本文提出两种策略来训练高鲁棒半监督深度模型:标签平滑策略(Label Smoothing Strategy,LS),用以避免标签过于尖锐;均值偏移校正策略(Mean Shifting Correction Strategy,MSC),用以降低样本输出偏移风险.实验结果表明,在CNN-13、WRN-28-2及ResNet-18各种网络结构下,本文所提出的ReLSL算法在CIFAR-10/100、SVHN、STL-10和Mini-ImageNet数据集上均表现出先进的性能.特别地,本文算法在WRN-28-2网络结构下仅有10个标记数据的CIFAR-10上,相较于最新算法具有6.78%的准确率提升;在CNN-13网络下仅有100个标记数据时,可以达到目前主流半监督学习算法4000标记时的测试误差6.39±0.47%.

基于半监督深度学习的光学性能监测

针对在动态光网络中使用传统深度学习进行多节点光信号监测时存在需要大量标记样本、无标记样本没能得到充分利用和样本标记困难等问题,提出一种基于半监督深度学习的光学性能监测方法,将大量未标记的异步延迟抽头图作为FixMatch模型的输入进行光信噪比监测。研究结果表明,与半监督学习Mean Teacher和卷积神经网络等传统方法相比,FixMatch方法在数据标记率仅为10%、传输速度为40 Gbit/s且调制格式分别为16阶正交振幅调制(QAM)、32QAM和64QAM的情况下,分别实现了100.00%、98.67%和98.44%的分类精度;将数据标记率降到5%,FixMatch方法也能保持99.33%、96.00%和97.67%的优秀分类结果。同时通过色散实验得到,相较于其他方法,FixMatch方法具有明显优势。此外,将其视为分类和回归任务得到的分类精度和平均绝对误差分别为99.33%和0.095 dB。这证明了利用未标记数据能有效提高光学性能监测模型的性能和泛化能力。此外,还讨论了较低数据标记率对该方法的影响。