针对国际疾病分类(ICD)自动编码方法的长文本处理、编码的层次结构以及长尾分布等导致的模型泛化能力弱的问题,提出一种充分利用医学预训练语言模型的基于提示学习和超球原型的小样本ICD自动编码方法(hypersphere prototypical with pro...针对国际疾病分类(ICD)自动编码方法的长文本处理、编码的层次结构以及长尾分布等导致的模型泛化能力弱的问题,提出一种充分利用医学预训练语言模型的基于提示学习和超球原型的小样本ICD自动编码方法(hypersphere prototypical with prompt learning,PromptHP)。首先,将编码描述与临床文本融合进提示学习模型中的提示模板,使得模型能够更加深入地理解临床文本;然后,充分利用预训练语言模型的先验知识进行初始预测;接着,在预训练语言模型输出表示的基础上引入超球原型进行类别建模和度量分类,并在医学数据集上微调网络,充分纳入数据知识,提高模型在小样本ICD编码分配任务上的性能;最后,对以上两部分预测结果集成加权获得最终编码预测结果。在公开医学数据集MIMIC-Ⅲ上的实验结果表明,该模型优于最先进的基线方法,PromptHP将小样本编码的macro-AUC、micro-AUC、macro-F_(1)和micro-F_(1)分别提高了1.77%、1.54%、14.22%、15.01%。实验结果验证了该模型在小样本编码分类任务中的有效性。展开更多
基于预训练微调的分类方法通常需要大量带标注的数据,导致无法应用于小样本分类任务。因此,针对中文小样本新闻主题分类任务,提出一种基于知识增强和提示学习的分类方法KPL(Knowledge enhancement and Prompt Learning)。首先,利用预训...基于预训练微调的分类方法通常需要大量带标注的数据,导致无法应用于小样本分类任务。因此,针对中文小样本新闻主题分类任务,提出一种基于知识增强和提示学习的分类方法KPL(Knowledge enhancement and Prompt Learning)。首先,利用预训练模型在训练集上学习最优的提示模板;其次,将提示模板与输入文本结合,使分类任务转化为完形填空任务;同时利用外部知识扩充标签词空间,丰富标签词的语义信息;最后,对预测的标签词与原始的标签进行映射。通过在THUCNews、SHNews和Toutiao这3个新闻数据集上进行随机采样,形成小样本训练集和验证集进行实验。实验结果表明,所提方法在上述数据集上的1-shot、5-shot、10-shot和20-shot任务上整体表现有所提升,尤其在1-shot任务上提升效果突出,与基线小样本分类方法相比,准确率分别提高了7.59、2.11和3.10个百分点以上,验证了KPL在小样本新闻主题分类任务上的有效性。展开更多
在小样本分类任务中,每个类别可供训练的样本数量非常有限.因此在特征空间中同类样本分布稀疏,异类样本间边界模糊.提出一种新的基于特征变换和度量网络(Feature transformation and metric networks,FTMN)的小样本学习算法用于小样本...在小样本分类任务中,每个类别可供训练的样本数量非常有限.因此在特征空间中同类样本分布稀疏,异类样本间边界模糊.提出一种新的基于特征变换和度量网络(Feature transformation and metric networks,FTMN)的小样本学习算法用于小样本分类任务.算法通过嵌入函数将样本映射到特征空间,并计算输入该样本与所属类别中心的特征残差.构造一个特征变换函数对该残差进行学习,使特征空间内的样本特征经过该函数后向同类样本中心靠拢.利用变换后的样本特征更新类别中心,使各类别中心间的距离增大.算法进一步构造了一种新的度量函数,对样本特征中每个局部特征点的度量距离进行联合表达,该函数能够同时对样本特征间的夹角和欧氏距离进行优化.算法在小样本分类任务常用数据集上的优秀表现证明了算法的有效性和泛化性.展开更多
少样本学习是目前机器学习研究领域的热点和难点.针对现有的少样本学习模型不能有效捕捉数据特征与数据标签之间的联系,造成分类模型泛化能力弱的问题,提出一种基于元学习的原型空间图卷积网络少样本学习模型FSL-GCNPS(Few-Shot Learnin...少样本学习是目前机器学习研究领域的热点和难点.针对现有的少样本学习模型不能有效捕捉数据特征与数据标签之间的联系,造成分类模型泛化能力弱的问题,提出一种基于元学习的原型空间图卷积网络少样本学习模型FSL-GCNPS(Few-Shot Learning of Graph Convolutional Network on Prototype Space).首先,利用卷积神经网络提取多任务数据的特征向量;其次,为了将特征向量映射到原型空间中,根据元学习的训练策略得到特征向量的类原型表达;然后,通过类原型向量和类向量之间的嵌入表示,构建图结构数据,并进行图卷积网络训练、推理.实验结果表明,相较于经典少样本学习方法,FSL-GCNPS模型拥有更好的分类准确率和分类稳定性.同时,在医学图像领域数据集上实验表明,FSL-GCNPS具有很好的跨域适应性.展开更多
轴承故障类型复杂,并且在不同工况下每种故障类型都很难获得足够的训练样本。因此,本文提出一种基于深度神经网络的小样本学习分类算法,引入第1层具有宽卷积核网络(Convolutional neural network with training interference,TICNN)作...轴承故障类型复杂,并且在不同工况下每种故障类型都很难获得足够的训练样本。因此,本文提出一种基于深度神经网络的小样本学习分类算法,引入第1层具有宽卷积核网络(Convolutional neural network with training interference,TICNN)作为孪生网络的子网络用于提取特征,减少工业环境噪声影响。孪生网络是一种常用于小样本学习的结构,通过输入相同或不同类别的样本对进行训练,学习不同属性样本与特征之间的映射关系,并采用相似度进行度量。测试样本通过寻找最近邻的类别来实现分类。在标准凯斯西储大学轴承故障诊断基准数据集上的实验结果表明,在数据有限的情况下,本文模型在故障诊断中表现出更好的效果。当使用最少的训练数据在不同的噪声环境中进行测试时,本文小样本学习模型的性能超过了具有合理噪声水平的基线模型,故障诊断准确率达到了94.41%。当在具有新故障类型或新工作条件的测试集上进行评估时,本文模型仍然有效。展开更多
害虫识别是害虫防治的关键基础,由于较难获得足够的害虫种类图像,如何使用少量标记图像构造害虫分类器是一个富有挑战性的问题。现有研究多采用匹配网络框架来解决这个问题,该框架使用元学习避免重新训练深度网络,然而主干网络的特征提...害虫识别是害虫防治的关键基础,由于较难获得足够的害虫种类图像,如何使用少量标记图像构造害虫分类器是一个富有挑战性的问题。现有研究多采用匹配网络框架来解决这个问题,该框架使用元学习避免重新训练深度网络,然而主干网络的特征提取能力有限,元学习算法没有提供较好的权重初始化策略,可能导致网络出现梯度消失或者梯度爆炸的情况。为了解决这一问题,该研究提出一种基于空间注意力增强ResNeSt-101和迁移元学习算法的小样本害虫分类器。首先,通过一个空间注意力模块增强ResNeSt-101以更好地提取害虫图像特征,即在ResNeSt-101的第1阶段的最大池化层之前以及在第2~4阶段的末尾分别附加集成空间注意力模块,并通过数值仿真确定空间注意力增强模块的最佳放置位置为第1阶段的最大池化层之前。随后,通过迁移学习策略初始化网络权重,进而通过元学习进行优化。为了避免网络出现梯度消失或者梯度爆炸的情况,在元学习算法中选择归一化的温度缩放交叉熵损失函数代替三元组损失函数。最后,通过计算查询图像和支持图像深度特征之间的相似度实现害虫分类。所提出方法在自建的害虫图像数据集AD0和MIP50上使用N-类K-例准确率和每张图像处理时间(the time of per image processing,TPIP)进行评估。害虫图像数据集的构建方式如下:首先对公共害虫图像数据集IP102和D0进行清洗,以消除由于英文害虫名称导致的歧义类别;然后移除卵、幼虫和蛹阶段的害虫图像,仅保留成虫阶段的图像。考虑到人工和时间成本,从清理后的IP102害虫数据集中选择50个类别构建MIP50害虫图像数据集。随后,通过害虫的拉丁名称从互联网搜索更多的害虫图像,生成AD0害虫图像数据集。自建的MIP50数据集包括来自IP102的50个类别的16424张成虫图像,AD0包含来自D0的所有40个类别的17112张成虫图像。试验结果表明,当测试集中只有少数未知类别的害虫图像时,本文方法在AD0数据集上的5-类10-例评估准确率达到了96.37%,在MIP50数据集上达到了76.91%。当测试集中同时存在几个未知和已知类别的害虫图像时,所提方法在AD0数据集上的5-类10-例设置下的识别准确率达到了93.73%,在MIP50数据集上达到90.60%。同时,本文方法的TPIP大约为0.44 ms,满足大多数场景下的实时害虫识别要求。此外,消融试验结果表明,基于空间注意力增强ResNeSt-101网络和迁移元学习的小样本害虫分类方法在AD0、MIP50数据集上对未知类别害虫图像的5-类10-例的识别准确率分别提升了5和3个百分点以上,具有良好应用前景。但未来研究中还需进一步研究本方法中存在的问题,如通过采用更好地表征支持集样本与查询集样本之间复杂关系的度量优化本工作中用到的度量以解决增加类别数可能导致分类准确率降低的问题,以及将所提方法应用于现实农业场景进行优化改进以更好提升本文方法的实用性。展开更多
文摘针对国际疾病分类(ICD)自动编码方法的长文本处理、编码的层次结构以及长尾分布等导致的模型泛化能力弱的问题,提出一种充分利用医学预训练语言模型的基于提示学习和超球原型的小样本ICD自动编码方法(hypersphere prototypical with prompt learning,PromptHP)。首先,将编码描述与临床文本融合进提示学习模型中的提示模板,使得模型能够更加深入地理解临床文本;然后,充分利用预训练语言模型的先验知识进行初始预测;接着,在预训练语言模型输出表示的基础上引入超球原型进行类别建模和度量分类,并在医学数据集上微调网络,充分纳入数据知识,提高模型在小样本ICD编码分配任务上的性能;最后,对以上两部分预测结果集成加权获得最终编码预测结果。在公开医学数据集MIMIC-Ⅲ上的实验结果表明,该模型优于最先进的基线方法,PromptHP将小样本编码的macro-AUC、micro-AUC、macro-F_(1)和micro-F_(1)分别提高了1.77%、1.54%、14.22%、15.01%。实验结果验证了该模型在小样本编码分类任务中的有效性。
文摘基于预训练微调的分类方法通常需要大量带标注的数据,导致无法应用于小样本分类任务。因此,针对中文小样本新闻主题分类任务,提出一种基于知识增强和提示学习的分类方法KPL(Knowledge enhancement and Prompt Learning)。首先,利用预训练模型在训练集上学习最优的提示模板;其次,将提示模板与输入文本结合,使分类任务转化为完形填空任务;同时利用外部知识扩充标签词空间,丰富标签词的语义信息;最后,对预测的标签词与原始的标签进行映射。通过在THUCNews、SHNews和Toutiao这3个新闻数据集上进行随机采样,形成小样本训练集和验证集进行实验。实验结果表明,所提方法在上述数据集上的1-shot、5-shot、10-shot和20-shot任务上整体表现有所提升,尤其在1-shot任务上提升效果突出,与基线小样本分类方法相比,准确率分别提高了7.59、2.11和3.10个百分点以上,验证了KPL在小样本新闻主题分类任务上的有效性。
文摘在小样本分类任务中,每个类别可供训练的样本数量非常有限.因此在特征空间中同类样本分布稀疏,异类样本间边界模糊.提出一种新的基于特征变换和度量网络(Feature transformation and metric networks,FTMN)的小样本学习算法用于小样本分类任务.算法通过嵌入函数将样本映射到特征空间,并计算输入该样本与所属类别中心的特征残差.构造一个特征变换函数对该残差进行学习,使特征空间内的样本特征经过该函数后向同类样本中心靠拢.利用变换后的样本特征更新类别中心,使各类别中心间的距离增大.算法进一步构造了一种新的度量函数,对样本特征中每个局部特征点的度量距离进行联合表达,该函数能够同时对样本特征间的夹角和欧氏距离进行优化.算法在小样本分类任务常用数据集上的优秀表现证明了算法的有效性和泛化性.
文摘少样本学习是目前机器学习研究领域的热点和难点.针对现有的少样本学习模型不能有效捕捉数据特征与数据标签之间的联系,造成分类模型泛化能力弱的问题,提出一种基于元学习的原型空间图卷积网络少样本学习模型FSL-GCNPS(Few-Shot Learning of Graph Convolutional Network on Prototype Space).首先,利用卷积神经网络提取多任务数据的特征向量;其次,为了将特征向量映射到原型空间中,根据元学习的训练策略得到特征向量的类原型表达;然后,通过类原型向量和类向量之间的嵌入表示,构建图结构数据,并进行图卷积网络训练、推理.实验结果表明,相较于经典少样本学习方法,FSL-GCNPS模型拥有更好的分类准确率和分类稳定性.同时,在医学图像领域数据集上实验表明,FSL-GCNPS具有很好的跨域适应性.
文摘轴承故障类型复杂,并且在不同工况下每种故障类型都很难获得足够的训练样本。因此,本文提出一种基于深度神经网络的小样本学习分类算法,引入第1层具有宽卷积核网络(Convolutional neural network with training interference,TICNN)作为孪生网络的子网络用于提取特征,减少工业环境噪声影响。孪生网络是一种常用于小样本学习的结构,通过输入相同或不同类别的样本对进行训练,学习不同属性样本与特征之间的映射关系,并采用相似度进行度量。测试样本通过寻找最近邻的类别来实现分类。在标准凯斯西储大学轴承故障诊断基准数据集上的实验结果表明,在数据有限的情况下,本文模型在故障诊断中表现出更好的效果。当使用最少的训练数据在不同的噪声环境中进行测试时,本文小样本学习模型的性能超过了具有合理噪声水平的基线模型,故障诊断准确率达到了94.41%。当在具有新故障类型或新工作条件的测试集上进行评估时,本文模型仍然有效。
基金National Science Foundation of China(62172165)Science and Technology Planning Project of Guangdong Province under Grant(2021B1212040009)+2 种基金Natural Science Foundation of Guangdong Province(2022A1515010325)Guangzhou Basic and Applied Basic Research Project(202201010742)Science and Technology Program of Guangzhou(202206010116,201902010081,107126242281)。
文摘害虫识别是害虫防治的关键基础,由于较难获得足够的害虫种类图像,如何使用少量标记图像构造害虫分类器是一个富有挑战性的问题。现有研究多采用匹配网络框架来解决这个问题,该框架使用元学习避免重新训练深度网络,然而主干网络的特征提取能力有限,元学习算法没有提供较好的权重初始化策略,可能导致网络出现梯度消失或者梯度爆炸的情况。为了解决这一问题,该研究提出一种基于空间注意力增强ResNeSt-101和迁移元学习算法的小样本害虫分类器。首先,通过一个空间注意力模块增强ResNeSt-101以更好地提取害虫图像特征,即在ResNeSt-101的第1阶段的最大池化层之前以及在第2~4阶段的末尾分别附加集成空间注意力模块,并通过数值仿真确定空间注意力增强模块的最佳放置位置为第1阶段的最大池化层之前。随后,通过迁移学习策略初始化网络权重,进而通过元学习进行优化。为了避免网络出现梯度消失或者梯度爆炸的情况,在元学习算法中选择归一化的温度缩放交叉熵损失函数代替三元组损失函数。最后,通过计算查询图像和支持图像深度特征之间的相似度实现害虫分类。所提出方法在自建的害虫图像数据集AD0和MIP50上使用N-类K-例准确率和每张图像处理时间(the time of per image processing,TPIP)进行评估。害虫图像数据集的构建方式如下:首先对公共害虫图像数据集IP102和D0进行清洗,以消除由于英文害虫名称导致的歧义类别;然后移除卵、幼虫和蛹阶段的害虫图像,仅保留成虫阶段的图像。考虑到人工和时间成本,从清理后的IP102害虫数据集中选择50个类别构建MIP50害虫图像数据集。随后,通过害虫的拉丁名称从互联网搜索更多的害虫图像,生成AD0害虫图像数据集。自建的MIP50数据集包括来自IP102的50个类别的16424张成虫图像,AD0包含来自D0的所有40个类别的17112张成虫图像。试验结果表明,当测试集中只有少数未知类别的害虫图像时,本文方法在AD0数据集上的5-类10-例评估准确率达到了96.37%,在MIP50数据集上达到了76.91%。当测试集中同时存在几个未知和已知类别的害虫图像时,所提方法在AD0数据集上的5-类10-例设置下的识别准确率达到了93.73%,在MIP50数据集上达到90.60%。同时,本文方法的TPIP大约为0.44 ms,满足大多数场景下的实时害虫识别要求。此外,消融试验结果表明,基于空间注意力增强ResNeSt-101网络和迁移元学习的小样本害虫分类方法在AD0、MIP50数据集上对未知类别害虫图像的5-类10-例的识别准确率分别提升了5和3个百分点以上,具有良好应用前景。但未来研究中还需进一步研究本方法中存在的问题,如通过采用更好地表征支持集样本与查询集样本之间复杂关系的度量优化本工作中用到的度量以解决增加类别数可能导致分类准确率降低的问题,以及将所提方法应用于现实农业场景进行优化改进以更好提升本文方法的实用性。
