害虫识别是害虫防治的关键基础,由于较难获得足够的害虫种类图像,如何使用少量标记图像构造害虫分类器是一个富有挑战性的问题。现有研究多采用匹配网络框架来解决这个问题,该框架使用元学习避免重新训练深度网络,然而主干网络的特征提...害虫识别是害虫防治的关键基础,由于较难获得足够的害虫种类图像,如何使用少量标记图像构造害虫分类器是一个富有挑战性的问题。现有研究多采用匹配网络框架来解决这个问题,该框架使用元学习避免重新训练深度网络,然而主干网络的特征提取能力有限,元学习算法没有提供较好的权重初始化策略,可能导致网络出现梯度消失或者梯度爆炸的情况。为了解决这一问题,该研究提出一种基于空间注意力增强ResNeSt-101和迁移元学习算法的小样本害虫分类器。首先,通过一个空间注意力模块增强ResNeSt-101以更好地提取害虫图像特征,即在ResNeSt-101的第1阶段的最大池化层之前以及在第2~4阶段的末尾分别附加集成空间注意力模块,并通过数值仿真确定空间注意力增强模块的最佳放置位置为第1阶段的最大池化层之前。随后,通过迁移学习策略初始化网络权重,进而通过元学习进行优化。为了避免网络出现梯度消失或者梯度爆炸的情况,在元学习算法中选择归一化的温度缩放交叉熵损失函数代替三元组损失函数。最后,通过计算查询图像和支持图像深度特征之间的相似度实现害虫分类。所提出方法在自建的害虫图像数据集AD0和MIP50上使用N-类K-例准确率和每张图像处理时间(the time of per image processing,TPIP)进行评估。害虫图像数据集的构建方式如下:首先对公共害虫图像数据集IP102和D0进行清洗,以消除由于英文害虫名称导致的歧义类别;然后移除卵、幼虫和蛹阶段的害虫图像,仅保留成虫阶段的图像。考虑到人工和时间成本,从清理后的IP102害虫数据集中选择50个类别构建MIP50害虫图像数据集。随后,通过害虫的拉丁名称从互联网搜索更多的害虫图像,生成AD0害虫图像数据集。自建的MIP50数据集包括来自IP102的50个类别的16424张成虫图像,AD0包含来自D0的所有40个类别的17112张成虫图像。试验结果表明,当测试集中只有少数未知类别的害虫图像时,本文方法在AD0数据集上的5-类10-例评估准确率达到了96.37%,在MIP50数据集上达到了76.91%。当测试集中同时存在几个未知和已知类别的害虫图像时,所提方法在AD0数据集上的5-类10-例设置下的识别准确率达到了93.73%,在MIP50数据集上达到90.60%。同时,本文方法的TPIP大约为0.44 ms,满足大多数场景下的实时害虫识别要求。此外,消融试验结果表明,基于空间注意力增强ResNeSt-101网络和迁移元学习的小样本害虫分类方法在AD0、MIP50数据集上对未知类别害虫图像的5-类10-例的识别准确率分别提升了5和3个百分点以上,具有良好应用前景。但未来研究中还需进一步研究本方法中存在的问题,如通过采用更好地表征支持集样本与查询集样本之间复杂关系的度量优化本工作中用到的度量以解决增加类别数可能导致分类准确率降低的问题,以及将所提方法应用于现实农业场景进行优化改进以更好提升本文方法的实用性。展开更多
针对可见光-红外跨模态行人重识别中模态差异导致的识别精确率低的问题,提出了一种基于双流结构的跨模态行人重识别关系网络(IVRNBDS)。首先,利用双流结构分别提取可见光模态和红外模态行人图像的特征;然后,将行人图像的特征图水平切分...针对可见光-红外跨模态行人重识别中模态差异导致的识别精确率低的问题,提出了一种基于双流结构的跨模态行人重识别关系网络(IVRNBDS)。首先,利用双流结构分别提取可见光模态和红外模态行人图像的特征;然后,将行人图像的特征图水平切分为6个片段,以提取行人的每个片段的局部特征和其他片段的特征之间的关系,以及行人的核心特征和平均特征之间的关系;最后,在设计损失函数时,引入异质中心三元组损失(HC Loss)函数放松普通三元组损失函数的严格约束,从而使不同模态的图像特征可以更好地映射到同一特征空间中。在公开数据集SYSU-MM01(Sun Yat-Sen University Multi Modal re-identification)和Reg DB(Dongguk Body-based person Recognition)上的实验结果表明,虽然IVRNBDS的计算量略高于当前主流的跨模态行人重识别算法,但所提网络在相似度排名第1(Rank-1)指标和平均精度均值(m AP)指标上都有所提高,提高了跨模态行人重识别算法的识别精确率。展开更多
意图识别和槽填充的联合模型将口语语言理解(Spoken Language Understanding,SLU)提升到了一个新的水平,但是现有模型通过话语上下文信息判断位置信息,缺少对槽信息标签之间位置信息的考虑,导致模型在槽位提取过程中容易发生边界错误,...意图识别和槽填充的联合模型将口语语言理解(Spoken Language Understanding,SLU)提升到了一个新的水平,但是现有模型通过话语上下文信息判断位置信息,缺少对槽信息标签之间位置信息的考虑,导致模型在槽位提取过程中容易发生边界错误,进而影响最终槽位提取表现。此外,在槽信息提取任务中,槽指称项(Slotmen-tions)可能与正常表述话语并没有区别,特别是电影名字、歌曲名字等,模型容易受到槽指称项话语的干扰,因而无法在槽位提取中正确识别槽位边界。该文提出了一种面向口语语言理解的结合边界预测和动态模板的槽填充(Boundary-prediction and Dynamic-template Slot Filling,BDSF)模型。该模型提供了一种联合预测边界信息的辅助任务,将位置信息引入到槽信息填充中,同时利用动态模板机制对话语句式建模,能够让模型聚焦于话语中的非槽指称项部分,避免了模型被槽指称项干扰,增强模型区分槽位边界的能力。在公共基准语料库SMP-ECDT和CAIS上的实验结果表明,该模型优于对比模型,特别是能够为槽标签预测模型提供准确的位置信息。展开更多
基金National Science Foundation of China(62172165)Science and Technology Planning Project of Guangdong Province under Grant(2021B1212040009)+2 种基金Natural Science Foundation of Guangdong Province(2022A1515010325)Guangzhou Basic and Applied Basic Research Project(202201010742)Science and Technology Program of Guangzhou(202206010116,201902010081,107126242281)。
文摘害虫识别是害虫防治的关键基础,由于较难获得足够的害虫种类图像,如何使用少量标记图像构造害虫分类器是一个富有挑战性的问题。现有研究多采用匹配网络框架来解决这个问题,该框架使用元学习避免重新训练深度网络,然而主干网络的特征提取能力有限,元学习算法没有提供较好的权重初始化策略,可能导致网络出现梯度消失或者梯度爆炸的情况。为了解决这一问题,该研究提出一种基于空间注意力增强ResNeSt-101和迁移元学习算法的小样本害虫分类器。首先,通过一个空间注意力模块增强ResNeSt-101以更好地提取害虫图像特征,即在ResNeSt-101的第1阶段的最大池化层之前以及在第2~4阶段的末尾分别附加集成空间注意力模块,并通过数值仿真确定空间注意力增强模块的最佳放置位置为第1阶段的最大池化层之前。随后,通过迁移学习策略初始化网络权重,进而通过元学习进行优化。为了避免网络出现梯度消失或者梯度爆炸的情况,在元学习算法中选择归一化的温度缩放交叉熵损失函数代替三元组损失函数。最后,通过计算查询图像和支持图像深度特征之间的相似度实现害虫分类。所提出方法在自建的害虫图像数据集AD0和MIP50上使用N-类K-例准确率和每张图像处理时间(the time of per image processing,TPIP)进行评估。害虫图像数据集的构建方式如下:首先对公共害虫图像数据集IP102和D0进行清洗,以消除由于英文害虫名称导致的歧义类别;然后移除卵、幼虫和蛹阶段的害虫图像,仅保留成虫阶段的图像。考虑到人工和时间成本,从清理后的IP102害虫数据集中选择50个类别构建MIP50害虫图像数据集。随后,通过害虫的拉丁名称从互联网搜索更多的害虫图像,生成AD0害虫图像数据集。自建的MIP50数据集包括来自IP102的50个类别的16424张成虫图像,AD0包含来自D0的所有40个类别的17112张成虫图像。试验结果表明,当测试集中只有少数未知类别的害虫图像时,本文方法在AD0数据集上的5-类10-例评估准确率达到了96.37%,在MIP50数据集上达到了76.91%。当测试集中同时存在几个未知和已知类别的害虫图像时,所提方法在AD0数据集上的5-类10-例设置下的识别准确率达到了93.73%,在MIP50数据集上达到90.60%。同时,本文方法的TPIP大约为0.44 ms,满足大多数场景下的实时害虫识别要求。此外,消融试验结果表明,基于空间注意力增强ResNeSt-101网络和迁移元学习的小样本害虫分类方法在AD0、MIP50数据集上对未知类别害虫图像的5-类10-例的识别准确率分别提升了5和3个百分点以上,具有良好应用前景。但未来研究中还需进一步研究本方法中存在的问题,如通过采用更好地表征支持集样本与查询集样本之间复杂关系的度量优化本工作中用到的度量以解决增加类别数可能导致分类准确率降低的问题,以及将所提方法应用于现实农业场景进行优化改进以更好提升本文方法的实用性。
文摘针对可见光-红外跨模态行人重识别中模态差异导致的识别精确率低的问题,提出了一种基于双流结构的跨模态行人重识别关系网络(IVRNBDS)。首先,利用双流结构分别提取可见光模态和红外模态行人图像的特征;然后,将行人图像的特征图水平切分为6个片段,以提取行人的每个片段的局部特征和其他片段的特征之间的关系,以及行人的核心特征和平均特征之间的关系;最后,在设计损失函数时,引入异质中心三元组损失(HC Loss)函数放松普通三元组损失函数的严格约束,从而使不同模态的图像特征可以更好地映射到同一特征空间中。在公开数据集SYSU-MM01(Sun Yat-Sen University Multi Modal re-identification)和Reg DB(Dongguk Body-based person Recognition)上的实验结果表明,虽然IVRNBDS的计算量略高于当前主流的跨模态行人重识别算法,但所提网络在相似度排名第1(Rank-1)指标和平均精度均值(m AP)指标上都有所提高,提高了跨模态行人重识别算法的识别精确率。
文摘意图识别和槽填充的联合模型将口语语言理解(Spoken Language Understanding,SLU)提升到了一个新的水平,但是现有模型通过话语上下文信息判断位置信息,缺少对槽信息标签之间位置信息的考虑,导致模型在槽位提取过程中容易发生边界错误,进而影响最终槽位提取表现。此外,在槽信息提取任务中,槽指称项(Slotmen-tions)可能与正常表述话语并没有区别,特别是电影名字、歌曲名字等,模型容易受到槽指称项话语的干扰,因而无法在槽位提取中正确识别槽位边界。该文提出了一种面向口语语言理解的结合边界预测和动态模板的槽填充(Boundary-prediction and Dynamic-template Slot Filling,BDSF)模型。该模型提供了一种联合预测边界信息的辅助任务,将位置信息引入到槽信息填充中,同时利用动态模板机制对话语句式建模,能够让模型聚焦于话语中的非槽指称项部分,避免了模型被槽指称项干扰,增强模型区分槽位边界的能力。在公共基准语料库SMP-ECDT和CAIS上的实验结果表明,该模型优于对比模型,特别是能够为槽标签预测模型提供准确的位置信息。