针对农业病害领域命名实体识别过程中存在的预训练语言模型利用不充分、外部知识注入利用率低、嵌套命名实体识别率低的问题,本文提出基于连续提示注入和指针网络的命名实体识别模型CP-MRC(Continuous prompts for machine reading comp...针对农业病害领域命名实体识别过程中存在的预训练语言模型利用不充分、外部知识注入利用率低、嵌套命名实体识别率低的问题,本文提出基于连续提示注入和指针网络的命名实体识别模型CP-MRC(Continuous prompts for machine reading comprehension)。该模型引入BERT(Bidirectional encoder representation from transformers)预训练模型,通过冻结BERT模型原有参数,保留其在预训练阶段获取到的文本表征能力;为了增强模型对领域数据的适用性,在每层Transformer中插入连续可训练提示向量;为提高嵌套命名实体识别的准确性,采用指针网络抽取实体序列。在自建农业病害数据集上开展了对比实验,该数据集包含2933条文本语料,8个实体类型,共10414个实体。实验结果显示,CP-MRC模型的精确率、召回率、F1值达到83.55%、81.4%、82.4%,优于其他模型;在病原、作物两类嵌套实体的识别率较其他模型F1值提升3个百分点和13个百分点,嵌套实体识别率明显提升。本文提出的模型仅采用少量可训练参数仍然具备良好识别性能,为较大规模预训练模型在信息抽取任务上的应用提供了思路。展开更多
[目的/意义]针对实体嵌套、实体类型混淆等问题导致的农业病害命名实体识别(Named Entities Recognition,NER)准确率不高的情况,以PointerNet为基准模型,提出一种基于RoFormer预训练模型的指针网络农业病害NER方法RoFormer-PointerNet。...[目的/意义]针对实体嵌套、实体类型混淆等问题导致的农业病害命名实体识别(Named Entities Recognition,NER)准确率不高的情况,以PointerNet为基准模型,提出一种基于RoFormer预训练模型的指针网络农业病害NER方法RoFormer-PointerNet。[方法]采用RoFormer预训练模型对输入的文本进行向量化,利用其独特的旋转位置嵌入方法来捕捉位置信息,丰富字词特征信息,从而解决一词多义导致的类型易混淆的问题。使用指针网络进行解码,利用指针网络的首尾指针标注方式抽取句子中的所有实体,首尾指针标注方式可以解决实体抽取中存在的嵌套问题。[结果和讨论]自建农业病害数据集,数据集中包含2867条标注语料,共10282个实体。为验证RoFormer预训练模型在实体抽取上的优越性,采用Word2Vec、BERT、RoBERTa等多种向量化模型进行对比试验,RoFormer-PointerNet与其他模型相比,模型精确率、召回率、F1值均为最优,分别为87.49%,85.76%和86.62%。为验证RoFormer-PointerNet在缓解实体嵌套的优势,与使用最为广泛的双向长短期记忆神经网络(Bidirectional Long Short-Term Memory,BiLSTM)和条件随机场(Conditional Random Field,CRF)模型进行对比试验,RoFormer-PointerNet比RoFormer-BiLSTM模型、RoFormer-CRF模型和RoFormer-BiLSTM-CRF模型分别高出4.8%、5.67%和3.87%,证明用指针网络模型可以很好解决实体嵌套问题。最后验证RoFormer-PointerNet方法在农业病害数据集中的识别性能,针对病害症状、病害名称、防治方法等8类实体进行了识别实验,本方法识别的精确率、召回率和F1值分别为87.49%、85.76%和86.62%,为同类最优。[结论]本研究提出的方法能有效识别中文农业病害文本中的实体,识别效果优于其他模型。在解决实体抽取过程中的实体嵌套和类型混淆等问题方面具有一定优势。展开更多
农业生产环境中的目标识别对象常具有分布密集、体积小、密度大的特点,加之农田环境光照多变、背景复杂,导致已有目标检测模型无法取得令人满意的效果。本研究以提高小目标的识别性能为目标,以蜜蜂识别为例,提出了一种农业复杂环境下尺...农业生产环境中的目标识别对象常具有分布密集、体积小、密度大的特点,加之农田环境光照多变、背景复杂,导致已有目标检测模型无法取得令人满意的效果。本研究以提高小目标的识别性能为目标,以蜜蜂识别为例,提出了一种农业复杂环境下尺度自适应小目标识别算法。算法克服了复杂多变的背景环境的影响及目标体积较小导致的特征提取困难,实现目标尺度无关的小目标识别。首先将原图拆分为一些较小尺寸的子图以提高目标尺度,将已标注的目标分配到拆分后的子图中,形成新的数据集,然后采用迁移学习的方法重新训练并生成新的目标识别模型。在模型的使用中,为使子图识别结果能正常还原,拆分的子图之间需具有一定的重叠率。收集所有子图的目标识别结果,采用非极大抑制(Non-Maximum Suppression,NMS)去除由于模型本身产生的冗余框,提出一种交小比非极大抑制(Intersection over Small NMS,IOS-NMS)进一步去除子图重叠区域中的冗余框。在子图像素尺寸分别为300×300、500×500和700×700,子图重叠率分别为0.2和0.05的情况下进行验证试验,结果表明:采用SSD(Single Shot MultiBox Detector)作为框架中的目标检测模型,新提出的尺度自适应算法的召回率和精度普遍高于SSD模型,最高分别提高了3.8%和2.6%,较原尺度的YOLOv3模型也有一定的提升。为进一步验证算法在复杂背景中小目标识别的优越性,从网上爬取了不同尺度、不同场景的农田复杂环境下的蜜蜂图像,并采用本算法和SSD模型进行了对比测试,结果表明:本算法能提高目标识别性能,具有较强的尺度适应性和泛化性。由于本算法对于单张图像需要多次向前推理,时效性不高,不适用于边缘计算。展开更多
文摘针对农业病害领域命名实体识别过程中存在的预训练语言模型利用不充分、外部知识注入利用率低、嵌套命名实体识别率低的问题,本文提出基于连续提示注入和指针网络的命名实体识别模型CP-MRC(Continuous prompts for machine reading comprehension)。该模型引入BERT(Bidirectional encoder representation from transformers)预训练模型,通过冻结BERT模型原有参数,保留其在预训练阶段获取到的文本表征能力;为了增强模型对领域数据的适用性,在每层Transformer中插入连续可训练提示向量;为提高嵌套命名实体识别的准确性,采用指针网络抽取实体序列。在自建农业病害数据集上开展了对比实验,该数据集包含2933条文本语料,8个实体类型,共10414个实体。实验结果显示,CP-MRC模型的精确率、召回率、F1值达到83.55%、81.4%、82.4%,优于其他模型;在病原、作物两类嵌套实体的识别率较其他模型F1值提升3个百分点和13个百分点,嵌套实体识别率明显提升。本文提出的模型仅采用少量可训练参数仍然具备良好识别性能,为较大规模预训练模型在信息抽取任务上的应用提供了思路。
文摘[目的/意义]针对实体嵌套、实体类型混淆等问题导致的农业病害命名实体识别(Named Entities Recognition,NER)准确率不高的情况,以PointerNet为基准模型,提出一种基于RoFormer预训练模型的指针网络农业病害NER方法RoFormer-PointerNet。[方法]采用RoFormer预训练模型对输入的文本进行向量化,利用其独特的旋转位置嵌入方法来捕捉位置信息,丰富字词特征信息,从而解决一词多义导致的类型易混淆的问题。使用指针网络进行解码,利用指针网络的首尾指针标注方式抽取句子中的所有实体,首尾指针标注方式可以解决实体抽取中存在的嵌套问题。[结果和讨论]自建农业病害数据集,数据集中包含2867条标注语料,共10282个实体。为验证RoFormer预训练模型在实体抽取上的优越性,采用Word2Vec、BERT、RoBERTa等多种向量化模型进行对比试验,RoFormer-PointerNet与其他模型相比,模型精确率、召回率、F1值均为最优,分别为87.49%,85.76%和86.62%。为验证RoFormer-PointerNet在缓解实体嵌套的优势,与使用最为广泛的双向长短期记忆神经网络(Bidirectional Long Short-Term Memory,BiLSTM)和条件随机场(Conditional Random Field,CRF)模型进行对比试验,RoFormer-PointerNet比RoFormer-BiLSTM模型、RoFormer-CRF模型和RoFormer-BiLSTM-CRF模型分别高出4.8%、5.67%和3.87%,证明用指针网络模型可以很好解决实体嵌套问题。最后验证RoFormer-PointerNet方法在农业病害数据集中的识别性能,针对病害症状、病害名称、防治方法等8类实体进行了识别实验,本方法识别的精确率、召回率和F1值分别为87.49%、85.76%和86.62%,为同类最优。[结论]本研究提出的方法能有效识别中文农业病害文本中的实体,识别效果优于其他模型。在解决实体抽取过程中的实体嵌套和类型混淆等问题方面具有一定优势。
文摘农业生产环境中的目标识别对象常具有分布密集、体积小、密度大的特点,加之农田环境光照多变、背景复杂,导致已有目标检测模型无法取得令人满意的效果。本研究以提高小目标的识别性能为目标,以蜜蜂识别为例,提出了一种农业复杂环境下尺度自适应小目标识别算法。算法克服了复杂多变的背景环境的影响及目标体积较小导致的特征提取困难,实现目标尺度无关的小目标识别。首先将原图拆分为一些较小尺寸的子图以提高目标尺度,将已标注的目标分配到拆分后的子图中,形成新的数据集,然后采用迁移学习的方法重新训练并生成新的目标识别模型。在模型的使用中,为使子图识别结果能正常还原,拆分的子图之间需具有一定的重叠率。收集所有子图的目标识别结果,采用非极大抑制(Non-Maximum Suppression,NMS)去除由于模型本身产生的冗余框,提出一种交小比非极大抑制(Intersection over Small NMS,IOS-NMS)进一步去除子图重叠区域中的冗余框。在子图像素尺寸分别为300×300、500×500和700×700,子图重叠率分别为0.2和0.05的情况下进行验证试验,结果表明:采用SSD(Single Shot MultiBox Detector)作为框架中的目标检测模型,新提出的尺度自适应算法的召回率和精度普遍高于SSD模型,最高分别提高了3.8%和2.6%,较原尺度的YOLOv3模型也有一定的提升。为进一步验证算法在复杂背景中小目标识别的优越性,从网上爬取了不同尺度、不同场景的农田复杂环境下的蜜蜂图像,并采用本算法和SSD模型进行了对比测试,结果表明:本算法能提高目标识别性能,具有较强的尺度适应性和泛化性。由于本算法对于单张图像需要多次向前推理,时效性不高,不适用于边缘计算。
