基于多模态预训练模型的水稻病虫害图像描述生成研究

[目的]针对水稻病虫害图像分类技术缺少对病症描述的问题,本文提出一种轻量化的水稻病虫害图像描述模型,对水稻病虫害图像进行更为具体的描述。[方法]以白叶枯病、细菌性条斑病、恶苗病、三化螟虫、稻瘟病、稻曲病、纹枯病、飞虱、稻蓟马、胡麻斑病这十类常见的水稻病虫害开展研究,构建了水稻病虫害图像中文描述数据集。首先采用多模态预训练模型CLIP生成图像向量,其中包含基本的图像信息以及丰富的语义信息,采用映射网络将图像向量映射到文本空间里生成文本提示向量,语言模型GPT-2根据文本提示向量生成图像描述。[结果]在水稻病虫害图像描述数据集上,本文模型的指标总体明显优于其他模型,本文算法的BLEU-1、BLEU-2、BLEU-3、BLEU-4、ROUGE、METEOR指标较传统的CNN_LSTM模型分别提升0.26、0.27、0.24、0.22、0.22、0.14。生成的图像描述具有准确、详细、语义丰富等优点。另外使用实际稻田图片对模型进行测试,实际田间的场景更为复杂多样,生成的图像描述指标与数据集指标对比总体仅有轻微下降,仍高于其他对比模型。本文模型对水稻病虫害的总体识别准确率达97.28%。[结论]基于多模态预训练模型的水稻病虫害图像描述方法能够准确识别水稻病虫害病症并形成相应的病症描述,为水稻病虫害检测提供一种新思路。

基于YOLOv4的多目标花卉识别系统

[目的]花卉多目标识别定位是自动化作业的基础,大型的目标检测网络识别效果好,但由于复杂度高难以满足实时检测需求,本文提出了基于YOLOv4的轻量化目标检测算法。[方法]采用MobileNetV3替换原有的主干特征提取网络,自下而上融合网络的浅层和深层特征,简化路径聚合网络进一步减少计算量。结合优化K-means聚类获得的预选框参数来提高算法对特定目标的检测精度,并比较训练策略对模型性能的影响,将优化后的算法集成到用户交互界面,实现花卉识别定位。[结果]该系统实现了操作简单的花卉多目标的识别,具有实时反馈和较高准确率等优势,改进算法在余弦退火方式下训练得到的模型对图像的处理速度为每秒31.85帧,最高检测精确率达96.43%。[结论]这种基于YOLOv4的轻量级目标检测模型具有较高的识别率,系统对多目标花卉的检测具有可行性,为自动化作业提供技术支撑。