基于CrossViT模型的树叶识别方法

中国幅员辽阔,由于各地自然条件不同,加之植物种类繁多,森林植物和森林类型极为丰富多样,而树叶的准确识别对树木研究具有重要意义。树叶分类是一项具有挑战性的任务,需要对树叶的形态、纹理、颜色等多种特征进行识别和分类。提出一种基于Cross Vision Transformer(CrossViT)的树叶分类与识别方法。该方法以八角金盘(Fatsia japonica)、杜鹃(Rhododendron simsii)、广玉兰(Magnolia grandiflora)、桂树(Cinnamomum cassia)、海桐(Pittosporum tobira)、木槿(Hibiscus syriacus)、石楠(Photinia serratifolia)、梧桐(Firmiana simplex)、银杏(Ginkgo biloba)和樟树(Camphora officinarum)10种园林绿化常见阔叶树叶片为实验对象。首先,分别拍摄在实验环境和真实环境下的树叶图像作为数据集;其次,对CrossViT模型的网络结构,构造两个独立的分支,以获取不同大小的嵌入向量,通过优化Transformer编码器,利用交叉注意力模块融合不同大小的嵌入向量,以平衡计算成本和识别精度;最后,通过一个MLP Head得到最终的分类结果。对两个不同环境下的树叶数据集的训练和测试表明,该研究基于的CrossViT模型在实验环境下的树叶数据集上总体准确率约92.5%,在真实环境下的树叶数据集上总体准确率约75.2%。通过与传统卷积网络的比较,所提出方法的性能在实验环境下的树叶数据集上高出0.6~4.0个百分点,在真实环境下的树叶数据集上高出1.3~3.3个百分点,FLOPs和模型参数略有增加。