在工厂化循环水养殖中,准确识别鱼类摄食强度是实现精准投喂的前提和关键。水质、视觉、声音等单模态数据均可用于评估摄食强度,但单一模态往往具有片面性,难以完全反映全局特征,存在识别精度低、可移植性差等问题。多模态方法通过融合...在工厂化循环水养殖中,准确识别鱼类摄食强度是实现精准投喂的前提和关键。水质、视觉、声音等单模态数据均可用于评估摄食强度,但单一模态往往具有片面性,难以完全反映全局特征,存在识别精度低、可移植性差等问题。多模态方法通过融合不同模态的特征,可为摄食强度量化提供新的手段。基于此,为融合鱼类摄食中的“水质-声音-视觉”信息,实现高精度的鱼类摄食强度量化,该研究在多模态Transformer(multimodal transformer,MulT)的基础上,提出一种多模态融合的鱼类摄食强度识别算法Fish-MulT。首先,从输入的水质、声音和视觉数据中提取特征向量;其次,利用多模态转移模块(multimodal transfer module,MMTM)对输入的特征向量进行融合,得到3种融合向量;然后对融合向量添加自适应权重并相加,得到融合模态;最后,利用融合模态将MulT算法中各模态分支的跨模态Transformer(cross-modal transformer)从2个优化为1个。试验结果表明,与MulT算法相比,该研究算法的鱼类摄食强度识别准确率由93.30%提高到95.36%,参数量减少38%。与水质、声音和视觉单模态相比,准确率分别提高68.56、21.65和3.61个百分点。可用于制定精准投喂策略,并为开发智能投喂系统提供技术支持。展开更多
文摘在工厂化循环水养殖中,准确识别鱼类摄食强度是实现精准投喂的前提和关键。水质、视觉、声音等单模态数据均可用于评估摄食强度,但单一模态往往具有片面性,难以完全反映全局特征,存在识别精度低、可移植性差等问题。多模态方法通过融合不同模态的特征,可为摄食强度量化提供新的手段。基于此,为融合鱼类摄食中的“水质-声音-视觉”信息,实现高精度的鱼类摄食强度量化,该研究在多模态Transformer(multimodal transformer,MulT)的基础上,提出一种多模态融合的鱼类摄食强度识别算法Fish-MulT。首先,从输入的水质、声音和视觉数据中提取特征向量;其次,利用多模态转移模块(multimodal transfer module,MMTM)对输入的特征向量进行融合,得到3种融合向量;然后对融合向量添加自适应权重并相加,得到融合模态;最后,利用融合模态将MulT算法中各模态分支的跨模态Transformer(cross-modal transformer)从2个优化为1个。试验结果表明,与MulT算法相比,该研究算法的鱼类摄食强度识别准确率由93.30%提高到95.36%,参数量减少38%。与水质、声音和视觉单模态相比,准确率分别提高68.56、21.65和3.61个百分点。可用于制定精准投喂策略,并为开发智能投喂系统提供技术支持。
