基于多模态的输送带撕裂大模型算法设计

AI矿山大模型是一种基于人工智能的矿山智能化解决方案,利用大数据、深度学习、机器学习等技术,可以帮助矿山企业提高生产效率和安全性。在输送带撕裂检测方面,基于AI矿山大模型设计了基于Transformer处理多模态数据的一种网络结构,提出了DETR-Audio模型,将视频和音频的多模态数据拼接、融合,采用DERT模型对视频进行编码,利用短时傅里叶变换对音频信号进行时频谱分析,再对两者的特征向量进行拼接、融合,最后传入解码器进行融合解码。该模型经过3 000张煤矿矿井下输送带的图片以及相应的音频数据训练和测试后,表现良好,比单独使用视频或音频信息的模型具有更高的检测准确度和鲁棒性。