基于改进Transformer的布料材质识别方法研究

布料材质识别是一个极具挑战性的计算机视觉问题。针对传统识别方法存在的识别周期长、人为因素多、技术壁垒高以及有破坏性等缺点,提出了一种基于改进Transformer的布料材质识别方法,该方法利用输入的布料运动视频,通过布料运动的外观变化识别布料的材质类型。改进的Transformer模型由Transformer块和残差空间缩减块(Residual Spatial Reduction)组成,将Transformer块中的自注意力分解为时间自注意力和空间自注意力来减少计算量和运行时间,将两个残差空间缩减块添加进Transformer模型中来减少空间冗余信息和提高布料材质识别的准确率。此外,使用预训练的图像模型对视频模型初始化,可以在减少计算量的同时保持模型的高性能。在布料运动数据集上的实验结果表明,本文方法对12种不同布料材质视频的材质种类识别的准确率达到82.3%,相比其他方法,该方法的识别精度更高。

基于增强动态稠密轨迹特征的布料材质识别

为了克服基于视频的布料材质识别中由于忽略了动态因素的影响导致材质识别准确率低的难点,利用布料仿真视频库,提出一种基于增强动态稠密轨迹特征的布料材质识别方法以有效识别布料的材质属性信息.首先利用材质合成方法构造64种不同材质的布料仿真视频数据库;然后利用构造的布料动态视频库,通过迁移预训练的VGG网络增强布料动态视频的各帧特征信息,并消除部分非动态特征;其次利用动态稠密轨迹特征描述布料视频的动态特征,以充分捕捉不同布料材质视频的动态信息;最后通过Fisher向量编码生成布料动态信息的特征数据库,并训练SVM分类器建立布料材质视频动态信息到材质属性参数的映射.利用构建的布料仿真视频库作为数据集进行实验的结果表明,该方法对64种不同布料材质视频的材质种类识别准确率达到73.83%.