基于多模态融合的赌博应用识别模型

安卓赌博应用安装包中往往含有文本、图片、证书等大量可用于标识应用属性的多模态信息,针对当前赌博应用内容有害发现及安全研究较少、已有方法不具有针对性等问题,提出了一种基于多头注意力机制的多模态融合赌博应用识别模型。首先,提取赌博应用安装包中的图片信息,先后采用VGGNet和ResNet模型提取图片特征、识别图片信息;其次,提取赌博应用安装包中的文本信息,采用双向长短期记忆(BiLSTM)方法处理文本信息、识别文本内容;最后,基于多头注意力机制,建立多模态融合模型,对赌博应用进行综合性识别。通过在真实数据集上验证表明,采用不同文本和图片模型的平均准确率分别为71.5%和76%,该多模态融合模型的平均准确率为85.5%。可见,相比单一文本模型或图片模型,多模态融合模型有效提高了赌博应用的识别准确率。