基于深度学习的特征重要性因子分解机研究

在互联网的线上广告应用中,常用深度学习的方法来挖掘数据特征中的信息,为用户提供个性化的广告推荐。为了提高推荐的合理性和实现特征的有效组合,文章提出了一种特征重要性因子分解机(Feature Importance Factorization Machine,FIFM)的广告点击率预估模型。首先通过挤压提取模块和多头注意力模块从不同粒度去计算特征的重要性,然后对嵌入向量进行加权得到新的嵌入向量表示,最后将新的嵌入向量输入到因子分解机(factorization machine,FM)进行新的特征组合并进行结果预测。此外,将FIFM与深度神经网络(Deep Neural Networks,DNN)结合得到Deep FIFM,分别学习广告数据中的低阶和高阶组合特征,使用Deep FIFM模型对在线广告场景下的广告点击率进行预测。通过在Criteo广告数据集进行试验,FIFM和Deep FIFM与相关模型相比在Logloss和ROC曲线下的面积(Area Under Curve,AUC)均有所提升。