一个以注意力机制结合隐式和显式的特征交叉的CTR预估模型

随着深度学习的发展,近年来CTR预估模型的研究往往基于深度学习使用不同的特征交叉方式来实现CTR预估模型的性能提升.目前最新最有效的研究成果是xDeepFM,它综合了进行隐式和显式的高阶特征交叉方式的子模型.但经实验发现xDeepFM的子模型选择并不完美,而且子模型的组合策略过于简单.对此,本文提出了一种新模型,不仅改进了子模型的选择,而且用注意力机制改进子模型组合方式.为了方便,在本文中将提出的新模型叫做Attentional-xDeepFM-C.在Avazu和Criteo数据集上进行实验,新模型在两组数据集下的AUC得分分别比xDeepFM模型高2.17%和4.97%.本文已在公开网站#上发布了Attentional-xDeepFM-C模型的源代码.

广告点击率预估的逐层残差交互网络

网络广告费的收取通常是以用户的点击次数来计算的,因此如何准确地预估点击率(CTR)是广告公司十分关心的问题.当前先进水平的方法集中在构建各种高阶特征交互模型来预估CTR,但是高阶特征交互会丢失低阶信息,尤其是丢失原始特征的信息.为此,本文提出一个新的逐层残差交互网络,它在每次交互时都考虑原始特征的引导作用,被命名为逐层残差交互网(LRIN).LRIN强调高阶特征交互应该建立在原始特征逐层交互的基础上.n阶特征交互由原始特征与n-1阶特征通过元素积运算得到.进而,本文引入了多尺度方法来设计注意力网络.受逐层交互的影响,注意力网络也被设计成多层,称之为逐层注意力网络.为了将二者结合起来,本文提出将逐层残差交互网络的输出作为逐层注意力网络的权重,由此形成了一种新的双网络训练模型.在多个benchmark数据集上的实验结果表明,LRIN的性能比当前先进的方法在Criteo数据集上平均提高1.24%,在Avazu数据集上平均提高2.16%,在MovieLens-1M数据集上平均提高了1.3%,在Book-Crossing数据集上平均提高了1.27%.

FM集成模型在广告点击率预估中的应用

目前广告点击率预估所用的模型对于稀疏、类别分布不平衡的广告数据学习能力有限。针对这一问题,在数据分桶采样的基础上,提出利用因子分解机集成模型进行广告点击率的预估。利用迭代决策树算法提取的高层特征作为因子分解机的输入特征进行自动组合,发现特征间的相关性,解决数据稀疏和不均衡分类问题。在Hadoop大数据平台环境中对迭代决策树算法+因子分解机的融合模型进行并行式训练,可减少时间成本。通过单模型实验、采样实验、模型集成实验以及模型对比实验,确定了最佳采样比例,并验证了集成基于因子分解机的集成模型的有效性。

互联网广告点击率预估模型中特征提取方法的研究与实现

互联网广告是一个具有上千亿元规模的市场,广告的点击率(CTR)是互联网广告投放效果的重要指标。在广告点击率预估模型中,特征提取是关键因素,特征的好坏直接影响到最终模型的效果。针对如何提高广告点击率预估效率问题,在Hadoop大数据平台环境中,提出了基于梯度提升决策树(gradient boost decision tree,GBDT)模型的多维特征提取方法。该方法利用原始数据构建多维基础特征库,并将基础特征库中除ID类特征以外的其余特征输入GBDT模型进行特征刷选,得到高层特征,进一步进行分类。该方法的使用不仅减少了特征提取的人工成本和时间成本,也在很大程度上提升了模型的精度。

融合用户行为序列预测的混合推荐算法

对于用户行为序列中隐藏用户兴趣的捕捉是近年来推荐算法研究的热门方向。传统的序列预测模型使用用户最后一次点击的商品为目标,建立用户行为和目标商品间的关联,并没有充分挖掘用户序列间的先后关系。文中在传统的DIN模型的基础上进行了改进,采用一段时间内的连续行为作为目标向量,使用transformer结构完成序列到序列的预测任务,进一步提取和利用了用户行为序列中的用户深度兴趣,并将其作为辅助特征结合DIN进行推荐。在亚马逊图书数据集和电子数据集上的实验结果表明,文中提出的基于DIN混合推荐模型比原DIN模型的AUC指标分别提升了约0.7%和1.9%。由此可知,基于用户行为序列预测的混合推荐可以在多特征推荐系统中起到一定的辅助作用。此外,文中还对用户序列长度对模型结果造成的影响进行了探究。

融入注意力网络的深度分解机推荐算法

推荐系统能够在海量的信息中找到满足用户个性化需求的信息。随着深度学习的发展,深度学习也开始广泛被推荐系统所应用。CTR预估在推荐系统中起着重要作用,已被应用在个性化推荐、信息检索、在线广告等多个领域。针对推荐系统数据量大且稀疏的问题,文中将注意力网络和xDeepFM模型融合,提出了一种新的基于深度学习的CTR预估模型,即Atte-xDeepFM模型。该模型能够解决特征稀疏问题,有效学习特征之间的交互关系,且不需要手动提取特征工程中的有用信息。在Avazu数据集和Criteo数据集上进行的对比实验证明了文中提出的模型的有效性。与推荐系统CTR预估常用的算法模型对比,文中所提出的模型具有更好的推荐效果。