基于用户行为序列的短视频用户多行为点击预测模型

目前主流的点击预测模型采用线性模型和深度神经网络相结合的方法学习用户与物品之间特征交互,忽略了用户的历史行为本质上是一个动态序列的事实,从而导致无法有效捕获用户行为序列中蕴含的时间信息。为此,该文提出了基于用户行为序列的短视频用户多行为点击预测模型(USCP)。该模型将用户的历史行为按交互时间的顺序排序,生成用户历史行为序列。在DeepFM模型的基础上引入词嵌入模型Word2Vec,根据用户历史行为序列自适应学习到该用户的动态兴趣,有效捕获到用户兴趣的变化。在某短视频平台上公开的脱敏数据集上进行了对比实验,评价指标采用GAUC(Group AUC),结果表明该模型性能优于其他几个模型。

基于朴素贝叶斯点击预测的查询推荐方法

查询推荐作为一种改善用户查询体验和效率的重要方式,可以帮助用户筛选并提供更加准确的查询描述。目前很多查询推荐方法主要集中在热门推荐或是基于相似度匹配的推荐上,忽略了用户的查询意图,无法有效提供个性化推荐。为此,基于对用户查询点击日志进行分析与挖掘,训练出一个朴素贝叶斯模型,针对用户输入的查询,根据历史数据预测其与URL的点击率,再利用二分图将URL的预测点击值平均分配给相对应的每个查询项,最后结合Jaccard相似度和时间相关因子综合分析用户当前输入的查询与历史中查询的相关度,并给出推荐。实验证明了该方法的可行性并取得了较好的推荐效果。

基于商品描述文案的点击预测模型

为了预测商品描述文案中商品特征对点击的影响、量化分析用户的消费行为特征及缓解冷启动问题,建立了一种基于LDA模型和文本情感分析的点击预测模型。该模型基于LDA主题模型对商品描述词的分类筛选对构成词进行情感分析,构建特征向量以表示用户对商品各特征的情感倾向,并通过LightGBM算法进行点击的预测。模型可以将非结构化文本数据转换为结构化数据,量化用户对商品不同特征的兴趣倾向,并利用不同商品的相似特征缓解冷启动问题。实验结果表明,该模型有效提高了点击预测效果并能缓解冷启动问题。

基于文本相似度的搜索推荐点击预测模型

为了进一步提高用户在搜索引擎中的推荐内容点击预测准确率,本文采用了一种包含搜索内容相似度特征的方法。该方法的结构是由多个决策树构成的预测模型,使用了层次化softmax (Hierarchical softmax)将结果转换为二分类结果。为了理解用户搜索文本的语义,使用用户输入与推荐内容标题、高频相关内容以及推荐内容标签的文本相似度来增加点击预测模型的准确率。采用jieba分词将文本中的词汇切分出来,使用word2cev对所有词汇进行训练,构建词向量模型。最后使用LightGBM进行预测模型的构建。从205万条用户搜索记录中取出5万条作为验证集,剩下的作为训练集。实验结果表明,添加相似度特征之后模型的点击预测准确率得到了提升。

面向点击率预测的自注意力深度域嵌入因子分解机

点击率(CTR)预测通过预测用户对广告或商品的点击概率,实现数字广告精准推荐。针对现有CTR模型存在原始嵌入向量未精化、特征交互方式偏简单的问题,本文提出自注意力深度域嵌入因子分解机(self-attention deep field-embedded factorization machine,Self-AtDFEFM)模型。首先,通过多头自注意力对原始嵌入向量加权,精化出关键低层特征;其次,构建深度域嵌入因子分解机(FEFM)模块,设计域对对称矩阵以提升不同特征域之间的交互强度,为高阶特征交互优选出低阶特征组合;再次,基于低阶特征组合构建深度神经网络(DNN),完成隐式高阶特征交互;然后,围绕精化后的嵌入向量,联合多头自注意力与残差机制堆叠多个显式高阶特征交互层,通过自注意力捕获同一特征在不同子空间上的互补信息,完成显示高阶特征交互;最后,联合显式与隐式高阶特征交互实现点击率预测。在Criteo和Avazu两大公开数据集上,将Self-AtDFEFM模型与主流基线模型在AUC和LogLoss指标上进行对比实验;为Self-AtDFEFM模型调制显式高阶特征交互层层数、注意力头数量、嵌入层维度及隐式高阶特征交互层层数等参数;对Self-AtDFEFM模型进行消融实验。实验结果表明:在两大数据集上,Self-AtDFEFM模型的AUC、LogLoss均优于主流基线模型;Self-AtDFEFM模型的全部参数已调为最佳;各模块形成合力以促使Self-AtDFEFM模型性能达到最优,其中显示高阶特征交互层的作用最大。Self-AtDFEFM模型各模块即插即用,易于构建和部署,且在性能与复杂度之间取得平衡,具备较高实用性。

考虑兴趣序列和特征交互的司机点击率预测模型

车货匹配平台中存在着大量的车货信息,通过对历史数据的分析和处理,能够预测司机点击货物的概率(司机点击率预测),从而为司机推荐货物。据了解,目前还没有研究项目将点击率预测与车货匹配结合起来,更不要说基于此来考虑车货信息中的兴趣序列和特征交互问题。因此,在车货匹配的背景下,文章提出了一种考虑兴趣序列和特征交互的司机点击率预测模型——深度兴趣交互网络(Deep Interest Interaction Network,DIIN)。一方面,在司机兴趣抽取模块中利用Bi-GRU和SENet从司机的历史行为中推断出司机的兴趣点;另一方面,在车货特征交互模块中利用FM和Res Net同时建模低阶和高阶特征交互。通过对某车货匹配平台的数据集进行实验,结果表明模型DIIN与基准模型相比具有更好的性能,即使与DIEN模型相比,在AUC和Log Loss两个评价指标上,模型DIIN分别提升了3.5个百分点和1.8个百分点。这不仅证明了将深度学习和点击率预测用于车货匹配的可行性,也证明了挖掘历史数据中的序列关系和特征交互有助于预测车货匹配中司机点击货物的概率。

基于多粒度特征交叉剪枝的点击率预测模型

在推荐系统中,学习有效的高阶特征交互是提升点击率预测的关键.现有的研究将低阶特征进行组合来学习高阶交叉特征表示,导致模型的时间复杂度随着特征维度的增加呈指数型增长;而基于深度神经网络的高阶特征交叉模型也无法很好地拟合低阶特征交叉,影响预测的准确率.针对这些问题,提出了基于多粒度特征交叉剪枝的点击率预测模型FeatNet.该模型首先在显式的特征粒度上,通过特征剪枝生成有效的特征集合,保持了不同特征组合的多样性,也降低了高阶特征交叉的复杂度;基于剪枝后的特征集合,在特征元素粒度上进一步进行隐式高阶特征交叉,通过滤波器自动过滤无效的特征交叉.在2个真实的数据集上进行了大量的实验,FeatNet都取得了最优的点击率预测效果.

基于HoFiBiAFM的点击率预测模型

在推荐系统中,FiBiNET、AFM等深度学习模型能够关注特征的重要性进行点击率预测。其中FiBiNET的深层模型使用DNN网络相当隐式地对特征交互进行建模,但是使用DNN学习高阶特征可能导致低阶特征交叉被稀释。通过叠加多层SENET注意力机制的方式学习高阶重要性特征,并加入高阶注意力分解机共同更新特征表示,构成一种新的点击率预测模型HoFiBiAFM。通过在Movielens-100K和Movielens-1M数据集上分别与其他CTR预测模型进行分类任务和回归任务的对比实验,结果验证了HoFiBiAFM模型的点击率预测效果。

基于改进Fi-GNN模型的点击率预测方法

为解决基线模型(Fi-GNN)特征交互模块设计不合理的问题,提出一种基于改进Fi-GNN模型的点击率预测方法(Fi-GNN-V2)。针对特征交互模块的邻接矩阵没有考虑到异构节点间的多元关系,在计算异构节点间相互作用的权重时增加边类型的嵌入向量,得到更合理的邻接矩阵;通过多头聚合多个子空间的邻居信息学习不同方式的特征交互;融合二阶以及三阶特征组合解决特征交互模块造成特征域的语义信息丢失问题,设计注意力模块抑制无用特征组合对模型学习的干扰;为进一步提升模型的性能,结合深度神经网络隐式捕捉高阶非线性的特征组合进行联合预测。实验结果表明,该方法优于其它主流点击率预测模型。

基于分层注意力图神经网络的点击率预测模型

点击率预测是推荐系统和在线广告中的一项基本任务,大多主流模型主要通过高阶特征和低阶特征交互建模以提高模型性能和泛化能力,然而很多模型只学习了每个特征的固定表示而没有考虑在不同上下文中每个特征的重要性。针对基线模型(Feature Refinement Network,FRNet)在不同上下文无法灵活处理重要特征选择,并且缺乏良好解释性的问题,提出了一种特征细化分层注意力图神经网络(Feature Refinement Graph Neural Network and Hierarchical Attention,FRGNN-HA)模型。首先,在基线模型中融合图神经网络结构,利用图神经网络聚合邻节点和自身节点特征以实现在非欧式空间新节点的表示向量的更新,从而提升在不同上下文的重要特征选择能力和良好的解释性。其次,在图神经网络的基础上设计分层注意力网络,让模型可以更好地自适应关注重要上下文信息,并且可以在噪声和复杂场景下依然保持较好的性能。最后,FRGNN-HA通过在Criteo、Frappe和MovieLens这3个数据集上对比实验结果表明,与基线FRNet模型相比,曲线下的面积(Area Under Curve,AUC,记为AUC)指标分别提升了0.07%、0.29%和0.06%,交叉熵损失函数Logloss(记为Lloss)分别降低了0.08%、0.81%和1.09%。

基于场矩阵分解机和CNN的点击率预测模型

点击率预测是在线广告和推荐系统的基本任务之一.主流模型通常通过对高阶和低阶特征进行特征交互建模来提升性能和泛化能力.然而,许多模型往往仅学习每个特征的固定表示,而忽视了特征在不同上下文中的重要性,并且一些模型结构过于简单.因此,本文提出了特征细化卷积神经网络融合场矩阵分解机(FRCNN-F)模型,以解决这些问题.首先,在特征细化网络(FRNet)中融合了卷积神经网络的特征生成模块,利用其在局部模式下重新组合生成新特征的优势,提升了重要特征选择能力.其次,设计了场矩阵分解机,使模型能够感知上下文并通过不同场的交互进行显示建模,从而增加了子模型的组合方式.最后,通过在Frappe和MovieLens两个公开数据集上对比实验,实验结果表明,FRCNN-F模型相比基线FRNet在AUC得分分别提升了0.32%和0.40%,交叉熵损失函数Logloss分别降低了1.50%和1.11%.该研究对于实现广告的精准投放和个性化推荐具有实际应用的价值.

基于压缩激励网络的注意力因子分解机的点击率预测模型

在互联网技术日趋成熟的今天,广告的点击率(click-through rate,CTR)预测得到越来越多的关注。在特定的商业环境下,广告CTR预测模型的改进可以带来巨大的经济效益。然而特征的多样性和复杂性使得传统的预测模型难以发现海量特征中的重要特征。针对上述问题,提出了基于压缩激励网络的注意力因子分解机的点击率预测模型(squeeze and excitation network based attentional factorization machines model for click-through rate prediction,SEAFM),SEAFM模型通过压缩和激励网络来动态学习特征的重要性,通过注意力网络来学习特征交互的权重,通过深度神经网络(deep neural network,DNN)模块来隐式建模高阶特征交互。实验结果显示,SEAFM模型比现有相关模型具有更好的性能。

基于特征加权与自动交互的点击率预测模型

在大数据时代的点击率(Click-Through Rate,CTR)预测任务中,输入数据不仅数量多而且特征维度很高,在特征选择时容易出现信息干扰或丢失,在进行特征交互时不同的交互方式也会影响预测性能。针对该问题,文中提出了一种基于特征加权与自动交互的预测模型,用于学习原始特征权重并进行自动交互。首先,引入ECANet模块提出一种不降维的特征加权方法,该方法可以通过对k个相邻特征进行一维卷积有效实现。然后,分别用多头自注意网络和深度神经网络(DNN)去自动学习显式和隐式的特征交互。最后,将两者相结合进行预测,弥补了单一模型的缺陷。一方面,它能对输入特征进行重要性选择;另一方面,它能同时以显式和隐式的方式自动学习任意低阶和高阶的特征交互。通过在四个真实数据集上的实验,验证了其比以往的预测模型获得了更好的准确度。

基于注意力机制的场感知点击率预测模型

点击率预测是广告投放的重要手段之一,通过预测广告点击率对用户进行效推荐,能够提高广告收益。在点击率预测任务中,场感知点击率预测模型由于考虑了场信息,表现出一定优越性,但在进行特征交互时会产生大量冗余信息,导致预测准确率较低。提出一种场感知注意嵌入神经网络(FAENN)模型,通过自注意力机制对嵌入层的输入向量进行权重分配,以较好地区分场感知嵌入特征的重要程度,加快模型训练速度。同时使用低阶特征交互层关注特征的一阶显性信息和二阶交互特征信息,并将有效特征输出到高阶交互层,利用高阶特征交互层将学习到的相互作用向量与深度神经网络相结合,捕捉更高阶的特征交互作用,以提高预测准确率。实验结果表明,FAENN模型相比于FM、FFM、AFM等模型有较高的预测准确率。

基于多任务神经网络的点击率联合预测模型

为了消除由样本间分布不一致导致的曝光偏差,并缓解不平衡问题,充分利用广告信息,提出一种全空间内多任务神经网络的点击率联合预测模型(whole space multi-task neural network,WMN),通过构建一个多任务学习框架,将模型训练样本空间由曝光空间拓展到全体竞价空间,避免了样本分布不一致造成的曝光偏差。进一步改进了模型的损失函数,通过对不同样本赋予不同权重缓解了样本不平衡的问题。在理论上证明了模型预测结果的无偏性,在真实数据集上的实验结果验证了本模型性能的优越性。

在线广告点击率预测方法的研究综述

在在线广告和推荐系统中,准确预测点击率(Click-Through Rate,CTR)是至关重要的。CTR是广告被点击次数与广告被展示次数的比值。过去,许多传统的机器学习算法,如逻辑回归、支持向量机,因为简单且易于实现而被广泛地应用于广告点击率预测工作。然而,这些传统算法往往需要复杂的特征工程。相较之下,深度学习模型能够有效自动提取高阶特征,可以较好地解决这一问题。此外,为了实现更高效、更准确的性能,融合了嵌入式和钦层感知器(Multilayer Perceptron,MLP)的优点的混合架构近年来被广泛地应用。该文对预测点击率的方法进行了全面的研究,不仅根据现有解决方案的架构将其分为三类,而且对每一类进行了详细的概述。最后,该文指出了该领域存在的挑战和未来发展方向,为进一步研究指明可能的途径。

基于卷积-LSTM网络的广告点击率预测模型研究

点击率预测是计算广告学的核心算法之一。传统浅层模型没有充分考虑到数据之间存在的非线性关系,且使用人工特征提取方法费时费力。针对这些问题,提出了基于卷积(Convolutional Neural Networks)-LSTM(Long Short Term Memory)混合神经网络的广告点击率预测模型。该模型使用卷积神经网络提取高影响力特征,并通过LSTM神经网络的时序性进行预测分类。实验结果证明:与浅层模型或单一结构的神经网络模型相比,基于卷积-LSTM的混合神经网络模型能有效提高广告点击事件的预测准确率。

基于特征降维和DBN的广告点击率预测

为有效提升搜索广告的点击率预测效果,提出一种基于特征降维和深度置信网络的模型(KTDDBN)。针对传统方法还停留在探索广告特征间的线性关系的局限性,提出使用深度置信网络寻找广告特征间更加复杂的深层关联;提取广告特征后,采用K-means聚类以及张量分解对高维特征进行降维,利用深度置信网络挖掘高阶的特征组合,提高预测模型的效果。实验结果表明,该模型在一定程度上提升了广告点击率的预测效果。

车货匹配中考虑注意力机制的基于SENet双塔模型的司机点击率预测模型

车货匹配平台中存有大量的历史车货数据,通过这些历史数据可以分析获得司机对不同货物的兴趣度,预测司机所选取货物的种类(司机点击率预测),从而为司机推荐合适的货物,实现精准的车货匹配。然而,现有的车货匹配方法大多都忽视了历史车货数据,更不会处理和分析这些数据。因此,文章考虑到深度学习在数据处理上的优势,于是将深度学习和车货匹配方法相结合,提出了一种考虑注意力机制并基于SENet双塔模型的司机点击率预测模型——A-SENet双塔模型。具体来讲,就在双塔模型的大框架下,一方面利用SENet计算货物隐向量;另一方面利用Attention机制和SENet计算司机隐向量,并通过进一步计算得出司机点击货物的概率。通过某车货匹配平台的数据集进行实验,结果表明与基准模型相比,文章所提出的模型A-SENet双塔模型具有更好的性能,这不仅验证了利用深度学习进行车货匹配的可行性,而且表明注意力机制和SENet的使用有助于预测司机点击货物的概率。

深度神经网络在点击率预测中应用研究

逻辑回归作为点击率预测中经典算法,因其模型简单不易过拟合而得到广泛应用。逻辑回归作为线性模型无法处理特征的非线性关联,深度神经网络通过多层的网络结构,能够较好地处理特征的非线性关联性,将经过特征交叉后的非线性特征与逻辑回归的离散特征进行组合,通过深度神经网络提取特征的深层次非线性关联性,通过逻辑回归来降低模型的复杂度从而避免过拟合。实验通过爬取搜狐新闻进行线下模型测试,试验结果表明,本文算法能够较为明显的提升数据点击率和刷新率。