结合显式和隐式特征交互的深度融合模型

特征工程是影响机器学习算法性能的关键因素之一,随着互联网数据规模的扩大,传统特征工程的人力成本不断增加。为减少对特征工程的依赖,构建一种结合显式和隐式特征交互的融合模型。将稀疏结构单元与残差单元相结合以提取隐式特征,利用压缩交互网络学习显式特征,在最后一层全连接层上将两种特征进行融合。在4种不同数据集上的实验结果表明,该模型相比PNN、DCN等模型具有更好的特征提取结果。

基于高阶特征交互的点击率预估模型的实现

传统的低阶特征模型不能充分利用大数据,从多个维度描述数据和用户。专注于高阶特征提取,结合显式和隐式特征交互的点击率预估模型可以利用好大数据的特点。使用Tensorflow框架搭建包含深度神经网络、因子压缩交互网络和多重特征自交互网络结构的模型,使用淘宝展示广告点击率预估数据集进行训练。模型采用对数损失值和ROC曲线下面积作为评价指标,与原始的LR、FM、Deep&Wide等典型模型进行比较,对数损失值降低了0.04,AUC值提高了0.05左右。

基于高低阶特征交互学习的点击率预测模型研究

作为在线广告推送中极为重要的环节,准确的点击率预测(Click-Through Rate,CTR)不仅能提升用户体验,更能增加经济收益,减少资源浪费。目前,基于深度学习的CTR预测模型虽然取得了一定成绩,但在高低阶特征交互学习方面存在不兼顾、不充分以及模型可解释性不强等问题。为解决上述问题,文章提出的模型基于压缩交互网络对高阶交互特征进行显式学习,增强可解释性。同时采用ECA-net网络与双线性层组合的方式,对一阶特征进行加权学习,对二阶特征进行更加细粒度的特征交互,实现深度神经网络学习更细粒度的高阶交互特征,兼顾高低阶特征学习,获取更加全面的潜在特征相关性。在Criteo和Avazu两个公开的大数据集上实验发现,与已提出的相关模型相比较,新模型在性能方面均有所提升。

基于淘宝广告数据的点击概率预估模型研究

提出一种将压缩交互网络、因子分解机模型和神经网络3种模型相结合构成的因子交互全连接网络预估模型预测淘宝广告数据中用户对广告的点击概率.利用TensorFlow搭建整个算法模型,并使用淘宝广告展示数据集进行训练.最终训练出的模型可以得到数据中用户对任意一条广告的点击概率.采用曲线下面积(AUC)与对数损失函数(Logloss)值作为模型的评价指标,得到的结果与LR、FM、DeepFM等点击概率预估模型进行对比,AUC值提高了0.05,Logloss值降低了0.04,效果得到明显提升.