用于表格数据的自动特征交互框架

构建一个新的自动表格数据特征(AutoFi)交互框架,目的侧重于类别型和数值型特征的交互,采用聚合运算、树模型和神经网络生成显式低阶特征和隐式高阶特征。通过引入相关系数筛选特征子集,在特征子集上进行特征交互,降低特征空间爆炸的风险。实验结果表明,AutoFi对LR模型的准确率和AUC均能实现大的提升,其中准确率和AUC分别提升0.07和0.31,提升模型效果显著,可在对某个地区的电力需求预测任务上,显著降低模型的预测误差。

融合门控单元与多头自注意力机制的特征自动交互推荐算法

为了解决推荐算法中使用手工制作、特征工程等方式枚举所有的特征组合不但会带来巨大的存储空间和计算成本,而且无用的特征交互会引入噪声使模型训练过程复杂化的问题,文中提出融合多头自注意力机制的特征自动交互推荐算法。该算法首先利用门控机制对输入特征进行初次筛选;然后将特征送入多头自注意力机制中,选取关键特征进行不同阶的组合;最后利用残差网络进行特征融合输出预测结果。该算法能有效地提高预测结果的准确性,同时具有良好的解释性。