点击率(CTR)预测通过预测用户对广告或商品的点击概率,实现数字广告精准推荐。针对现有CTR模型存在原始嵌入向量未精化、特征交互方式偏简单的问题,本文提出自注意力深度域嵌入因子分解机(self-attention deep field-embedded factoriza...点击率(CTR)预测通过预测用户对广告或商品的点击概率,实现数字广告精准推荐。针对现有CTR模型存在原始嵌入向量未精化、特征交互方式偏简单的问题,本文提出自注意力深度域嵌入因子分解机(self-attention deep field-embedded factorization machine,Self-AtDFEFM)模型。首先,通过多头自注意力对原始嵌入向量加权,精化出关键低层特征;其次,构建深度域嵌入因子分解机(FEFM)模块,设计域对对称矩阵以提升不同特征域之间的交互强度,为高阶特征交互优选出低阶特征组合;再次,基于低阶特征组合构建深度神经网络(DNN),完成隐式高阶特征交互;然后,围绕精化后的嵌入向量,联合多头自注意力与残差机制堆叠多个显式高阶特征交互层,通过自注意力捕获同一特征在不同子空间上的互补信息,完成显示高阶特征交互;最后,联合显式与隐式高阶特征交互实现点击率预测。在Criteo和Avazu两大公开数据集上,将Self-AtDFEFM模型与主流基线模型在AUC和LogLoss指标上进行对比实验;为Self-AtDFEFM模型调制显式高阶特征交互层层数、注意力头数量、嵌入层维度及隐式高阶特征交互层层数等参数;对Self-AtDFEFM模型进行消融实验。实验结果表明:在两大数据集上,Self-AtDFEFM模型的AUC、LogLoss均优于主流基线模型;Self-AtDFEFM模型的全部参数已调为最佳;各模块形成合力以促使Self-AtDFEFM模型性能达到最优,其中显示高阶特征交互层的作用最大。Self-AtDFEFM模型各模块即插即用,易于构建和部署,且在性能与复杂度之间取得平衡,具备较高实用性。展开更多
极深因子分解机(eXtreme deep factorization machine,xDeepFM)是一种基于上下文感知的推荐模型,它提出了一种压缩交叉网络对特征进行阶数可控的特征交叉,并将该网络与深度神经网络进行结合以优化推荐效果。为了进一步提升xDeepFM在推...极深因子分解机(eXtreme deep factorization machine,xDeepFM)是一种基于上下文感知的推荐模型,它提出了一种压缩交叉网络对特征进行阶数可控的特征交叉,并将该网络与深度神经网络进行结合以优化推荐效果。为了进一步提升xDeepFM在推荐场景下的表现,提出一种基于场因子分解的xDeepFM改进模型。该模型通过场信息增强了特征的表达能力,并建立了多个交叉压缩网络以学习高阶组合特征。最后分析了用户场、项目场设定的合理性,并在3个不同规模的MovieLens系列数据集上通过受试者工作特征曲线下面积、对数似然损失指标进行性能评估,验证了该改进模型的有效性。展开更多
In this paper, we first introduce the situation of Incomplete Factorization(IF)preconditioners. Consequently, we reduce the block tridiagonal matrix with non-singular off-diagonal blocks into a model one that has only...In this paper, we first introduce the situation of Incomplete Factorization(IF)preconditioners. Consequently, we reduce the block tridiagonal matrix with non-singular off-diagonal blocks into a model one that has only negative identity matrixfor its off-diagonals. Then we evaluate the block LU factors for the model with thehelp of M matrices. The analyses show that the evaluation is exact in some sense.For the matrices which have equal diagonal blocks and have only negative identityoff-diagonal blocks, the tendency of the factors are also focused on. Moreover,we construct a type of preconditioners with these evaluations and analyze thecondition number of the preconditioned matrices. For the model problem, we givethe evaluation and practical condition number, which shows that the evaluation isexact to some extent. At last, we implement four of these preconditioners and testthem for the model problem. The results show that our method is effective and theanalyses imply that they will be more efficient than others in parallel computing.展开更多
Shao Z 与 He Wei-hua 等人中提出了所谓同时基于大整数分解和离散对数问题的数字签名方案,其意图是只要这两个数学难题不同时被攻破,则其方案就是安全的。Xiao 等证明了 Shao的方案根本就不安全;而作者的结果表明,He 的方案在离散对数...Shao Z 与 He Wei-hua 等人中提出了所谓同时基于大整数分解和离散对数问题的数字签名方案,其意图是只要这两个数学难题不同时被攻破,则其方案就是安全的。Xiao 等证明了 Shao的方案根本就不安全;而作者的结果表明,He 的方案在离散对数问题可解时是可破的。为此,作者试图对 He 的方案进行了修改,并提出了一个带消息恢复的,同时基于两个数学难题的数字签名方案。展开更多
文摘点击率(CTR)预测通过预测用户对广告或商品的点击概率,实现数字广告精准推荐。针对现有CTR模型存在原始嵌入向量未精化、特征交互方式偏简单的问题,本文提出自注意力深度域嵌入因子分解机(self-attention deep field-embedded factorization machine,Self-AtDFEFM)模型。首先,通过多头自注意力对原始嵌入向量加权,精化出关键低层特征;其次,构建深度域嵌入因子分解机(FEFM)模块,设计域对对称矩阵以提升不同特征域之间的交互强度,为高阶特征交互优选出低阶特征组合;再次,基于低阶特征组合构建深度神经网络(DNN),完成隐式高阶特征交互;然后,围绕精化后的嵌入向量,联合多头自注意力与残差机制堆叠多个显式高阶特征交互层,通过自注意力捕获同一特征在不同子空间上的互补信息,完成显示高阶特征交互;最后,联合显式与隐式高阶特征交互实现点击率预测。在Criteo和Avazu两大公开数据集上,将Self-AtDFEFM模型与主流基线模型在AUC和LogLoss指标上进行对比实验;为Self-AtDFEFM模型调制显式高阶特征交互层层数、注意力头数量、嵌入层维度及隐式高阶特征交互层层数等参数;对Self-AtDFEFM模型进行消融实验。实验结果表明:在两大数据集上,Self-AtDFEFM模型的AUC、LogLoss均优于主流基线模型;Self-AtDFEFM模型的全部参数已调为最佳;各模块形成合力以促使Self-AtDFEFM模型性能达到最优,其中显示高阶特征交互层的作用最大。Self-AtDFEFM模型各模块即插即用,易于构建和部署,且在性能与复杂度之间取得平衡,具备较高实用性。
文摘极深因子分解机(eXtreme deep factorization machine,xDeepFM)是一种基于上下文感知的推荐模型,它提出了一种压缩交叉网络对特征进行阶数可控的特征交叉,并将该网络与深度神经网络进行结合以优化推荐效果。为了进一步提升xDeepFM在推荐场景下的表现,提出一种基于场因子分解的xDeepFM改进模型。该模型通过场信息增强了特征的表达能力,并建立了多个交叉压缩网络以学习高阶组合特征。最后分析了用户场、项目场设定的合理性,并在3个不同规模的MovieLens系列数据集上通过受试者工作特征曲线下面积、对数似然损失指标进行性能评估,验证了该改进模型的有效性。
文摘In this paper, we first introduce the situation of Incomplete Factorization(IF)preconditioners. Consequently, we reduce the block tridiagonal matrix with non-singular off-diagonal blocks into a model one that has only negative identity matrixfor its off-diagonals. Then we evaluate the block LU factors for the model with thehelp of M matrices. The analyses show that the evaluation is exact in some sense.For the matrices which have equal diagonal blocks and have only negative identityoff-diagonal blocks, the tendency of the factors are also focused on. Moreover,we construct a type of preconditioners with these evaluations and analyze thecondition number of the preconditioned matrices. For the model problem, we givethe evaluation and practical condition number, which shows that the evaluation isexact to some extent. At last, we implement four of these preconditioners and testthem for the model problem. The results show that our method is effective and theanalyses imply that they will be more efficient than others in parallel computing.
文摘Shao Z 与 He Wei-hua 等人中提出了所谓同时基于大整数分解和离散对数问题的数字签名方案,其意图是只要这两个数学难题不同时被攻破,则其方案就是安全的。Xiao 等证明了 Shao的方案根本就不安全;而作者的结果表明,He 的方案在离散对数问题可解时是可破的。为此,作者试图对 He 的方案进行了修改,并提出了一个带消息恢复的,同时基于两个数学难题的数字签名方案。