基于递归自编码器的广告短语相关性

针对现有广告短语相关性研究成果多采用字面匹配,忽略了短语所包含的深层语义信息,限制了任务的性能等问题,提出了采用深度学习算法研究广告短语的相关性,采用递归自编码器(RAE)对短语进行深层结构分析,使得短语向量包含深层的语义信息,以此来构建广告语境下的短语相关性计算方法。具体地,给定一个包含若干词的序列,序列中所有相邻的两个元素尝试合并产生一个重构误差,遍历将重构误差最小的元素两两合并,形成类似哈夫曼树结构的短语树。采用梯度下降法最小化短语树的重构误差,采用余弦距离度量短语之间的相关性。实验结果显示,通过引入词语权重信息,加大了重要词语在最终短语向量表示中贡献的信息量,使得RAE更适合短语计算;比起传统LDA和BM25算法,在50%召回率的条件下,提出的算法的准确率分别提高了4.59个百分点和3.21个百分点,这证明了所提算法的有效性。

基于PMI的递归自编码器的情感分析方法

为改善传统机器学习方法无法考虑文本语义信息的缺陷,利用递归自编码器(RAE)树形结构学习短语向量空间表示。该方法可在常用的数据集上取得良好效果,但是在学习向量表示过程中,往往需要大量标记数据标记每个结点,人工标注工作量较大。因此提出一种半监督方法,利用PMI方法计算终端结点情感极性值,并考虑上下文程度副词和否定词对修饰情感词语的情感倾向与情感强度的影响。实验结果表明,与手动标记的传统RAE模型相比,引入PMI方法标记结点后,准确率提升至88.1%,可一定程度减少人工标注的工作量。

一种结合自编码器与强化学习的查询推荐方法

查询推荐的目的是发掘搜索引擎用户的查询意图,并给出相关查询推荐。传统的查询推荐方法主要依靠人工提取查询的相关特征,如查询频率、查询时间、用户点击次数和停留时间等,并使用统计学习算法或排序算法给出查询推荐。近年来,深度学习方法在查询推荐问题上获得了广泛应用。现有的用于查询推荐的深度学习方法大多是基于循环神经网络,通过对查询日志中所有查询的语义特征进行建模以预测用户的下一查询。但是,现有的深度学习方法生成的查询推荐上下文感知能力较差,难以准确捕捉用户查询意图,且未充分考虑时间因素对查询推荐的影响,缺乏时效性和多样性。针对上述问题,文中提出了一种结合自编码器与强化学习的查询推荐模型(Latent Variable Hierarchical Recurrent Encoder-Decoder with Time Information of Query and Reinforcement Learning,VHREDT-RL)。VHREDT-RL引入了强化学习联合训练生成器和判别器,从而增强了生成查询推荐的上下文感知能力;利用融合查询时间信息的隐变量分层递归自编码器作为生成器,使得生成查询推荐有更好的时效性和多样性。AOL数据集上的实验结果表明,文中提出的VHREDT-RL模型获得了优于基准方法的精度、鲁棒性和稳定性。