类别不均衡学习中的抽样策略研究

类别不均衡学习在信用评估、客户流失预测、医学诊断、短文本情感分析、标记学习、评分预测等众多领域有广泛的应用,是机器学习研究和应用的热点方向之一,近年来逐渐引起学术界和工业界的广泛关注。目前解决类别不均衡问题主要有三种方法:数据级解决方法、算法级解决方法和集成解决方法。侧重于对近年来类别不均衡学习中的抽样策略研究进展进行综述,介绍类别不均衡学习的基本框架,对类别不均衡学习中三种主要的抽样策略(过抽样、欠抽样和混合抽样)相关研究进展进行前沿概括、比较和分析,对类别不均衡学习的抽样策略中有待研究的难点、热点及发展趋势进行展望。

基于自监督三重训练和聚合一致邻居的社会化推荐模型

将用户社会关系引入用户-商品评分数据中,构建用户-商品异构关系图,可缓解传统推荐系统面临的数据稀疏性和冷启动问题.但是,由于用户间社会关系的复杂性,聚合不一致的社会邻居可能会降低推荐性能.针对上述问题,文中提出基于自监督三重训练和聚合一致邻居的社会化推荐模型(Social Recommendation Based on Self-Supervised Tri-Training and Consistent Neighbor Aggregation,SR-STCNA).首先,在用户-商品评分数据的基础上,引入用户-用户间的社交关系,在用户-商品异构图中构建多种关系.使用超图表示用户和用户、用户和商品之间的关系.使用自监督三重训练,从未标记的数据中学习用户表示,充分挖掘用户-用户和用户-商品间存在的复杂连接关系.然后,通过用户-商品异构图上的节点一致性得分和关系自注意力,在用户和商品表示学习过程中聚合一致邻居,增强用户和商品嵌入表示能力,提高推荐性能.在CiaoDVD、FilmTrust、Last.fm、Yelp数据集上的实验表明,SR-STCNA性能较优.

基于双头自编码器的评论主题感知推荐模型

近年来,推荐系统逐渐成为电子商务、在线流媒体、新闻资讯等各大互联网平台不可缺少的关键技术。以协同过滤技术为代表的推荐系统主要研究用户-项目评分数据,但此类方法常常面临新加入用户与用户交互次数少而导致的冷启动问题和数据稀疏问题。为解决上述问题,研究人员将用户和项目的上下文信息引入到协同过滤推荐系统中,丰富用户与项目表示。随着文本挖掘技术的发展,有研究发现用户对项目的评论文本不仅能够体现项目在不同方面的语义特征,也可以弥补用户-项目评分矩阵不能全面地反映用户语义偏好的局限,故可以将其应用到推荐系统中缓解数据稀疏性和冷启动问题。由于文本数据和用户-项目评分数据在用户偏好表示上存在差异,目前大多数模型在用户表示学习方面没有进行深层次的多次融合,为此,该文提出一种基于双头自编码器的评论感知推荐模型(Review Topic-aware Recommendation Model with Two-headed Autoencoder,TAAE)。该模型通过隐狄利克雷主题模型与BERT模型提取出用户评论的主题信息与语义信息,采用注意力机制与门控机制相结合的方式进行多模态特征对齐与融合,再利用多项式降噪自编码器进行用户评分预测。此外,为了缓解自编码器推荐模型中常见的流行度偏差问题,TAAE构建了一个负采样解码器,对推荐结果进一步优化。最后,在6组公开Amazon数据集上测试了TAAE模型的推荐性能,并对模型可能存在的变体及各解码器结构进行消融实验,实验结果表明,TAAE模型优于其他7个对比模型。

基于多维度兴趣注意力和用户长短期偏好的新闻推荐

在这个网络媒体平台成为获取新闻资讯的主流方式的时代,新闻推荐扮演着至关重要的角色。一方面,媒体平台使用新闻推荐可帮助用户过滤掉不感兴趣的新闻,定制个性化阅读内容推送;另一方面,智能推送服务能够增加新闻点击率,帮助媒体平台实现新闻的快速传播。目前,新闻推荐逐渐成为数据分发领域核心技术之一,逐渐引起国内外学者的关注。该文针对新闻热度不均衡问题造成的长尾现象,提出了一种基于多维度兴趣注意力的用户长短期偏好的新闻推荐模型。首先,对用户长期偏好进行挖掘时把用户兴趣分成多个维度,并采用注意力机制控制不同兴趣维度的重要程度,从而学习到包含不同维度兴趣信息的长期偏好。其次,采用CNN与注意力网络相结合的模型对新闻进行表示学习,采用GRU在用户近段时间内的阅读历史中学习用户短期偏好。最后,通过大量在真实新闻数据集上的实验,以AUC、MRR、NDCG为评价指标与其他基线方法进行比较,证实了该模型均优于其他方法。

评论感知的异构变分自编码器推荐模型

随着推荐系统的研究与发展,人们越来越关注个性化服务信息的准确推送,而对于推荐中数据稀疏的问题,传统评分信息协同推荐的方法很大程度上不能解决。因此人们将一些上下文信息引入到推荐系统中,而蕴含用户偏好的评论文本信息也被广泛用于缓解数据稀疏和冷启动的问题。自编码器作为一种无监督学习方法,在异常检测、人脸识别、数据增强和数据生成等领域具有优秀的表现,其中变分自编码器可以通过神经网络学习用户和项目潜在特征的分布。目前较少有研究利用用户评论信息融合的变分自编码器实现评论感知的推荐,该文提出一种评论感知的异构变分自编码推荐模型。首先,通过注意力机制和神经网络将评论上下文信息引入变分自编码器中,保留变分自编码器对评分信息潜在特征分布的学习,并在早期和后期两阶段进行特征融合,构建多模态的异构变分自编码器模型。其次,针对多模态模型训练,进一步优化引入复合先验项和平衡系数计算项。实验结果表明,该模型在召回率和归一化折损累计增益评价指标上都优于其他对比模型。

基于社交关系增强的短文本情感分析方法

基于社交理论的短文本情感分析是文本情感分析的重要课题之一。目前短文本的情感研究只发现了用户之间简单的朋友关系,未能对用户之间情感的传播性进行更为深入的挖掘。针对上述问题,构建了一种新的情感计分方法(statistics emotional lexicon method,SELM),按照用户粉丝数量的多少,将用户分为明星用户和普通用户,并结合当前用户关注的其他用户数量与该用户粉丝数量的比值,计算出一个社交关系影响分数,用该影响分数和SentiWordNet情感词典一起为推特短文本计算情感得分。同时,改进处理噪声和短文本的社会学方法(sociological approach to handling noisy and short texts,SANT),提出增强型SANT(ESANT)模型。与SANT不同的是,在对"信息-信息关系"建模时,增强了用户之间的社交关系,以表示更为深层次的情感传播性。在训练ESANT模型过程中,采用合成少数类的过抽样技术(synthetic minority oversampling technique,SMOTE)解决实验数据集上类别失衡问题。最后,使用SELM计分方法将数据集进行划分,重新训练ESANT模型。实验证明,结合SELM计分方法和ESANT模型能提升情感分类的效果。