Patch-Locator:一种基于排序学习的开源软件漏洞补丁定位方法

日益增多的开源软件漏洞对软件安全带来了巨大的风险,补丁在应对这一风险的过程中扮演了非常重要的角色.不幸的是,尽管大部分漏洞的补丁在被披露前就已经开发完毕,但仅有部分补丁会随漏洞同步公开.现有的研究发现了漏洞与其补丁之间存在一定的相关性,并基于这些相关性特征对提交进行了排序,以定位漏洞的补丁,但仍旧存在漏洞数据部分缺失、定位准确率不佳等问题.本文提出了Patch-Locator,一种新的基于排序学习的补丁定位方法,通过扩展漏洞数据源对漏洞数据进行补充,并根据漏洞与补丁文本的相似性、漏洞产生的原因和导致的结果等更能反映漏洞与补丁间关联的因素提取了更具有针对性的相关性特征,并使用LambdaMart排序学习模型对提交基于其具有的相关性特征进行排序以定位安全补丁.本文用来自10个开源软件项目的1669个漏洞来评估Patch-Locator.实验结果表明,Patch-Locator的Recall@1指标为92.22%,Recall@5指标为95.51%,Manual Effort@5指标为1.2455,均优于现有方法.

基于排序学习的主客观组合赋权研究

文章针对多指标组合赋权问题,提出一种基于排序学习的主客观组合赋权方法,目的是使指标赋权的结果同时兼顾主观权重和客观权重。该方法首先构建指标和评价对象的初始偏序关系,然后构建指标和评价对象的预测偏序概率以及排序损失函数,最后以预测概率与真实概率的差距最小为优化目标,建立综合决策模型。对8家快递型物流上市企业2021年度财务数据进行实证分析,通过实例说明了该方法的合理性和有效性。

随机森林算法下列表级排序学习推荐系统设计

为满足用户在信息过载情况下的隐式查询需求,设计随机森林算法下列表级排序学习推荐系统。用户登录系统后在用户层各界面操作产生操作信息,通过控制层将用户操作信息传输至处理层;由处理层数据采集模块采集用户感兴趣信息及数据,并将数据统一储存至数据层人机交互信息数据库中,处理层信息推荐模块依据数据层中人机交互信息数据,采用排序学习算法构建列表级排序学习推荐列表,利用随机森林算法作为构建推荐列表的学习方法,选取输出类别最多的决策树作为系统推荐结果;控制层将推荐信息传输至用户层推荐界面完成推荐系统对用户的专属信息推荐。系统测试结果表明,该系统可实现用户偏好内容推荐,推荐准确率为0.9以上,系统整体性能较好。

基于排序学习的推荐算法研究综述

排序学习技术尝试用机器学习的方法解决排序问题,已被深入研究并广泛应用于不同的领域,如信息检索、文本挖掘、个性化推荐、生物医学等.将排序学习融入推荐算法中,研究如何整合大量用户和物品的特征,构建更加贴合用户偏好需求的用户模型,以提高推荐算法的性能和用户满意度,成为基于排序学习推荐算法的主要任务.对近些年基于排序学习的推荐算法研究进展进行综述,并对其问题定义、关键技术、效用评价、应用进展等进行概括、比较和分析.最后,对基于排序学习的推荐算法的未来发展趋势进行探讨和展望.

基于排序学习的微博用户推荐

该文在分析总结影响微博用户推荐的四大类信息,包括用户的内容信息、个人信息、交互信息和社交拓扑信息的基础上,提出一个基于排序学习的微博用户推荐框架,排序学习的本质是用机器学习中的分类或回归方法解决排序问题,该框架可以综合各类信息特征进行用户推荐。实验结果表明:(1)融合多个特征综合推荐通常可以取得更好的推荐效果;(2)基于用户个人信息、交互信息、社交拓扑信息的推荐效果均好于基于用户内容的推荐效果。

面向排序学习的特征分析的研究

排序是信息检索中一个重要的环节,当今已经提出百余种用于构建排序函数的特征,如何利用这些特征构建更有效的排序函数成为当今的一个热点问题,因此排序学习(Learning to Rank),一个信息检索与机器学习的交叉学科,越来越受到人们的重视。从排序特征的构建方式易知,特征之间并不是完全独立的,然而现有的排序学习方法的研究,很少在特征分析的基础上,从特征重组与选择的角度,来构建更有效的排序函数。针对这一问题,提出如下的模型框架:对构建排序函数的特征集合进行分析,然后重组与选择,利用排序学习方法学习排序函数。基于这一框架,提出四种特征处理的算法:基于主成分分析的特征重组方法、基于MAP、前向选择和排序学习算法隐含的特征选择。实验结果显示,经过特征处理后,利用排序学习算法构建的排序函数,一般优于原始的排序函数。

一种知识图谱的排序学习个性化推荐算法

推荐系统是解决"信息过载"的有效方法,提出一种知识图谱的排序学习个性化推荐算法.本文算法首先构建融合上下文信息的知识图谱,使用基于深度学习的网络表示方法 Node2Vec抽取知识图谱特征,通过将排序学习模型产生的反馈模型与用户兴趣迁移模型结合,构建混合推荐模型,最终通过排序学习进行Top-N推荐.该算法能够将各种不同性质的上下文特征结合在一起,并通过排序学习衡量这些多维特征的权重比例,解决了不同特征的融合问题,并且能够考虑到用户兴趣迁移和长短期偏好.在Movielens 1M数据集上的对比实验验证文中算法的有效性,实验表明,该算法能够有效提高推荐的P@N和MAP值.

一种基于排序学习方法的查询扩展技术

查询扩展作为一门重要的信息检索技术,是以用户查询为基础,通过一定策略在原始查询中加入一些相关的扩展词,从而使得查询能够更加准确地描述用户信息需求。排序学习方法利用机器学习的知识构造排序模型对数据进行排序,是当前机器学习与信息检索交叉领域的研究热点。该文尝试利用伪相关反馈技术,在查询扩展中引入排序学习算法,从文档集合中提取与扩展词相关的特征,训练针对于扩展词的排序模型,并利用排序模型对新查询的扩展词集合进行重新排序,将排序后的扩展词根据排序得分赋予相应的权重,加入到原始查询中进行二次检索,从而提高信息检索的准确率。在TREC数据集合上的实验结果表明,引入排序学习算法有助于提高伪相关反馈的检索性能。

基于Hooke & Jeeves模式搜索的排序学习方法

由于信息检索评价准则的不连续和不可导性,传统排序学习方法不能从训练数据中直接优化排序评价准则。针对该问题,将排序学习问题转化为线性组合优化问题,提出一种新的排序学习方法。该方法利用Hooke&Jeeves模式搜索,交替进行探测搜索和模式移动,从而加快排序学习的收敛速度。在10个排序学习数据集上的实验结果表明,与基于坐标上升法的排序学习方法相比,该方法的时间开销较低,排序效果较好。

基于PRank算法的主动排序学习算法

针对排序学习中如何选择最值得标注的样本和通过尽可能少的已标注样本训练出较好的排序模型的问题,将主动学习的思想引入排序学习中,提出一种基于排序感知机的主动排序学习算法——Active PRank。基于真实数据集的实验结果表明,该算法在保证排序模型性能的前提下,减少样本的标注量,在同等标注量的条件下,提高排序结果的正确率。

基于有监督主题模型的排序学习算法

文档表示是排序学习的关键,目前的排序学习算法多采用词袋法表示文档与查询,该方法假设词袋中的词相互独立,忽略了词之间的关系.为了表示文档中词之间的依赖关系,本研究利用文档与查询的主题特征构建排序学习模型,我们将排序函数定义为文档与查询之间的主题关系,提出了基于有监督主题模型的排序学习算法自动学习排序函数.为了评价模型的排序精度,我们在三个标准数据集(OHSUMED,MQ2007,MQ2008)上进行了实验.实验表明基于主题的排序学习算法能够发现文档与查询之间内在的语义关联,并改善排序模型的排序精度.

融合内容表示的度量排序学习推荐模型

融合内容语义信息的推荐模型可以有效缓解音乐推荐系统中的数据稀疏性和冷启动问题.然而,这些模型是通过最小化预测评分误差学习用户与音乐的全局关系,忽略了用户和音乐隐式特征的细粒度差异.此外,内容语义特征是以推荐任务无关的无监督学习方式提取的,从而导致不精确推荐.为此,本文提出了融合内容表示的度量排序学习推荐模型,该模型是以个性化排序最优化为目标的概率图模型,利用度量学习从全局和细粒度层面挖掘用户音乐偏好.为了解决冷启动推荐问题,本文建立了与推荐任务相关的监督学习策略训练内容语义特征提取模型.在KKBOX和MIGU数据集上的实验结果表明,提出的模型显著提升了冷启动音乐推荐的效果,在不同稀疏度数据集上的鲁棒性得到了显著增强.

基于排序学习前向掩蔽模型的快速增量学习算法

增量学习是一种在巩固原有学习成果的基础上快速有效地获取新知识的学习模式 .本文在简述增量学习的相关研究以及排序学习前向掩蔽模型 (SLAM)的特点后 ,提出了一种基于SLAM的快速增量学习算法 .该算法在原神经网络模型分类能力的基础上 ,实现对新增样本的快速增量学习 ,从而在较短的时间内提高该网络模型的分类推广能力 .最后 ,与SLAM算法和Levenberg Marquardt后向传播 (LMBP)

科研社交网络中基于异质网络分析的列表级排序学习推荐方法研究

针对现有学术论文推荐方法不能充分利用科研社交网络中实体间的异质关系,且大多聚焦于预测评分的准确性,忽略用户偏好顺序的问题,提出一种基于异质网络分析的列表级排序学习推荐方法。首先采用异质网络分析充分探究科研社交网络中实体之间的关系,在此基础上将异质网络分析获取的信息融入列表级排序学习框架中,对学术论文的推荐排序列表进行优化,最终得到为科研人员推荐的学术论文列表。在科研社交网络科研之友数据集上的实验结果表明所提方法较其他传统推荐方法取得了更好的结果,验证了该方法的有效性。

查询依赖的有序多超平面排序学习模型

针对当前基于支持向量机的排序学习方法训练时间长以及不考虑查询之间差异、模型单一的问题,提出一种查询依赖的有序多超平面排序学习模型.根据不同查询,利用其对应训练数据所属等级之间的序关系构建多个超平面.此外,提出了一种加权表决方法对多个超平面的排序列表进行聚合,根据各超平面的排序精度赋予其不同权重,计算最终排序结果.在标准数据集LETOR OHSUMED上对所提出的模型性能进行了综合评测,并与相关排序模型进行了对比分析.实验结果显示,所提出的模型排序性能有较大提升.同时,训练时间明显缩短.

基于ListMLE排序学习方法的机器译文自动评价研究

机器翻译译文质量的自动评价是推动机器翻译技术快速发展的一条重要途径。该文提出了基于List-MLE排序学习方法的译文自动评价方法。在此基础上,探讨引入刻画译文流利度和忠实度的特征,来进一步提高译文自动评价结果和人工评价结果的一致性。实验结果表明,在评价WMT11德英任务和IWSLT08BTEC CEASR任务上的多个翻译系统的输出译文质量时,该文提出的方法预测准确率高于BLEU尺度和基于RankSVM的译文评价方法。

基于神经网络的Listwise排序学习方法的研究

近年来排序学习方法以其优异的性能成为信息检索领域研究的一个热点。排序学习方法应用机器学习方法训练排序模型用于文档相关性排序，取得了良好的实验结果。在多种排序学习模型中又以Listwise方法的效果最为显著，特别是基于神经网络的排序学习算法以其良好的理论基础，灵活的损失函数构造形式，成为排序学习研究的重要手段。本文对基于神经网络的Listwise排序学习方法及其改进方法进行综述，并介绍该方面研究的最新进展。

基于似然损失函数的组样本排序学习方法

组样本用于模型训练,为排序学习方法的构造提供一种新的思路.文中改进已有的组样本排序学习方法,构造组样本损失函数,用于排序学习模型的训练.基于似然损失函数,采用样本偏序权重损失函数和最优初始序列选择方法,构造基于神经网络的组排序学习方法,实验证明文中方法能够有效提高排序准确率.

排序学习中数据噪音敏感度分析

排序学习是当前信息检索领域研究热点之一。为了避免训练集中噪音的影响,当前排序学习算法较多关注鲁棒性。已有的工作发现相同的排序学习方法的性能在不同的数据集上会有截然不同的噪音敏感度。模型改变是导致性能下降的直接原因,而模型又是从训练集学习到的,因此根源在于训练数据的某些特性。该文根据具体排序学习场景分析得出影响噪音敏感度的根本原因在于训练集中文档对分布的结论,并在LETOR3.0上的实验验证了这一结论。

基于排序学习的文本概念标注方法研究

提出一种基于排序学习的方法 CRM(concept ranking model),来实现文档的维基百科概念自动标注。首先人工对一定规模的文档进行概念标注,建立训练集合,然后利用排序学习算法在多项特征上得到对概念排序的模型,利用这个概念的排序模型对任意文档进行概念标注。实验表明,相对于传统的文档概念标注方法,此方法在各类指标上都有相当大的提高,标注结果更加接近人类的概念标注。