基于PU学习算法的虚假评论识别研究

识别虚假评论有着重要的理论意义与现实价值.先前工作集中于启发式策略和传统的全监督学习算法.最近研究表明:人类无法通过先验知识有效识别虚假评论,手工标注的数据集必定存在一定数量的误例,因此简单使用传统的全监督学习算法识别虚假评论并不合理.容易被错误标注的样例称为间谍样例,如何确定这些样例的类别标签将直接影响分类器的性能.基于少量的真实评论和大量的未标注评论,提出一种创新的PU(positive and unlabeled)学习框架来识别虚假评论.首先,从无标注数据集中识别出少量可信度较高的负例.其次,通过整合LDA(latent Dirichlet allocation)和K-means,分别计算出多个代表性的正例和负例.接着,基于狄利克雷过程混合模型(Dirichlet process mixture model,DPMM),对所有间谍样例进行聚类,混合种群性和个体性策略来确定间谍样例的类别标签.最后,多核学习算法被用来训练最终的分类器.数值实验证实了所提算法的有效性,超过当前的基准.

基于PU学习的建议语句分类方法

建议挖掘作为一项新兴研究任务,具有重要的应用价值。针对传统建议语句分类方法所存在的规则复杂、标注工作量大、特征维度高、数据稀疏等问题,提出一种基于PU学习的建议语句分类方法。首先,使用简单规则从无标注评论集合中选择建议语句的正例集合;然后,为了降低特征维度,缓解数据稀疏性,在自编码神经网络(Autoencoder)特征空间中使用Spy技术划分可靠反例集合;最后,利用正例集合和可靠反例集合来训练多层感知机(MLP)对剩余的无标注样例进行分类。该方法在中文数据集上的F1值和准确率值分别达到81.98%和82.67%,实验结果表明,该方法能够有效地对建议语句进行分类,且不需要对数据进行人工标注。

基于集成PU学习数据流分类的入侵检测方法

入侵检测问题可以模型化为数据流分类问题,传统的数据流分类算法需要标注大量的训练样本,代价昂贵,降低了相关算法的实用性.在PU学习算法中,仅需标注部分正例样本就可以构造分类器.对此本文提出一种动态的集成PU学习数据流分类的入侵检测方法,只需要人工标注少量的正例样本,就可以构造数据流分类器.在人工数据集和真实数据集上的实验表明,该方法具有较好的分类性能,在处理偏斜数据流上优于三种PU学习分类方法,并具有较高的入侵检测率.

基于静态集成PU学习数据流分类的入侵检测方法

从数据流角度提出一种静态的集成PU学习数据流分类的入侵检测方法,在实验验证中通过对不同数据集指标比较,证明了算法的有效性,可在减少人工标注量的同时取得较好的检测效果。

一种面向工控系统的PU学习入侵检测方法

工业控制系统与物理环境联系紧密,受到攻击会直接造成经济损失,人员伤亡等后果,工业控制系统入侵检测可以提供有效的安全防护。工业控制系统中将入侵检测作为一个异常检测问题,本文围绕PU learning(Positive-unlabeled learning, PU学习)进行工业控制系统入侵检测进行研究。首先针对工业控制系统中数据维度高的特点,提出了一种特征重要度计算方法,通过正例数据集和无标签数据集的分布差异度量特征重要度,用于PU学习的特征选择;其次提出了一种基于OCSVM(One-Class SVM)的类先验估计算法,该算法可以稳定且准确的估计出类先验概率,为PU学习提供必要的先验知识;最后采用了三个公开数据集进行实验,在仅有一类标签数据的条件下,通过PU学习发现待检测数据中的异常样本,并与一些现有的模型进行对比,验证了PU学习的有效性。

基于PU学习的工业控制系统异常检测方法

随着信息化的发展,工业控制系统面临严重的安全威胁,提出一种基于PU学习的工业控制系统异常检测方法。该方法通过状态表示将状态变量表示为二元组,从少量正常样本片段中提取状态转换图,从大量未标记样本中生成孤立森林模型。根据状态转换图和孤立森林模型分别判断状态转换关系和状态自循环的正确性。在工控系统测试平台SWaT上进行验证,结果表明,当污染率c取12%时检测效果最佳,与基于协同训练与C4.5决策树的方法相比,从根本上提升了异常的查全率。

迭代式的深度PU学习与类别先验估计框架

近年来,深度学习在诸多任务上展现了优异的性能,其一般基于海量数据并采用有监督的学习方式,依赖于完整的数据标签信息.然而在现实应用场景中,收集大量标签往往成本高昂.因此,如何利用未经充分标注的数据进行学习成为了当下的主要挑战.二分类问题中的从正例和无标签(Positive-Unlabeled,PU)样本数据进行学习,简称PU学习,即为其一.当前主流的PU学习算法需要准确无误的类别先验知识,但实际上类别先验通常难以获得,需要估计.已有的类别先验估计算法则主要面向传统的机器学习分类器进行设计,无法直接运用在大规模数据集上,因而不利于发挥深度学习在大规模数据集上的优势.为克服以上问题,本文提出了一个基于无监督混合模型的迭代式深度PU学习与类别先验估计框架.它利用了深度神经网络对正例和负例给出的预测分数具有不同的分布这一特性,使用双高斯成分的混合模型近似拟合预测分数的混合分布.其中,各个高斯分量分别代表了正类和负类的条件概率分布,混合权重系数代表了类别先验.结合半监督学习中的平均教师和温度锐化技术,所提框架在类别先验未知以及数据缺失负例监督的条件下,估计类别先验的同时进行PU数据上的深度学习,二者相互促进.在基准数据集MNIST、Fashion-MNIST、CIFAR-10和实际应用数据集Alzheimer上的实验结果验证了所提框架的有效性,准确率分别为94.66%、95.16%、89.98%和73.20%,该结果不仅超越了现有基于类别先验估计的PU学习算法,更可与基于真实类别先验的最前沿算法相媲美.

一种基于改进PU学习理论的推送内容过滤策略

对于信息推送的内容过滤策略进行改进,在现有基于正例和无标注样例(PU)的学习理论的分类基础上,通过对反例文档的发现进行研究,将这种学习理论在信息推送中的内容过滤进行实验,通过实验证明整套策略在内容过滤上精度和速度都有明显的提升。

基于数据模糊性的PU学习研究

PU学习是指从正例样本和无标记样本中训练分类器的一种学习方法.针对传统PU学习中所含初始正例过少,难以有效地从无标记样本中选出可靠负例,且分类过程易受噪声点影响等问题.本文提出了一种基于数据模糊性来提取无标记样本中有效信息的PU学习方法:先对正例无标记样本集进行半监督聚类,选出靠近正例样本的低模糊度数据来扩充初始正例集,并选择远离正例样本的低模糊度数据作为可靠负例;再剪辑掉无标记样本中高模糊度数据;最后在扩充后的正例样本集和可靠负例集上训练分类器,对初始无标记样本集进行分类.在标准数据集上的对比实验证实了提出算法的有效性.

DTU-PU:针对不确定数据PU学习的决策树

不确定数据的PU学习在现实世界的许多应用中,如在传感器网络、市场分析和医学诊断等领域普遍存在,提出了针对不确定数据PU学习的决策树算法。基于POSC45中信息增益的计算方法,引入UDT中处理连续属性的不确定数据时用到的不确定数据区间及概率分布函数的概念,提出了一种能处理连续属性的不确定数据PU学习的决策树算法DTU-PU(Decision Tree for Uncertain data with PU-learning)。在UCI数据集上的实验表明,DTU-PU具有较好的分类准确率和健壮性。

基于PU学习的磷酸激酶抑制剂筛选算法

一个算法的二元分类器构建通常包含两个集合样例,其中一组为正例样本,另一组为负例样本。实际上,我们使用的很多生物数据库,如磷酸激酶抑制剂数据库并非标准数据,磷酸激酶抑制剂数据库只含有不完整的正例样本和未标注样本数据集。这些未标注样本中,既包含正例样本也有负例样本。文章旨在解决的问题是对于非标准数据构建标准二元分类器从而实现未知磷酸激酶抑制剂筛选。通过未标注样本概率输出,对未知磷酸激酶抑制剂进行预测。文章对该PU学习算法进行性能估计,结果显示该算法具有较高的预测性能。

基于PU学习的链接预测方法

基于分类的链接预测方法中,由于链接未知节点对的大规模性与不确定性,选择可靠负例成为构造链接预测分类器的难点问题.为此,文中提出基于正例和无标识样本(PU)学习的链接预测方法.首先,提取节点对的拓扑信息以构造样本集.再利用社区结构确定候选负例的分布,基于分布进行多次欠采样,获得多个候选负例子集,集成多个负例集与正例集中构建的分类器选择可靠负例.最后基于正例与可靠负例构造链接预测分类器.在4个网络数据集上的实验表明文中方法预测结果较优.

PU学习技术在Web入侵检测中的应用研究

传统Web入侵检测技术存在泛化能力差、入侵行为特征提取难等局限性,而且当存在大量无标记样本时检测能力较差;PU学习方法可以充分利用大量无标注样本完成Web入侵检测。本文从分析入侵行为及提取Web入侵行为的特征出发,提出一种基于PU学习的Web入侵检测方法,能够在标注样本少、存在大量无标记样本的情况下,有效地提高Web入侵检测能力。

基于关联分类算法的PU学习研究

【目的】基于常用的关联分类算法CBA进行PU学习研究。【方法】将训练集中比例为?的正样本作为未被识别出的正样本,与负样本一起组成未标记样本集,从而构建PU学习场景。其中,基于全部正类别分类关联规则对样本进行分类,并使用分类关联规则相对置信度衡量分类关联规则分类结果的可信度。【结果】当?取值分别为0、0.3、0.6、0.9时,在实验数据集上,本文方法的分类结果的AUC值较CBA算法分别平均提高6.21%、11.15%、13.50%、16.56%,较POSC4.5算法分别平均提高11.27%、15.03%、12.22%、7.37%。【局限】由于未对全部样本中真实正样本所占的比例进行估计,并据此对分类关联规则的置信度进行修正,因而所提方法的分类效果随?取值的增长呈下降趋势。此外,CBA算法会产生大量的冗余规则,而本文并未对其中的规则进行筛选。【结论】本文方法在PU学习场景中的分类效果优于CBA算法和POSC4.5算法。

一种具有增量学习能力的PU主动学习算法

在正例和无标记样本增量学习中,初始正例样本较少且不同类别正例的反例获取困难,使分类器的分类和泛化能力不强,为解决上述问题,提出一种具有增量学习能力的PU主动学习算法,在使用3个支持向量机进行协同半监督学习的同时,利用基于网格的聚类方法进行无监督学习,当分类与聚类结果不一致时,引入主动学习对无标记样本进行标记。实验结果表明,将该算法应用于Deep Web入口的在线判断和分类能有效提高入口判断的准确性及分类的正确性。

基于改进两步法采样策略和卷积神经网络的崩塌易发性评价

机器学习在崩塌滑坡泥石流地质灾害易发性分析评价领域已得到广泛的研究性应用,非灾害样本的选取是易发性建模过程中的关键问题,传统随机抽样和手工标注方法可能存在随机性和主观性。将土质崩塌易发性评价视为正例无标记(positive and unlabeled,简称PU)学习,提出了一种结合信息量(information value,简称IV)和间谍技术(Spy)的两步卷积神经网络(convolutional neural networks,简称CNN)框架(ISpy-CNN)。以广州市黄埔区崩塌编录和15类基础环境因子,通过信息量模型筛选出部分低信息量样本;采用间谍技术训练CNN模型,从低信息量样本中识别出具有高置信度的可靠负例划分为非崩塌样本;分别基于该学习框架、传统间谍技术和随机抽样,使用支持向量机(support vector machine,简称SVM)和随机森林(random forest,简称RF)对比验证。结果表明,ISpy-CNN框架在验证集上的准确率、F1值、敏感度和特异度较随机采样分别提升了6.82%,6.82%,6.82%,8.23%,较传统Spy技术分别提升了2.86%,2.89%,2.86%,2.31%;PU学习中第2步采用CNN模型的预测精度高于RF和SVM模型;与传统Spy技术相比,增加相同数量训练样本,ISpy-CNN框架筛选的样本集表现出较高的稳定性、预测精度和增长率。本研究提出的ISpy-CNN框架能更好地辅助选取高质量非灾害样本,且崩塌易发性分区结果更符合实际的崩塌空间分布。

数据分布估计下基于相似度的PU文本分类方法

在实际的应用中,由于各种原因通常无法获取已标注的反例数据,这使得传统分类算法失灵,这一类基于正例数据与未标注数据的学习称为PU分类问题。PU问题的关键在于反例样本提取与有效分类器的构建。本文提出算法首先通过评估样本中数据分布情况,采用集成机制从未标注样本中抽取出合适比例可信的正反例数据,其次利用相似度抽取有代表性的正例微簇和反例微簇,在获取足量的正反例样本后,将PU问题转换为二元分类问题,数值实验表明方法的有效性。

P-AnDT:平均n依赖决策树的正例未标注学习算法

为了在仅有正例和未标注样本的训练数据集下进行机器学习(positive unlabeled learning,PU学习),提出一种可用于PU学习的平均n依赖决策树(P-AnDT)分类算法。在构造决策树时,选取样本的n个属性作为依赖属性,在每个分裂属性上计算依赖属性和类别属性的共同影响;然后分别选用不同的输入属性作为依赖属性建立多个有差异的分类器并对结果求平均值,构造集成分类算法。最终通过估计正例在数据集中的比例参数p,使该算法能够在PU学习场景下进行分类。在多组UCI数据集上的实验结果表明,与基于贝叶斯假设的PU学习算法(PNB、PTAN等算法)相比,P-AnDT算法有更好更稳定的分类准确率。

强化学习离线策略评估研究综述

在强化学习应用中,为避免意外风险,需要在强化学习实际部署前进行离线策略评估(Off-Policy Evaluation,OPE),这在机器人、自动驾驶等领域产生了巨大的应用前景.离线策略评估是从行为策略收集到的轨迹数据中,不需要通过实际的强化学习而估计目标策略的状态价值,通常情况下学习目标是使所估计的目标策略状态价值与目标策略真实执行的状态价值均方误差尽可能小.行为策略与目标策略间的差异性,以及新应用中出现的行为策略奖励稀疏性,不断给离线策略评估带来了挑战.本文系统性地梳理了近二十年离线策略评估的主要方法:纯模型法、重要性采样法、混合模型法和PU学习法(Positive Unlabeled,PU),主要内容包括:(1)描述了离线策略评估的相关理论背景知识;(2)分别阐述了各类方法的机理、方法中模型的细节差异;(3)详细对各类方法及模型进行了机理对比,并通过实验进行了主流离线策略评估模型的程序复现与性能对比.最后展望了离线策略评估的技术挑战与可能发展方向.

基于PU分类的差分区分器及其应用

差分分析方法的核心是构造高效的差分区分器.2019年Aron Gohr采用深度学习残差网络的方法构造差分区分器,应用于减轮Speck32/64密码算法,五轮和六轮的差分器成功率分别是0.929和0.788.本文采用PU学习(positive-unlabeled learning)的方法,对Speck32/64算法的差分对数据进行训练,利用神经网络中的多层感知机与基于PU学习构造的损失函数,训练得到了一个基于PU分类的差分区分器,并对于减轮Speck32/64算法进行攻击,五轮和六轮差分器成功率分别是0.965和0.860.