一种基于不完整数据集的网页分类技术

常用的网页分类技术大多基于普通文本分类方法,没有充分考虑到网页分类的特殊性——网页本身的半结构化特征以及网页中存在大量干扰分类的噪音信息,同时多数网页分类的测试集和训练集来源于同一个样本集而忽视了测试集中可能包含无类别样本的可能。基于向量空间模型,将样本集看成由有类别样本和无类别样本两部分组成,同时选择了样本集来自于相同的网站,在去除网页噪音基础上结合文本相似度算法和最优截尾法,提出了一种基于不完整数据集的网页分类技术LUD(Learning by Unlabeled Data)来改善分类效果,提高分类精度。实验证明:LUD算法与传统的分类方法相比较而言,不但可以提高已有类别样本的分类精度,更主要的是提供了一种发现新类别样本的方法。

不完整数据集的MFR辐射源识别方法研究

该文提出一种基于随机森林的不完整数据集的多功能雷达(MFR)辐射源识别方法,该方法在MFR辐射源波形单元识别框架基础上,首先对参数缺失的先验知识集进行多重划分,得到多个不含缺失参数的样本子集,然后删减冗余子集并利用随机森林算法对各个子集构建弱分类器,最后根据弱分类器对识别结果贡献率的不同,进行权值设定,得到最终的识别模型。仿真实验证实了提出的MDRF-WA方法能够提高少量先验知识条件下波形单元识别的准确率和鲁棒性,降低计算成本。

加热炉完整性集控管理平台在杏北油田的应用

利用杏北油田安装应用加热炉完整性集控管理平台,对节能新设备应用效果进行跟踪,通过对现场运行情况进行数据分析,分别得出该平台通过精准定温、智能托管以及炉效提升带来的节能效果,并从提质增效、安全环保、管理提升三方面阐述该平台的应用效果,为采油厂的应用潜力提供指导依据.

铅锌密闭鼓风炉故障诊断知识获取的粗糙集方法

从粗糙集等价类概念出发,提出从不完整数据集中获取故障诊断知识的密闭鼓风炉故障诊断方法.将不完整数据集的训练事例划分为下近似和上近似两类,首先假设属性的未知特征值为任意可能值,然后根据从训练事例中得到的上下近似进行提炼,最后从事例与近似互相作用以推导出确定的和可能的规则,得出规则概率,并估计出合适的属性的未知特征值.结合密闭鼓风炉悬料规则库的知识获取及其在故障诊断中的应用过程说明了该方法的有效性和实用性.

演绎对象数据库SD-DOOD中集合的应用和实现

基于复杂对象的逻辑推理一直是演绎对象数据库中的研究热点。论文叙述了集合在演绎对象数据库中的应用和实现技术,重点介绍了部分集在规则中的两个作用:列举集合中的所有元素和聚集集合中所有元素。同时讨论了完整集的交、并、划分和差等运算的实现思想。

一种基于Bernoulli混合模型的不完整数据文本分类方法

在Bernoulli混合模型和期望最大化(EM)算法的基础上给出了一种基于不完整数据的改进方法。首先在已标记数据的基础上通过Bernoulli混合模型和朴素贝叶斯算法得到似然函数参数估计初始值,然后利用含有权值的EM算法对分类器的先验概率模型进行参数估计,得到最终的分类器。实验结果表明,该方法在准确率和查全率方面要优于朴素贝叶斯文本分类。

基于缺失率的不完整数据填补算法

机器学习和数据挖掘已经应用于诸多领域。然而由于各种原因,真实数据集通常包含缺失值。为了提高填补缺失值的准确率,文章基于不完整数据的不同缺失率,在R平台上对7种插补方法进行评估。实验结果表明,缺失森林和马尔科夫链蒙特卡洛方法的平均绝对百分误和误分类比率优于其他填补方法。基于验证结果,提出了一种混合插补方法,即在计算数据集的缺失率之后,使用缺失森林估算缺失率小于等于5%的缺失值,然后使用马尔科夫链蒙特卡洛填补缺失率为5%到10%的缺失值。

基于缺失率的不完整就业预测数据填充算法

目前变量缺失率相同的填充算法用于多变量缺失率不同的不完整数据集填充效果有限,为了提高对多变量缺失率不同数据集的预测准确率,创新性地提出RXGRegressor集成模型。首先,在BostonHousing数据集上得出RandomForestRegressor、XGBRegressor、GradientBoostingRegressor三种算法填充效果最佳的单变量缺失率范围,对多变量缺失率不同的数据集依据各变量缺失率值选择合适的填充算法;然后,为了验证RXGRegressor模型在实际数据集中的可用性,将其应用于多变量缺失率不同的就业预测数据集上;最后,使用随机森林分类器分别对RXGRegressor模型、均值和单一的回归模型填充后的完整数据集进行就业预测,用分类的ACCURACY得分衡量填充性能。实验结果表明,单一回归模型的ACCURACY得分高于均值,RXGRegressor集成模型的ACCURACY得分最高,由此验证了所提模型对多变量缺失率不同数据集缺失值填充的可行性和实用性。

基于进化计算的贝叶斯网络结构复合学习算法

提出一种贝叶斯网络结构复合学习算法.该算法将EM算法、蒙特卡罗抽样算法、进化算法结合起来,用EM算法、蒙特卡罗抽样算法将不完整的数据集转换成完备的数据集,再利用进化算法进化网络结构.这种算法能够克服EM算法容易陷入局部最大值的缺陷,对于缺省数据处理是基于后验网络的,网络结构随进化计算不断优化,得到的补充数据可信度比较高,网络学习效率高、运算性能好.

产品追踪

※近日Oracle向业界宣布了其基于Internet数据库Oracle8i的完整集成数据库平台解决方案Oracle8i Appliance,即“生铁计划”。这是一个易于安装和使用的Internet数据库服务器软件。该软件不仅降低了运算的复杂程度,以极低的运行成本提供可扩充的数据库服务器;而且更值得一提的是,它结合了所有的必需关键组件,无需独立的操作系统,从而明显地降低了整体计算成本和复杂度。Oracle8i Appliance一经推出即受到众多硬件厂商的青睐。

数据缺失的扩展置信规则库推理方法

数据驱动的扩展置信规则库专家系统能够处理含有定量数据或定性知识的不确定性问题.该方法已被广泛地研究和应用,但仍缺乏在不完整数据问题上的研究.鉴于此,针对不完整数据集上的问题,提出一种新的扩展置信规则库专家系统推理方法.首先提出基于析取范式的扩展规则结构,并通过实验讨论了在新的规则结构下,置信规则前提属性参考值个数对推理方法的影响;然后提出通过不完整数据生成具有不完整置信规则,并构成析取范式置信规则库的方法,同时引入衰减因子修正不完整规则权重,使不完整规则可以更合理地参与信息融合过程;最后,选取若干个公共数据集对所提方法进行验证.与其他方法的实验对比显示,新方法在完整数据集上有良好表现的同时,对具有不同缺失程度和缺失模式的数据集表现出更好更稳定的推理效果.

基于大样本不完整数据的岩爆致因特征及预测模型

为判别影响岩爆的敏感性因素并构建不完整数据条件下的岩爆预测方法,在收集到429组国内外岩爆案例的基础上建立大样本数据库,归纳总结岩爆致因分布特征及规律,选取埋深、岩石单轴抗压强度、岩石单轴抗拉强度、围岩最大切向应力、弹性应变能量指数、岩体完整性系数6个评价指标,利用贝叶斯网络建立基于大样本不完整数据集的岩爆概率预测模型,并进行敏感性分析和工程应用.分析发现围岩最大切向应力与岩体完整性系数对岩爆的影响较大,所建模型对信息缺失率为20%的岩爆案例预测吻合率达83.3%,且预测效果优于常用岩爆经验判据.结果表明所选取的预测指标能够综合考虑岩爆的影响因素,所建立模型对于深部岩爆灾害的预测具有适用性和可靠性.

有缺失数据的生物等效性评价的考虑要点

生物等效性研究中受试者脱落或各种原因造成的数据剔除,会导致两周期生物等效性集不均衡或不完整,在不同的统计算法或不同版本统计软件计算的结果可能不完全一致,在试验中存在离群值或残留效应时,数据缺失还会增加统计分析的复杂性,给生物等效性结果的判定带来偏倚。本文系统阐述生物等效性研究中数据缺失的常见原因、对策、含缺失数据生物等效性研究的考虑要点与处理原则,包括数据集的划分、统计模型的选择,统计结果的敏感性分析等,为国内申请人开展生物等效性研究提供参考。