翻译规则剪枝与基于半强制解码和变分贝叶斯推理的模型训练

统计机器翻译一般采用启发式方法训练翻译模型。但启发式方法的理论基础不够完善,因此,会导致翻译模型规模庞大以及模型参数精确率不高。针对以上两个问题,该文提出一种基于变分贝叶斯推理的模型训练方法,形成更精确的精简翻译模型。该方法首先通过强制解码对齐语料,然后利用变分贝叶斯EM算法获得模型参数。该文的实验语料为NIST汉英翻译任务数据,实验结果显示,基于句法(基于短语)的统计机器翻译中,超过95%(76%)的规则被剪枝,且BLEU值显著提高。

基于互信息规则剪枝的关联文本分类

传统的关联文本分类算法产生的规则数量巨大,若不对规则剪枝会影响分类效率,而采用以前的剪枝方法又会使分类精度出现不同程度的下降.为此提出以互信息的方法对每个类的规则进行剪枝,挑选出分类能力强的规则构成分类器,对待分类文本进行分类.经过这个方法剪枝后的规则数量大幅减少,且能取得比规则集未修剪过的分类器和采用以前剪枝方法的ARC-BC算法更好的分类效果,大量的实验表明此方法是有效的.

基于分组的次数与规则剪枝相结合的语言模型压缩方法研究

由于庞大的训练语料,统计语言模型的大小往往会超出手持设备的存储能力。随着现阶段资源受限设备的迅速发展,语言模型的压缩研究也就显得更加重要。本文提出了一个语言模型压缩方法,即将次数剪切与规则剪枝方法相结合,并使用分组的方法保证在不减少单元数目的情况下压缩模型。文章对使用新的算法得到的语言模型与次数剪切和规则剪枝方法分别进行困惑度比较。实验结果表明,使用新方法得到的语言模型性能更好。

基于改进剪枝的关联规则隐藏算法

针对序列规则重复过多,导致关联规则隐藏算法中数据I/O流的浪费问题,提出一种基于改进剪枝的关联规则隐藏算法。首先将小于阈值的原始单序列利用聚类思想放入同一存储体内,降低挖掘频繁序列的时间;然后将满足阈值条件的序列进行组合,找到满足条件的频繁序列,既实现规则剪枝,又减少遍历次数;最后完成频繁序列隐藏。实验结果表明,该算法与GSP、SPADE算法比较而言,不但提高时间效率,而且更好地实现频繁序列隐藏。

基于蚁群优化的分类规则挖掘方法

蚁群优化是人工智能领域中群体智能分支之一,已成功地应用于复杂优化问题的求解,但其在知识发现领域的应用还是一个新的研究课题。在此提出一种新的基于蚁群优化的分类规则挖掘方法,先利用蚁群算法通过对属性约简简化数据集,再使用蚁群算法进行分类规则的挖掘,并用新的规则剪枝方法,提高了分类算法的效率和准确率。实验表明该方法是有效的。

基于不确定数据的频繁项查询算法

频繁项的查询是一项非常重要的技术,但在新兴的不确定数据领域却是一项新的研究课题.基于不确定数据,提出了一种新的频繁项定义,并提出了两条过滤规则,可以有效地减少检测数据的数量.最后提出高效的频繁项查询算法UFI,该算法通过找到概率求解中的递推规律,极大提高了单点检测效率.实验结果显示:提出的方法可以有效地减少候选集,降低搜索空间,改善在不确定数据上的查询性能.

基于主从支配点的无线自组网络广播算法及优化

文中提出了一种分布式主从支配点广播算法,节点利用局部拓扑结构选择支配点并对其进行主从划分,只有主支配点才对广播报文进行转发,从支配点负责监测网络的覆盖情况,当发现有未被覆盖的邻居节点时它就自动转化为主支配点,这样不仅降低了转播节点的数目,而且能够保证对网络的完全覆盖.在此基础上文中又提出了自剪枝规则对广播算法进行优化,自剪枝规则不会影响网络的完全覆盖性,并且能够进一步消除冗余转播节点,提高广播算法的性能.文章对算法的的正确性和有效性进行了理论分析,并通过仿真对它们的性能进行了验证和对比,结果表明它们优于其它广播算法.

判据搜索算法及其在DNA序列模式发现中的应用(英文)

模式发现是计算生物学一个重要的研究方向,但目前的大部分算法还不能保证获得最优的模式。将模式发现问题转化成层次图的路径搜索问题,推导了针对三个序列片段相似性关系的判据,以其作为剪枝规则提出并实现了一种深度优先的穷举搜索算法:判据搜索算法(CriterionSearchAlgorithm,CRISA)。理论分析表明,对于绝大多数模式发现问题,CRISA具有多项式的计算时间复杂度和线性的空间复杂度。对仿真的和实际的DNA序列数据的测试表明,CRISA能够快速而完全地识别出序列中所有的模式,并且获得了优于其它算法的总体评价。

组合Skyline的求解与更新算法

针对现有组合Skyline查询算法剪枝效率低、对低维数据集计算速度不理想的问题,提出一种快速求解与更新组合Skyline的算法。定义支配区的相关概念,给出相应剪枝规则裁剪无用的数据组合。对于数据集添加数据点和删除数据点的情况,在原有查询结果的基础上根据数据点所在分区实施不同的操作,从而实现查询结果的快速更新。实验结果表明,该算法可有效提高剪枝效率,加快运算速度。

基于熵距离的离群点检测及其应用

离群数据检测是找出与正常数据不一致的数据。由于某种原因,会出现一些噪声数据。针对噪声数据的特征,提出了一个有效的离群点检测算法。通过层次k-means算法对数据集进行聚类,从包括离群点可能性最大的簇开始进行检测,在检测过程中提出基于熵值距离来衡量数据点的离群程度,并通过剪枝规则来减少检测次数,从而提高了检测的效率。仿真结果表明该算法对出现的噪声数据具有较好的过滤效果。

加速大规模数据集的离群点检测

针对现有基于距离的离群点检测算法在处理大规模数据时效率低的问题,提出一种基于聚类和索引的分布式离群点检测(DODCI)算法。首先利用聚类方法将大数据集划分成簇;然后在分布式环境中的各节点处并行创建各个簇的索引;最后使用两个优化策略和两条剪枝规则以循环的方式在各节点处进行离群点检测。在合成数据集和整理后的KDD CUP数据集上的实验结果显示,在数据量较大时该算法比Orca和iDOoR算法快近一个数量级。理论和实验分析表明,该算法可以有效提高大规模数据中离群点的检测效率。

不确定对象的反向最近邻查询研究

确定对象在空间数据库研究中受到人们的重视,不确定对象的反向最近邻研究成为研究热点。文中给出不确定对象反向最近邻查询的形式化表示,将其称为可能反向最近邻查询,即为检索所有可能成为给定不确定对象的反向最近邻的可能性大于给定阈值的不确定性对象。提出基于各种剪枝规则的算法,解决多维不确定对象的可能反向最近邻查询问题。

引入局部向量点积密度的数据流离群点快速检测算法

现有数据流离群点检测算法在面对海量高维数据流时普遍存在运算时间过长的问题。为此,提出一种引入局部向量点积密度的高维数据流离群点快速检测算法。以保存少量中间结果的方式只对窗口内受影响的数据点进行增量计算,同时设计2种优化策略和1条剪枝规则,减少检测过程中各点之间距离的计算次数,降低算法的时空开销,从而提高检测效率。理论分析和实验结果表明,该算法可以在保证检测准确性的情况下有效提高数据流的离群点检测效率,并且可扩展至并行环境进行并行加速。

利用扩展概念格进行关联分类的算法

针对关联分类规则产生的候选规则过多导致效率不高的问题,提出一种基于频繁闭项集组成的扩展概念格的分类规则获取方法.利用频繁闭项集提出一种新的概念格模型,通过性质和定理对概念格结点进行剪枝,以抽取分类尽量少且最有效的关联分类规则.研究结果表明:该算法能挖掘出高质量且包含重要信息的关联分类规则,并大大减少关联分类规则的数量,在分类准确率上比现有的关联分类典型算法更高.

云平台下电力系统能量备用实时调度模型研究

传统电力系统能量调度模型存在数据信息化处理能力有限、调度智能决策水平不稳定等弊端。为解决上述问题,提出一种云平台下新型电力系统能量备用实时调度模型。在电力系统大数据框架上,通过安装设置备用虚拟机的方式,确定能量数据的云存储类型,完成系统备用云平台的搭建。在此基础上,通过优化实时调度框架的方式,确定调度剪枝规则,并对系统数据的调度分支界定流程进行完善,实现新型电力系统能量备用实时调度模型的搭建。分析对比实验结果可知,与传统模型相比,应用云平台下型电力系统能量备用实时调度模型后,数据信息化处理能力提升25%、调度智能决策水平提升20%。

基于FNN与GA相融合的数据挖掘方法研究

模糊神经网络即具有输入信号是模糊量的神经网络,是模糊系统与神经网络相结合的产物,汇聚了二者的优点;遗传算法是一种自适应全局优化概率搜索算法。研究了基于模糊神经网络与遗传算法相融合的一种算法,在应用模糊神经网络进行数据挖掘前,应用遗传算法完成隶属函数的训练,以便更好地进行模糊神经网络学习;经过模糊神经网络学习后,提取相关规则,再次应用遗传算法,进行规则剪枝,提高数据挖掘效率。实验表明,与传统方法相比,该方法能够更快速、更加准确地进行数据挖掘,提取更精确的推理规则。

决策树中避免过度拟合的方法

通过学习训练数据集来构造分类树的策略可能无法达到最好的泛化性能。随机噪声和某些决策仅基于少量训练数据的情况都会导致决策树的分类精度下降,并且过度拟合训练数据集。避免过度拟合主要是通过对树的剪枝来实现,包括预剪枝和后剪枝。后剪枝方法有很多种,主要从计算复杂性、误差估计和算法理论基础角度分析其中的REP、MEP和规则后剪枝算法。

基于神经网络思想及α-β方法的五子棋算法设计

本文设计了一种基于神经网络思想及α-β方法的五子棋算法。结合神经网络思想及α-β方法，本文探讨博弈的搜索方法及推理技术中优化五子棋算法的思路，并最终利用VB语言实现了五子棋最优路径的选择。