基于混合条件独立性测试的因果发现算法

在因果发现领域中,条件独立性(Conditional independence;CI)测试方法决定了基于约束的算法的效率和准确度.Peter-Clark(PC)算法是应用最为广泛的一个基于约束的算法.由于CI测试方法的局限性,该算法在处理高维数据时存在耗时过长和准确度不高的问题.该文提出一种混合CI测试方法(Mixed CI Test;MCIT),它是一种基于核函数的CI测试方法(Kernel-based Conditional Independence Test;KCIT),并结合偏相关性测试.MCIT能与PC算法结合(称为PC_(MCIT))进行因果发现.MCIT通过偏相关性测试减少了KCIT中存在的大量有关核矩阵的运算,从而提高了因果发现的效率;同时又保留了KCIT能够处理非线性数据的优点,因而保证了因果发现的准确度.在各数据集上的实验结果表明,PC_(MCIT)的精确率比基于KCIT的PC算法(称为PC_(KCIT))有显著提高,与基于非线性回归的PCRCIT算法不相上下;而PC_(MCIT)的平均运行时间比后两者大为缩短.

一种相互独立性测试算法

高级综合技术的研究在当前倍受关注．在进行操作调度与资源分配时，为了节省资源，提高设计质量，应对含有条件结构的流图进行相互独立性测试．通过对相互独立性测试问题进行研究，给出了一种相互独立性测试算法．经实验证明，该算法具有速度快、效率高的特点，应用在高级综合系统中时，可极大地提高综合设计的质量．

基于线性残差独立性测试的致病基因检测

使用因果推断相关的机器学习方法辅助检测致病基因时,作为因果推断的核心工具,条件独立性(CI)测试算法在高维生物数据场景中往往存在时间复杂度高以及准确性低等问题。为此,提出一种融合偏相关测试与线性残差独立性测试算法,压缩CI测试条件集的搜索空间,同时提高准确率。设计一种因果推断策略,在减少冗余CI测试的同时结合V结构与因果函数模型的优点,在应用于真实癌症数据的致病基因检测场景中可以区分Markov等价类,找到真正的因果关系。实验结果表明,提出的算法有较好的致病基因检测性能。

基于双重约束的最优BN结构学习算法

针对现有基于动态规划的贝叶斯网络结构学习算法复杂度高、无法在合理时间内学习大规模网络的问题,提出基于双重约束的最优贝叶斯网络(Bayesian Network,BN)结构学习算法.首先,利用最大信息系数和马尔科夫毯限制条件独立性(Conditional Independence,CI)测试的候选节点集合和约束集,得到邻居节点集合;其次,利用邻居节点集合约束父节点图的搜索过程,得到候选父节点集合,从候选父节点集合中取出每个节点的最优父集构造初始有向图;再次,利用Tarjan算法计算初始有向图中的强连通分量,得到节点块序;最后,利用节点块序约束节点序图的搜索过程,获得最优的BN结构.实验表明,相比于现有的5种基于动态规划的结构学习算法,本文提出的算法在精度稍微降低的前提下,极大幅度提高了算法的学习效率,如Sachs网络,本文提出的算法相对DPCMB(Dynamic Programming Constrained with Markov Blanket)算法降低了40.3%的时耗,算法精度下降了12.1%.

数据库安全功能测试自动化框架设计与实现

数据库安全功能独立性测试是评估者使用代表性测试用例在被测数据库管理系统(DBMS)上执行,并将DBMS内部数据修改和系统输出同预期结果作比较,完成DBMS安全功能实现的评估。给出一种DBMS安全测试自动化模型及基于STAF/STAX开源框架的实现方法。最后以安全审计组件的实现为例,在Oracle和国产DBMS上给出了其用例测试及实验方法,证明了该框架的可用性。

基于偏相关性测试的递归式因果推断算法

因果推断是挖掘事物间联系的一种重要方式,但在高维数据场景下,利用因果推断算法进行条件独立性(CI)测试存在冗余测试多和测试效率低的问题,这限制了因果推断在高维数据集上的应用。提出一种基于偏相关性测试的递归式因果推断算法。采用“分治”的方法对变量集进行递归式因果分割,得到更易于处理的低维子数据集,提高对数据集的处理效率。在每个子数据集上进行局部因果推断,减少每次因果推断的计算量并提升算法的运行速度。在此基础上,通过比较显著性值的合并策略整合所有子结果并得到完整的因果关系,保证总体因果结构的准确性。在“分治”过程中,采用高效的偏相关性测试避免高复杂度的核密度估算,进一步提升算法效率。基于10个经典数据集的实验结果表明,在准确率与经典推断算法CAPA持平的情况下,该算法的运算速度提升了2~10倍,且在样本量越大的数据集中提升效果越明显,证明递归式因果推断算法可以有效处理高维数据集,在保证准确率的同时提高运算效率。

软件测试基础及测试过程和策略探索

保证软件质量的一个重要手段同时也是开发系统软件过程中的一项重要活动就是软件测试,以确保最终开发的系统安全、可靠地运行。本文以软件测试工作的实际需要为线索,主要对软件测试常用技术,方法以及策略进行探索和研究。目前国内核电领域仍缺少这方面的研究,希望能对此领域的软件测试工作有一定的指导意义。

利用贝叶斯网络进行遥感变化检测

多时相遥感信息变化检测及其算法探索是当前国际遥感领域研究的热点,但是贝叶斯网络在遥感数据分类、特别是应用在变化检测方面的文献却很少。本文介绍了利用贝叶斯网络的变量间独立性测试原理,构建了输入两个时相多波段遥感信息的有向无环结构,利用训练后的网络进行两个时相多波段遥感变化信息的检测,取得了较好的效果。对北京六环线以内区域,1994年、2003年5种地类变化信息的遥感数据检测和类型转换进行了统计,其中耕地转换为城镇的占整个区域的26.52%,绿地增加占整个区域4.68%,水体减少占整个区域6.78%,导致裸地增加占整个区域4.80%,这个结果也在1∶5万的航空影像和地面上得到了验证。实验结果表明,贝叶斯网络为遥感数据的直接变化检测提供了一种新的途径。

基于互信息的适用于高维数据的因果推断算法

推断数据间存在的因果关系是很多科学领域中的一个基础问题。然而现在暂时还没有快速有效的方法对高维数据进行因果推断。为此,提出了一种基于互信息的适应于高维数据的因果推断算法,该算法采取将高维网络结构学习问题分解成每一个节点的因果网络结构学习问题的策略。在第一阶段,利用基于互信息的条件独立性测试算法寻找目标节点的父子节点;在第二阶段,利用一种混合的方向识别算法对目标节点与其父子节点之间的方向进行判别,所有节点迭代完后得到一个完整的因果网络。数据实验表明,该算法在高维数据的情况下要优于目前其他的算法。

一种快速的贝叶斯网结构学习算法

贝叶斯网是不确定性问题知识表达和推理中最重要的一个理论模型.迄今为止人们提出了许多贝叶斯网结构学习算法,基于约束满足和评分搜索相结合的混合方法是其中的一个研究热点.以I-B&B-MDL为基础,提出了一种快速的学习算法.新算法不仅利用约束知识来压缩搜索空间,而且还用它作为启发知识来引导搜索.首先利用0阶和少量的1阶测试有效地限制搜索空间,获得网络候选的连接图,减少了独立性测试及对数据库的扫描次数,然后利用互信息作为启发性知识来引导搜索,增加了B&B搜索树的截断.在通用数据集上的实验表明:快速算法能够有效地处理大规模数据,且学习速度有较大改进.

基于贝叶斯改进结构算法的回转窑故障诊断模型研究

针对现有改进互信息爬山(MI&HC)算法精度低、耗时长及简化爬山(SHC)算法产生大量冗余边的问题,提出一种新的结构学习算法,即改进爬山(IHC)算法。通过计算互信息链得到贝叶斯初始结构,利用条件独立性测试以及对孤立节点进行处理来加边补充贝叶斯初始结构得到完全结构,利用改进的爬山搜索算子对完全结构进行搜索直到得出最优结构。将该算法与爬山(HC)算法、MI&HC算法、SHC算法进行比较,仿真结果表明,IHC算法能够得到较高准确率的模型,时间开销最小而且产生的冗余边数远远少于SHC算法产生的冗余边数。最后基于IHC算法,结合某回转窑数据进行训练,得到了回转窑工艺参数的故障诊断模型,对回转窑的烧成带温度实现了较为准确的故障诊断。

基于链模型和粒子群的贝叶斯网结构学习算法

为提高学习贝叶斯网络结构的效率,提出一种基于链模型和粒子群的学习算法。利用包含贝叶斯网节点间因果关系信息的规则链模型来衡量拓扑序列的优劣,提高搜索的拓扑序列的质量,为粒子位置可选择的优化算法加上动态权重系数,平衡全局搜索和局部搜索,提高算法的搜索能力。实验结果表明,与I-ACO-B算法相比,该算法不仅能获得更好的解,且收敛速度也有一定的提高。

一种快速因果网络骨架学习算法

针对传统因果网络结构学习算法难以适用于高维网络的问题,该文提出1种快速且适用于高维网络的因果网络骨架构建算法。采取基于最大依赖性、最小冗余度的互信息加速策略,在2个节点间找出2个因果节点集,在这2个因果节点集的并集内分别对节点进行条件独立性测试。真实数据实验表明,在对高维网络进行结构学习时,该文算法的时间复杂度优于传统算法;由于减少了条件独立性测试的次数,提高了网络识别的准确率。

基于互信息的贝叶斯网络结构学习算法

结构学习是贝叶斯网络的重要分支之一,而由数据学习贝叶斯网络是NP-完全问题,提出了一个由数据学习贝叶斯网络的改进算法。该算法基于互信息知识构造初始无向图,并通过条件独立测试对无向边添加方向;同时提出了一个针对4节点环和5节点环的局部优化方法来构造初始框架,最后利用贪婪搜索算法得到最优网络结构。数值实验结果表明,改进的算法无论是在BIC评分值,还是在结构的误差上都有一定的改善,并且在迭代次数、运行时间上均有明显降低,能较快地确定出与数据匹配程度最高的网络结构。

一种基于因果网络的支持向量回归特征选择算法

为了提高支持向量回归算法的学习能力,提出了一种基于因果网络的特征选择算法.该方法假设目标变量和特征候选集之间符合一个因果网络模型,然后利用基于条件独立性测试的方法对目标变量的直接影响特征进行识别,从候选特征集之中获取与目标变量有着直接因果关系的特征子集.虚拟和真实数据集上的实验结果表明,该特征选择算法适用于支持向量回归算法,优于目前其他算法.

非线性因果模型辨识方法

近来,基于观测变量的因果模型辨识受到了较多关注。一般使用线性无环因果模型对数据生成过程建模,而实际上,许多因果模型包含非线性关系,使用纯线性方法求解是无效的。将线性模型泛化为非线性模型,提出一种两步骤的辨识算法,首先使用特征选择算法获得d分离等价类,然后使用非线性成对独立性测试为图中的边标注因果方向。实验结果验证了该算法的有效性,并表明其优于其他算法。

一种高维数据的因果推断算法

发现数据间的因果关系是科学领域的一个重要问题,然而在高维数据中的因果推断暂时还没有有效的算法.这里提出了一种基于条件独立性测试和互信息的适应于高维数据的因果推断算法.该算法先用条件独立性测试和互信息降低数据集的维度,然后利用一种基于非线性加噪声模型的算法对节点间的方向进行判别.数据试验表明,该算法在高维数据的情况下要优于目前其他的算法.

基于最大信息系数的贝叶斯网络结构学习算法

为了得到正确的节点次序,构造接近最优的贝叶斯网络结构,利用最大信息系数与条件独立性测试相结合的方法,提出了一种新的贝叶斯网络结构学习算法(MICVO)。该算法利用最大信息系数衡量变量之间的依赖关系,生成初始的无向图,引入惩罚因子δ减少图中冗余边的数量,并将这个无向图分解成多个子结构,确定图中边的方向,最后生成正确的节点次序作为K2算法的输入学习网络结构。在两个基准网络Asia和Alarm中进行实验验证,结果表明基于最大信息系数的贝叶斯网络结构学习算法可以得到接近最优的节点次序,学习到的网络结构与数据的拟合程度更好,分类准确性更高。

贝叶斯网络结构加速学习算法

结构学习是应用贝叶斯网络(BN)的基础。提出一种新的基于约束的学习类算法APC(Accelerated PC),它基于一系列局部结构的推导获得BN。APC不但继承了经典的PC(Peter&Clark)算法优先执行低阶条件独立(CI)测试的优点,而且能够从已执行的CI测试中推导相关拓扑信息,并利用其来挑选并优先执行更可能d-分割节点X和Y的候选CI测试。该策略可有效避免在搜索过程中执行无效的CI测试,例如APC算法在实验中较PC算法节省高达50%的计算量,同时实现了质量相同的学习效果。

Research on Measurable Nonlinear Relationship Between Phytoplankton Biomass and Environmental Factors in Bohai Bay

B ased on the data of phytoplankton and environmental factors in the Bohai Bay, the dependence between the concentration of phytoplankton and environmental factors is analysed by linear correlation coefficient, rank correlation coefficient and Hoeffding test of independence .The result shows that wind-speed, air-pressure, surface temperature, field pH, salinity, DO, silicate and NO3- have a great impact on the concentration of phytoplankton.