一种改进的Bayesian网络结构学习算法

基于模型选择的 Bayesian网络 ( BN)结构学习是 NP难的可行解搜索过程 .针对现有算法在复杂系统求解中时间效率低的问题 ,提出了一种新的基于最小描述长度 ( minimal description length)理论的结构学习算法 I-B &B-MDL .这种算法将独立性测度与预测估计相结合 ,在学习过程中引入小计算量的独立性测试为 MDL搜索提供启发性知识 ,限制可行解搜索空间 ,从而加速问题求解过程 .针对新算法讨论了改进策略对求解精度的影响 ,并结合算例分析了独立性测试的阶数选择问题 .通过对一实际问题进行验证表明 ,在保证结果精度的前提下 ,新算法在时间性能上比仅基于预测估计的 B & B-MDL

基于LSTM-XGBoost的短期电力负荷预测研究

随着电力系统的快速发展,针对短期电力负荷预测的人工智能方法研究已经取得了显著成就。由于长短期记忆(LSTM)神经网络能够拟合电力负荷数据时序性和非线性的特点,基于LSTM的短期电力负荷预测效果显著。但基于LSTM的预测方法存在预测精度低、泛化能力差等问题。为此,利用贝叶斯优化后的极限梯度提升(XGBoost)集成学习方法训练得到多个LSTM的强预测模型,提出基于LSTM-XGBoost的短期电力负荷预测的方法,并采用宁夏地区的电力数据进行算例分析。试验结果表明,对比基于LSTM和基于粒子群优化(PSO)-反向传播(BP)的短期电力负荷预测方法,基于LSTM-XGBoost的短期电力负荷模型预测精度、稳定性更高。该方法对于电力系统智能化发展有一定的应用价值。

大数据与数学地球科学研究进展——大数据与数学地球科学专题代序

大数据与数学地球科学的核心应用技术包括高维数据降维、图像数据处理、无限数据流挖掘、机器学习、关联规则算法与推荐系统算法等。人工智能地质学,包括大数据-智能矿床成因模型与找矿模型的构建,是具有重要价值的研究方向。高维数据降维旨在从初始高维特征集合中选出低维特征集合,有效地消除无关和冗余特征,增强学习结果的易理解性。哈希算法、聚类分析、主成分分析等是较常用的数学降维工具。机器学习是人工智能的核心,是使计算机具有智能的根本途径。机器学习与人工智能各种基础问题的统一性观点正在形成。深度学习的训练模型往往需要海量数据作为支撑,因此迁移学习方法日益受到重视。图像模式识别是大数据挖掘的重要技术。网络中的社区结构识别对理解整个网络的结构和功能有重要价值,可帮助分析、预测网络各元素间的交互关系。沉浸式虚拟现实技术是实现大数据可视化的重要方向,对具有多元、异构、时空性、非线性、多尺度地质矿产勘查数据的展示要求有特别的价值。引入VR技术进行矿产地质大数据的可视化,可实现大数据时代矿产勘查数据的新认知。无限数据流在地质、地球化学、地球物理监测中大量存在,甚至可以持续自动产生。对数据流数据的计算包括对点查询、范围查询、内积查询、分位数计算、频繁项计算等。关联规则和推荐系统算法是大数据挖掘中的重要算法,其应用范围越来越广泛。贝叶斯原理在大数据时代有独特的价值,贝叶斯网络是成因建模的一个革命性工具。智能地质学研究刚刚起步,构建大数据-智能矿床成因模型与找矿模型是智能地质学研究的重要内容。矿床模型研究方式的变革,将出现于互联网、云计算技术环境下全球各地的矿床研究团队的共同参与。

Bayesian方法的计算学习机制和问题求解

从信息熵的角度讨论了无信息先验分布的Bayesian假设的合理性 ,着重分析了贝叶斯方法的计算学习机制 ,得出贝叶斯定理是将先验分布中的期望值与样本均值按各自的精度进行加权平均 ,精度越高者其权值越大 ,合理地综合了先验信息和后验信息。在共轭先验分布的前提下 ,可以将后验信息作为新的一轮计算的先验 ,用 Bayesian定理与进一步得到的样本信息进行综合。多次重复这个过程后 ,样本信息的影响越来越显著。因此 ,合理正确地指派先验分布对提高学习的效率和质量有重要意义。 Bayesian方法既可避免只使用先验信息可能带来的主观偏见 ,和缺乏样本信息时的大量盲目搜索 ,也可避免只使用后验信息带来的噪音的影响。因此 ,适用于具有概率统计特征的数据采掘和知识发现问题 ,尤其是样本难得或代价昂贵的问题。

矿床大数据及智能矿床模型研究背景与进展

大数据是"未来的新石油",Nature和Science相继出版专刊来探讨大数据带来的挑战和机遇。大数据的特征是数据规模大,并经常呈异构多模态、复杂关联、动态涌现等特点,需要高效计算模型和方法。大数据-智能矿床研究刚刚起步,需对多维、异构、隐性大数据的高效存储、管理、集成、融合与深度挖掘,需人工智能方法——机器学习、深度学习、可视分析的应用。贝叶斯网络是成因建模的一个革命性工具,可以用来揭示矿床的成因机制及它们背后的规律。来自地质调查、监测数据获得的与"矿"有关的大数据,通过迭代计算,可以不断完善所建立的矿床模型,并且通过云计算技术,使得世界各地的矿床研究团队共同参与,引发矿床模型研究方式的变革。

贝叶斯学习、贝叶斯网络与数据采掘

自从50～60年代贝叶斯学派形成后,关于贝叶斯分析的研究久盛不衰。早在80年代,贝叶斯网络就成功地应用于专家系统,成为表示不确定性专家知识和推理的一种流行方法。90年代以来,贝叶斯学习一直是机器学习研究的重要方向。

基于贝叶斯网络的电信客户流失预测分析

电信客户流失分析常用的数据挖掘方法有自动聚类、决策树和人工神经网络,它们是采用数据本身来训练模型的,没有利用先验知识。电信客户流失是由客户心理、服务质量和对手竞争等诸多复杂的因素造成的,利用这些已有的先验知识,可以提高预测的精度。该文根据先验知识选取分析变量,采集样本数据,通过贝叶斯网络的结构学习和参数学习,建立客户流失模型并进行客户流失趋势预测,取得了比标准数据集更准确的结果,该结果和决策树方法的预测结果相比还具有较大的优势,说明贝叶斯网络是分析客户流失等不确定性问题的有效工具。

用于数据采掘的贝叶斯分类器研究

所谓分类器是一个函数f(x),它给需要分类的实例x赋予类标签c,∈C(j=1,2,…,m),实例x由一组属性值a_1,…,a_n描述,C是类变量,取有限个值,可看成有限个元素的集合。进行分类首先要构造一个分类器。从预先分类的实例进行有导师学习并建立分类器,是机器学习的中心问题之一。已有的分类器如决策树、决策表、神经网络、决策图和规则等。

贝叶斯网络的参数学习研究

贝叶斯网络是数据采掘的一个非常有效的工具,它能够定性和定量地分析属性之间的依赖关系,进行概率推理。在给出贝叶斯网络相关概念后,讨论了贝叶斯网络在离散型、连续型和混合型3种情况下的参数学习计算公式;利用给定样本数据,对具有完整数据和不具有完整数据的贝叶斯网络,学习网络参数,更新网络变量原有的先验分布;从理论上给出两种不同类型下的参数学习公式。

贝叶斯网络结构学习的发展与展望

从最初的概率贝叶斯网络构建阶段到涌现大量研究成果的因果贝叶斯网络结构学习阶段 ,本文完整地回顾了贝叶斯网络结构学习的整个发展历程 ,并对该领域当前存在的问题及相关研究进行分析论述 ,给出了研究展望 .值得一提的是 。

基于条件对数似然函数导数的贝叶斯网络分类器优化算法

通常基于鉴别式学习策略训练的贝叶斯网络分类器有较高的精度,但在具有冗余边的网络结构之上鉴别式参数学习算法的性能受到一定的限制.为了在实际应用中进一步提高贝叶斯网络分类器的分类精度,该文定量描述了网络结构与真实数据变量分布之间的关系,提出了一种不存在冗余边的森林型贝叶斯网络分类器及其相应的FAN学习算法(Forest-Augmented Nave Bayes Algorithm),FAN算法能够利用对数条件似然函数的偏导数来优化网络结构学习.实验结果表明常用的限制性贝叶斯网络分类器通常存在一些冗余边,其往往会降低鉴别式参数学习算法的性能;森林型贝叶斯网络分类器减少了结构中的冗余边,更加适合于采用鉴别式学习策略训练参数;应用条件对数似然函数偏导数的FAN算法在大多数实验数据集合上提高了分类精度.

四种贝叶斯分类器及其比较

首先介绍了贝叶斯网络及贝叶斯网络分类器,并对四种典型贝叶斯分类器的特点进行了介绍与分析.在总结各种贝叶斯分类器特点的基础上,通过选取的UCI数据库中的10个数据集对其分类效果进行了实验比较,并根据实验结果讨论各自的特点,从而得出针对具有不同特点数据集选取适当分类器的方法.

基于贝叶斯网络的海量数据多维分类学习方法研究

为了提高多维分类的执行效率,同时保持高的预测准确性,提出了一种基于贝叶斯网络的多维分类学习方法。将多维分类问题描述为条件概率分布问题。根据类别向量之间的依赖关系建立了条件树贝叶斯网络模型。最后,根据训练数据集对条件树贝叶斯网络模型的结构和参数进行学习,并提出了一种多维分类预测算法。大量的真实数据集实验表明,提出的方法与当前最好的多维分类算法MMOC相比,在保持高准确性的同时将模型的训练时间降低了两个数量级。因此,提出的方法更适用于海量数据的多维分类应用中。

基于互信息学习贝叶斯网络等价类

由数据构造贝叶斯网络结构是NP-难问题,根据互信息和条件独立测试,提出了一种构建最优贝叶斯网络结构的新算法。数值实验表明,新算法能较快地确定出与数据匹配程度最高的网络结构,从而能更高效地学习贝叶斯网络结构。

贝叶斯网络分类器结构与变量分布的差异性分析

为了提高鉴别式学习策略训练的贝叶斯网络分类器的分类精度,分析了贝叶斯网络结构与数据中变量分布之间的差异对贝叶斯网络分类器性能的影响,实验以网络结构的实际联合概率分布的树型近似描述为基准,删除在条件对数似然函数极大化过程中不起作用的边,生成具有同一联合概率分布的不同描述程度的网络结构.实验结果表明,只有当网络结构表现力不足时,鉴别式参数学习才能起积极作用;而当网络结构中有多余的边时,反而容易受其制约.从而验证了网络中多余的边对分类器性能没有影响的观点是片面的.

相容的贝叶斯学习及其后验分布的渐近正态性

从计算学习理论的角度研究贝叶斯学习的相容性和后验分布的渐近正态性,给出了贝叶斯学习的正则条件,证明了在这些条件下贝叶斯学习不仅是相容的,而且后验分布是渐近正态的.由于正态分布计算相对简单,该结果为指派恰当有效的先验分布、寻找简化贝叶斯学习计算的方法提供了理论依据,给出的正则条件比Heyde与Johnstone的5个条件更为简化,便于应用.

具有抗噪音能力的增量式混合贝叶斯网络

结合信息论提出了一种具有抗噪音能力的增量式混合贝叶斯网络学习算法,该算法用决策树进行定性分析,用贝叶斯 网络进行后续的定量分析。在此基础上引入增量学习机制,不仅使得它可以在缺乏领域知识指导的情况下进行归纳学习,在 一定程度上模拟了人脑学习时循序渐进和知识增殖、继承方式,还使该算法具有较好的抗噪音能力。理论分析和实验结果表 明,该算法是可行的和有效的。

基于机器学习理论的数据融合算法对比研究

多传感器数据融合技术是目前军用和民用技术应用领域中较受关注的一个问题。机器学习是基于对海量信息处理的需求产生的一门涉及多个学科领域交叉的学科,其与数据融合技术需求和应用目的是一致的,将机器学习的相关理论和方法应用于数据融合技术的研究已经被证实是一种有效的途径。目前使用的数据融合算法主要是基于随机统计的方法和基于逻辑推理的方法。可见,机器学习中的经典算法已经成为指导数据融合算法设计的重要思路。文章就贝叶斯推理算法、逻辑回归算法和神经网络算法这三种机器学习的典型算法在数据融合中的应用进行对比、分析,探讨其各自的适用域和适用性。

贝叶斯网络学习算法研究

贝叶斯网络是一种概率图形模型,它提供了不确定性环境下的知识表示、推理、学习手段,可以完成决策、诊断、预测、分类等任务,已广泛应用于数据挖掘、语音识别、工业控制、经济预测、医疗诊断等诸多领域。贝叶斯网络将概率理论和图论相结合,为解决不确定性问题提供了一种自然而直观的方法。在对贝叶斯网络全面概述的基础上,深入研究了贝叶斯网络的结构学习。

构建本质图的改进算法

利用图论相关知识,提出了一种构建本质图的改进算法。数值实验表明,对于V-结构较多的非循环有向图,改进算法能相对较快地确定出其本质图,从而能更好地学习贝叶斯网络的等价类。