基于贝叶斯方法的地壳厚度定量估算

大陆地壳一直以来都扮演着记录过去40亿年地球演化历史的重要角色。现代板块汇聚边界形成的岩浆岩地球化学特征与岩浆活动时的地壳厚度高度相关,因此,一系列地球化学指标可作为地壳厚度的优秀示踪剂。然而,由于岩浆岩地球化学组成的复杂性,准确量化过去地质时期地壳厚度一直是一项具有挑战性的任务。本文基于地球化学大数据,运用贝叶斯方法,建立了一个利用多种地化指标(CaO、K_(2)O、MnO、Dy、Ho、Lu、Y、Sr/Y、Ce/Y、La/Yb、Sm/Yb、Dy/Yb)定量估算地壳厚度的贝叶斯模型。利用中新世以来(<15 Ma)的全球数据验证表明,与传统的单指标方法相比,贝叶斯模型对现今地壳厚度提供了更准确的估计。利用该模型重建了新生代拉萨地块地壳厚度变化,重建结果表明,拉萨地块在50~30 Ma经历了多阶段地壳增厚,最终形成如今的巨厚地壳。

基于大数据的输电线路故障预警模型设计

发展输电线路远程故障诊断是建设智能电网的重点内容。针对输电线路的上传数据单一、数量多、利用率低等问题,基于背景平台提供的大数据处理集群技术,以朴素贝叶斯算法结合时间序列相似性故障匹配建立输电线路故障预警模型。模型采用采集到的相关电气量、开关量、事件顺序信息、电网拓扑等数据以及输电线路故障过程中故障录波装置所获取的数据,采用朴素贝叶斯算法挖掘潜在故障发生因素(即故障因子)的发生指数,随后结合时间序列相似性故障匹配对输电线路进行故障预警。案例分析表明,所构建的模型能较好地挖掘出故障因子,预测结果较好。

云计算下低占用率大数据智能分类仿真研究

针对大数据智能分类效率低、占用率较高的问题,提出了一种云计算下低占用率大数据智能分类方法,采用贝叶斯算法构建智能分类模型,使其后续分类时通过朴素贝叶斯智能分类器可以将容错率降到最小,并构建压缩函数及选择特征使其能够和源数据之间的区分程度相同的,对智能分类模型进行训练,通过训练后的分类模型对源数据进行特征分类,最终完成云计算下大数据智能分类的目的。仿真结果表明,使用改进方法对大数据分类,其计算过程简单、空间占用率较低,能够有效的缩短数据分类时间,鲁棒性较强。

基于朴素贝叶斯的大数据模糊随机挖掘仿真

提出基于朴素贝叶斯的大数据模糊随机挖掘仿真方法,为用户挖掘海量数据特征并从中发现可用数据提供有效途径。该方法依据数据间的关联规则,对具备非线性特征的大数据进行融合处理,利用模糊层次聚类算法依据融合后大数据获取大数据语义关联特征;将语义关联特征作为朴素贝叶斯分类器的输入,输出大数据模糊随机挖掘结果。仿真结果表明,上述方法融合大数据时的关联规则支持度最大为100%,大数据融合效果较好;在大数据量为100GB时,其提取大数据语义关联特征时的概率化特征条件引入量高达96%;模糊随机挖掘大数据时,大数据空间聚焦能力较好,可有效实现大数据模糊随机挖掘。

基于MapReduce的平均多项朴素贝叶斯文本分类

针对海量文本分类问题进行了研究,基于分布式计算框架MapReduce平台,实现了一种简单、有效的文本分类算法——平均多项朴素贝叶斯分类方法。实验中该方法分类准确率高于一般朴素贝叶斯方法,且具有较好的加速比。实验结果表明,由于减小了文本冗余特征信息的影响与并行计算良好的扩展性,该方法更适用于海量文本数据分类。

基于变分贝叶斯自编码器的局部放电数据匹配方法

随着局部放电检测案例的累积,将疑似局部放电数据与历史案例中的数据进行匹配获取相似案例,是大数据背景下对局部放电数据进行深度挖掘的一种思路。因此,提出了一种基于变分贝叶斯自编码器（auto-encoding variational Bayes,AEVB）的局部放电数据匹配方法。构建了适用于局部放电数据的AEVB网络模型,利用AEVB提取局部放电数据特征值,然后基于余弦距离计算不同局部放电数据之间的匹配度。为验证方法的有效性,通过局部放电模拟实验和变电站现场带电检测建立了局部放电数据集,并对所提方法和其他特征提取与匹配方法进行了对比分析,包括统计特征值、深度信念网络、深度卷积网络、主成分分析、线性判别分析的特征提取方法和欧氏距离、最佳熵的匹配度计算方法。实验结果表明,基于AEVB和余弦算法的数据匹配方法相比其他数据匹配方法可以更有效的检出相似局部放电数据。

大数据环境下基于Spark的Bayes分类算法研究

随着大数据的爆发,如何提高算法的执行效率是大数据分类的研究热点,Spark是分布式并行计算框架,支持迭代数据流,该文对朴素贝叶斯文本分类算法作并行流式化处理,实验证明,并行流式化Bayes分类算法能有效提高大数据分类效率。

惠州凹陷新近系K系列海平面变化定量分析及大数据应用展望

本文以珠江口盆地惠州凹陷南部为例,对地质历史时期的相对海平面变化进行了定量分析和估算,得到了研究区的相对海平面变化曲线。通过对比分析,INPEFA方法得出的曲线更能代表相对海平面变化。研究区K系列沉积时期,海平面总体是上升的,但上升的速率在不同的位置不尽相同。总体而言,四级层序海侵体系域(TST)的上升速率要稍高于与其相邻的同级别高位体系域(HST)的速率。海平面主要以交替的快速上升(海侵)和缓慢上升(海退)为特点。Fischer方法得出的曲线在本地区不直接反映相对海平面(可容纳空间)变化,但可以指示富砂层段的位置。本文进一步分析认为,可以利用地层的层序结构、分形特性以及离散的地层年龄等数据,依据贝叶斯-拉普拉斯(Bayes-Laplace)原理构建数据驱动的迭代模型,进而从粗略到精细,实现相对海平面在时间域的高精度刻画,为小尺度古环境研究和精细油藏描述提供支撑。

一种高效的大数据增量真值发现算法

针对多源异构大数据中传统真值发现算法可扩展性不足、增量真值发现效果差等问题,本文将Map-Reduce框架和贝叶斯真值发现模型相结合,提出了基于Map-Reduce的并行真值发现算法;在MPTF算法基础上,引入Incoop增量框架和基于投票机制的分类器集成策略,并优化了Map过程和Reduce过程,提出了一种高效的大数据增量真值发现算法;实验表明:该算法不仅提高了分类器的准确性,而且实现了新增数据源的真值发现。通过理论分析和实验对比证明,该算法具有高效性和广泛适用性,同时可以兼顾多种现实中的复杂情形。

非对称信息下产险公司与投保大户之间的二周期讨价还价博弈

将投保人分为投保大户与非大户,认为投保大户能够准确预知自身损失概率,而产险公司却无法知道投保大户损失概率的真值。在这样的信息不对称条件下,构造了产险公司与投保大户之间的二周期讨价还价模型。用博弈论求解该模型,得到了完美贝叶斯均衡解,进而给出了产险公司在谈判中能获得的最大期望收益与投保大户的最优策略。

大数据环境下基于云计算的图书馆用户信息挖掘技术研究

为了应对大数据环境下图书馆个性化信息服务的发展趋势,提供更加精准的用户服务,构建基于Hadoop云计算平台的图书馆数据挖掘系统,并设计一种新型混合决策树算法。首先,设计包含4个层次的数据挖掘系统架构。然后,在算法层提出一种采用混合策略的决策树算法,该算法结合分布式改进的SPRINT算法和并行化的朴素贝叶斯算法,以便满足HDFS和MapReduce的运作方式,从而能够在Hadoop平台上进行实现。Hadoop集群环境的用户信息测试结果表明,相比单一的SPRINT算法和朴素贝叶斯算法,提出的新型混合决策树算法具有最佳的数据挖掘分类性能。

数据挖掘方法在反恐情报分析中的应用研究

[目的/意义]研究大数据背景下,运用数据挖掘方法打击恐怖主义活动。[方法/过程]介绍目前较为成熟的2种数据挖掘方法——朴素贝叶斯和K-means算法的概念、数学原理等,并研究其在反恐情报分析中的应用。[结果/结论]在理论层面上形成较为系统的反恐情报分析的数据挖掘应用方法,以期为我国反恐情报分析在技术理论层面上的发展做出贡献。

大数据环境下的不确定数据流在线分类算法

在大数据环境下,由于隐私保护、数据丢失等原因,数据普遍存在不确定性;数据流系统中数据不断地到达系统,只扫描一遍且不能一次性全部获得;所以要构建一个增量分类模型来处理不确定数据流分类.本文基于VFDT算法提出了WBVFDTu算法,该算法在学习和分类阶段都可快速而有效地分析不确定信息.在学习期间,采用Hoeffding分解定理构造决策树模型;在分类期间,在决策树的叶子节点利用加权贝叶斯分类算法提高模型的分类准确率和算法的执行效率.最终证明该算法能够非常快速地学习不确定数据流,提高分类的准确率.

基于大数据分析的暂态电能质量综合评估方法

运用基于大数据处理架构的Naive Bayes分类方法提出了暂态电能质量评估方法,将数据来源扩展至电网运行监测数据、电力用户数据和公共信息数据等方面,并将评估结果按严重程度分为暂态正常状态、短时电压暂降状态、短时深度电压暂降状态、短时电压失压状态。基于MapReduce架构,设计分布式Naive Bayes算法实现状态分类。在分类器训练阶段,对海量历史数据进行分布式学习,周期性地生成评估规则库并部署到所有评估节点。在状态评估阶段,各评估节点基于流处理框架快速生成实时评估样本,并根据当前规则库实时地得出评估结果。试验结果表明,所提出的基于大数据分析的暂态电能质量评估方法是可行,在准确率和处理速度上都取得了较好的效果。

基于内存计算的钢铁价格预测算法研究

由于钢铁价格具有非线性和因子难以确定的特点,在数据挖掘预测分析时,传统的预测方法只能对钢铁价格进行小数据量的分析,这将导致预测精度低、速度慢、效率低下。随着大数据的深入研究,内存计算技术成为研究热点,用户对实时数据处理技术的需求越来越大。因此,在钢铁价格预测模型中,引入内存计算技术,提出基于内存计算的LM-BP神经网络预测算法,利用2002年到2010年的钢铁价格、产量、库存、GDP等数据建立预测模型。最后,仿真实验结果表明,基于内存计算的预测模型算法不仅速度快,而且精度高。

岩土材料的基因特征及其测试方法

由于岩土材料固有的天然成因,其基本物理力学特性表现出不同程度的空间变异性。基于有限的检测数据很难对岩土材料的整体物理力学特征进行描述,而特征参数取值的差异对岩土工程稳定状态的判别和相关工程设计结果的影响不可忽略。基于该问题,提出对一定空间范围内的特定岩(土)性材料性质整体特性进行描述的岩土材料基因特征的概念,给出基因特征的定义及其基本属性,提出运用大数据理论对大量实际工程中检测到的岩土材料参数数据进行统计分析并寻找其基因特征的思路。研发了岩土材料基因特征大数据管理及分析软件系统,实现了对岩土材料大数据实施收集、传输、分类、筛选、管理和统计分析的功能,并结合在重庆地区收集到的7万余条典型岩土材料数据,对该地区的典型岩土材料基因特征进行分析,得到相应的基因图谱。

大数据在卷烟市场状态监测中的应用研究

针对目前卷烟市场状态监测时效性差等问题,引入大数据概念,重点阐述大数据分析所采用的贝叶斯原理,利用主成分分析方法得出与卷烟市场运行状态具有强相关性的核心指标并建立数学模型。最后通过分析两个卷烟规格在市场状态监测上的实际应用,证明这种大数据分析方法运用的可行性,以及该方法在精准性、时效性上对传统市场价格监测方法的有效补充。

基于多元正态概率模型的贝叶斯概率矩阵分解研究

传统的概率矩阵分解技术,忽视了信息消费者间的信任关系和关注关系,使其推荐性能和推荐质量不断下降,针对以上问题,提出基于多元正态概率模型的贝叶斯概率矩阵分解算法,以多元正态概率模型作为先验分布,实验中通过计算Gibbs sampling过程中迭代次数来达到数据的稀疏性。在联合概率未知和条件概率易得等情况下,引用Gibbs sampling技术进行计算,实验中引用MAE、RMSE两种方法进行误差评价。实验结果表明:在稀疏矩阵的检测中,改进的贝叶斯概率矩阵分解算法的预测精密度更加稳定,对缓解矩阵稀疏性问题更加有效。

基于朴素贝叶斯算法的钻井溢流实时预警研究

高温高压井钻井过程中溢流未及时发现将引起严重后果,现有溢流监测手段依赖井下或地面工具,存在一定的时间滞后性,为此创建了基于朴素贝叶斯算法和钻井大数据的溢流实时预警方法。在具备一定已钻井规模的区域内,分析历史井溢流发生与地质资料、随钻测录井数据的概率联系,分别建立溢流的先验概率计算模型和包含了区域、地层、岩性、扭矩、泵压、机械钻速共6项属性的条件概率计算模型,基于贝叶斯理论计算溢流的后验概率,实现实时预警功能。研究表明,基于朴素贝叶斯的溢流预警方法在可靠性、传输时效性、资料可获得性等方面存在较大优势,结合实际算例,验证了方法的可行性。

朴素贝叶斯分类算法在大学生体质分析中的应用

基于大数据对大学生体质进行分类预测,有助于大学体育治理体系的建设,朴素贝叶斯模型是一种操作简单且性能较好的机器学习分类算法。基于朴素贝叶斯分类算法,采用广州商学院2014、2015年学生体测数据及其评分结果作为源数据,构建大学生体质分类器。应用此分类器可对大学生的体质状况实现一定概率意义上正确的判断,从而可以对体质存在隐患概率比较大的学生给出主动性预警,以便大学体育对学生进行群体性的体质判断、进行个性化的有效干预,从而促进学生健康发展,提高大学生整体体质水平。分类器模型用Python编码实现,最后用与训练数据不重叠的历史体质数据检测分类器的准确率,结果显示,基于朴素贝叶斯算法的体质分类器达到了78%的正确率。