基于BIC准则和Gibbs采样的有限混合模型无监督学习算法

针对有限混合模型无监督学习算法分布元个数未知,本文提出了一种基于BIC准则和Gibbs采样的无监督学习算法,通过Gibbs采样算法对混合模型的参数进行估计,进一步计算观测数据的Bayes信息准则(BIC)指标,确定混合分布元个数.仿真实验以高斯混合分布为例,分别利用具有不同个数的分布模型拟合观测数据,分析表明,该算法能够很好地学习混合高斯分布参数及个数.

基于Gibbs随机场的有限混合模型改进与脑部MR图像的稳健分割

有限混合 (FM )模型已经广泛地应用于图像分割 ,但是由于没有考虑空间信息 ,导致分割的结果对噪声很敏感 ,分割出的区域存在很多杂散的孤立点。本文在Gibbs随机场理论的指导下 ,将空间信息引入FM模型 ,提出了改进的脑部MR图像分割算法。此外 ,由树形K平均聚类来估计初始参数 ,实现了全自动的图像分割。本研究进行了仿真MR图像和真实MR图像的分割实验 ,定量的数据分析表明 ,我们所提的改进算法对噪声不敏感 ,可以更精确地将脑部MR图像标记为灰质。

修正Gibbs采样的有限混合模型无监督学习算法

针对传统有限混合模型无监督学习算法不能处理参数维数变化的问题,提出了一种基于修正Gibbs采样的无监督学习算法.该算法的关键是,在每一次完全采样之后引入分布元的合并和剔除技术,即将利用均值、协方差矩阵差值的2范数作为合并的判断准则,最小且小于阈值的分布元权重作为剔除规则.仿真实验表明,所提算法对于参数初值的选择是不敏感的,对于分布元个数的先验信息要求得更少,它不仅可以处理维数变化问题,而且不必计算跳变概率,同时能够很好地估计出分布元个数及其参数.

我国省域人口结构对环境污染影响的异质性研究——基于有限混合模型

环境污染会受到人口结构变迁的影响,且具有明显的空间异质性特征。然而既有相关研究大多对样本进行了主观空间分类,容易造成实证结果的偏差。为此,本文引入带有伴随变量的有限混合模型,对2000—2020年我国省域面板数据进行客观分类,进而讨论人口结构对环境污染影响的异质性特征。研究结果显示:第一,人口结构对环境污染的影响可以利用包含2条路径的有限混合模型进行异质性特征的细致刻画;第二,引入技术创新和产业结构作为伴随变量,发现二者均能够有效缓解老龄化对环境污染的负面影响,并增强人力资本、城镇化的减污作用。第三,22个省份在样本期内发生了影响路径的转换,并且技术创新对路径转换的决定作用明显强于产业结构升级的作用。本文为人口结构变迁背景下我国的环境污染治理提供了有益借鉴。

国有部门员工被过高支付还是拥有特殊人力资本——来自有限混合模型的估计结果

本文使用有限混合模型(FMM),对国有和非国有部门的工资决定模式和工资差异重新进行估计。FMM将劳动力划归为两个质异性群体,一类劳动力拥有在国有部门工作的能力比较优势,这种比较优势在非国有部门无法发挥;另一类劳动力在两个部门中拥有相近的技能水平,技能的发挥在部门转换中不受影响。劳动力的异质性使其工资获取模式也表现出异质性,第一类劳动力在两个部门拥有相近的要素报酬率,而第二类劳动力的要素报酬率在两个部门存在显著差异。进一步的工资差异研究表明,国有部门员工转换到非国有部门时,工资平均会下降0.3788(对数值),其中,第一类型员工的工资平均下降0.0913,第二类型员工的工资平均下降0.2876。这意味着国有部门确实支付了相对较高的工资,但其中的0.0913是对员工特殊人力资本的补偿,另外0.2876是来自报酬决定机制差别,这部分工资差异既可能包含职业间合理的工资差异,也可能包含职业内由于所有制分割造成的不合理的工资差异。

利用有限混合模型的高效网络拓扑推断算法

针对现有高效网络拓扑推断算法的性能对设定门限值非常敏感的问题,提出了利用有限混合模型的高效层析成像网络拓扑推断算法.该算法首先从叶子节点集合中任选一个节点,测量该节点与其余节点的相关性集合,然后对测量数据建立有限混合模型,对叶子节点进行粗略分类,推断出相应的内部节点;接下来对粗略分类结果中的每一个节点类重复上述过程,如此迭代直至推断出所有内部节点为止.试验结果表明,该算法可达到现有算法取最优门限时的拓扑推断精度,且该算法与现有的高效层析成像拓扑推断算法相比,只需测量更少的节点相关性数据.

基于多项式有限混合模型的Slope One算法改进

针对多项式有限混合模型参数估计过程中存在的初始化依赖、参数易收敛到边界值以及容易陷入局部最优等问题,引入了最小信息长度准则,优化多项式有限混合模型的参数估计过程。在此基础上,采用基于多项式有限混合模型的聚类算法对用户评分行为进行聚类,利用模型求解得到的聚类归属概率对Slope One算法实施改进。实验结果表明:应用最小信息长度准则对多项式有限混合模型进行优化后,聚类效果明显提高;同时,相比于基于用户聚类的Slope One推荐算法,改进算法具有明显的改进效果。

基于Dirichlet分布有限混合模型的Bayes聚类

本文基于Dirichlet分布有限混合模型,提出了一种用于成分数据的Bayes聚类方法.采用EM算法获得模型参数的估计,用BIC准则确定类数,用类似于Bayes判别的方法对各观测分类.推导了计算公式,编写出程序.模拟研究结果表明,本文提出的方法有较好的聚类效果.

有限混合模型在文本分类中的应用研究

通过对覆盖算法(CA)结果的分析,将覆盖某一类样本的每个覆盖看成一个Gauss分布,利用有限混合模型的极大似然拟合,用期望最大化算法(EM算法)来对覆盖算法进行优化处理。算法的迭代过程,就是不断调整各覆盖的中心、"半径"以及其线性组合系数,逐渐趋向最优解的过程。目的是为了提高覆盖算法的精度。应用于文本分类的实验证明,通过EM方法对均值、方差和线性组合系数进行迭代计算,将所求得的参数用于测试时所得到的平均精度都高于原覆盖算法的最高分类精度以及SVM处理同类数据的分类精度。

基于增量式有限混合模型的多目标状态极大似然估计

提出了增量式有限混合模型来提取概率假设密度滤波器序贯蒙特卡罗实现方式中的多目标状态.该模型以增量方式构建,其混合分量采用逐个方式插入其中.采用极大似然准则来估计多目标状态.对于给定分量数目的混合模型,应用期望极大化算法来获得参数的极大似然解.在新分量插入混合模型时,保持已有混合模型的参数不变,仍旧采用极大似然准则从候选新分量集合中选择新插入分量.新分量插入混合步和期望极大化算法拟合混合参数步交替应用直到混合分量数目达到概率假设密度滤波器的目标数目估计值.利用k-d树生成插入到混合模型的新分量候选集合.增量式有限混合模型统一了分量数目变化趋势和粒子集合似然函数的变化趋势,有助于一步一步地搜寻混合模型的极大似然解.仿真结果表明,基于增量式有限混合模型的概率假设密度滤波器状态提取算法在多目标跟踪的应用中优于已有的状态提取算法.

有限混合模型有限制Log极大似然比统计量的极限分布(英文)

有限混合模型的Ｌｏｇ极大似然比统计量极限分布不是平常Ｘ２分布，１９８５年已为Ｈａｒｔｉｇａｎ指出．在这篇文章我们限制了混合比大于一正数下，讨论了两个含单个未知参数混合模型的Ｌｏｇ极大似然比统计量的极限分布，它是零与ｘ２分布的混合分布．

有限混合模型的参数估计

利用EM算法对有限混合模型进行了参数估计,并结合具体实例进行了分析.最后利用EM算法对有限混合模型进行了模拟计算,结果充分显示出EM算法具有运算简单、收敛速度快的特点.

基于有限混合模型的脑MR图像分割算法

MR图像中常含有偏移场以及噪声现象,传统的FM模型无法得到正确的分类。本文在FM目标函数中加入偏移场估计和噪声去除,完善其分类效果,使分类结果较好地克服偏移场和噪声影响。实验表明,本文算法在得到较准确的分类结果的同时还能很好地估计偏移场。

基于隐变量的有限混合模型对有序数据的Bayes聚类分析

本文基于隐变量的有限混合模型,提出了一种用于有序数据的Bayes聚类方法.我们采用EM算法获得模型参数的估计,用BIC准则确定类数,用类似于Bayes判别的方法对各观测分类.模拟研究结果表明。本文提出的方法有较好的聚类效果,对于中等规模的数据集,计算量是可以接受的.

高维数据中有限混合模型特征选择的应用研究

在计算速度飞速发展的今天,统计学家们已经开始研究超高维和复杂的数据,尤其在生物信息学方面更显突出.相应的统计问题表现在观测数据中有很多的特征来自不同的子总体.在每个子总体中选择数量恰当的特征(变量)是得到好的模型预测的关键.本文基于稀疏正态线性模型(FMSL)理论,对基因转录组数据进行了分析,筛选出重要的特征变量.

1986年—2009年中国城镇地区的收入阶层划分与收入不平等——基于有限混合模型的测算

基于1986年—2009年中国城镇住户调查详尽的微观数据,本文使用FMM模型将历年样本中的家庭内生聚类为高、中、低三类收入阶层,并利用MLD指数的计算及分解方法分析了历年各个收入阶层之内以及不同收入阶层之间的收入不平等程度,及其对总体收入不平等程度的贡献大小。研究的主要结论包括:第一,尽管总体呈下降趋势,但低收入阶层占比仍然较大超过了50%,而且高收入阶层收入水平的上涨速度要远高于中、低收入阶层;第二,不同地区的收入阶层分布存在显著差异;第三,中国城镇地区的整体收入不平等程度表现出三阶段特征,低收入阶层的收入不平等程度一直都高于其他收入阶层;第四,组间收入不平等是目前中国城镇地区总体收入不平等的主要影响因素,低收入阶层的组内收入不平等贡献率始终要远高于其他收入阶层。如果上述趋势延续至今,那么调节收入分配的政策仍然十分必要,并尤其应当提高低收入阶层的收入水平以缓解中国的收入不平等问题。

有限混合模型在肝硬化住院患者医疗费用研究中的应用

目的针对医疗费用的偏峰、厚尾分布特征,探讨有限混合模型(finite mixture model,FMM)在识别肝硬化患者住院费用异质性、提高医疗费用预测精度等方面的可行性,为准确估计和预测医疗费用提供统计方法学支持。方法介绍FMM原理,并将其应用于广州市第八人民医院肝硬化住院患者医疗费用研究,识别群体异质性,分析异质性来源,并与单成分广义线性模型的预测效果进行比较。结果对2 760名肝硬化患者住院费用进行FMM分析,最优模型为包括低、中等和高费用3个成分,拟合优度与预测效果均高于广义线性模型,异质性来源分析进一步验证了FMM识别各类患者的能力。结论 FMM能够有效地识别医疗费用的异质性,解决医疗费用偏峰和厚尾分布问题,提高医疗费用预测精度。

基于有限混合模型的高速公路事故影响因素分析

深入理解高速公路的事故影响因素是进行安全改善的基础。单车(SV)和多车(MV)事故的发生机理不同,2类事故在空间分布上也存在显著差异,需要分别分析道路几何设计、交通运行和2类事故数的关系。数据异质性导致不同路段上同一变量对事故数的影响不一致的情况存在,仅通过事故分类难以解决,有限混合建模技术通过分组且允许各组数据服从不同分布来捕获数据的异质性。事故数据建模表明,单车、多车事故的影响因素有显著差别,后者的影响因素更复杂。将研究路段分为2组的有限混合模型最优,单车事故模型中划分的2组路段在纵坡变化值上有显著差异,纵坡变化值较小的1组中,随着中央分隔带变窄和大车比例减小,事故数增加;另1组中2个变量对事故数则无显著影响。多车事故模型中划分的2组路段在缓和曲线长度上有显著差异,缓和曲线较短的1组中,随着平曲线半径减小和竖曲线比例增大,事故数增加;另1组中随着变量的变化事故数减少。

有限混合模型应用于慢乙肝门诊医疗费用的类蒙特卡罗实验及实证

目的针对医疗费用的极度正偏峰、厚尾等分布特征,探讨有限混合模型(finite mixture model,FMM)识别慢乙肝患者门诊医疗费用异质性的能力和预测精度,为医疗费用的评价和预测提供方法学支持。方法以广州市第八人民医院2012年慢乙肝门诊医疗费用为全样本,通过类蒙特卡罗(Quasi-Monte Carlo)实验探索FMM拟合慢乙肝门诊医疗费用数据的适用性,进而将实验中的最优模型应用于广州市第八人民医院2012年和2015年慢乙肝门诊医疗费用实例数据进行验证,并与单成分广义线性模型(generalized linear model,GLM)的预测效果进行比较。结果 Weibull分布的FMM虽有较大的低估偏倚,但在个体预测的准确度和拟合度上均优于Lognormal和Gamma分布。实例验证显示2012年医疗费用模型中BIC最低的为FMM-3,将患者分为低、中和高费用3个成分;2015年医疗费用模型中FMM-2最优,将患者分为低、高费用2个成分,异质性来源主要与治疗特征有关。结论 Weibull分布的FMM可较好地识别广州市慢乙肝门诊医疗费用的异质性,有较强的个体费用预测能力,根据异质性的大小,通过调整成分数更好地拟合数据,具有一定灵活性。

三参数Weibull分布有限混合模型及应用

为展示有限混合模型的原理及应用,文章利用调查的大兴安岭地区混交林直径分布这类频数数据或分组数据,采用三参数Weibull分布的混合,拟合混交林直径的分布特征。并与传统方法进行比较,结果表明,FMM拟合效果优于传统模型,特别是对于数据是多峰、有偏和结尾等数据类型。