因素空间理论下的因果概率推理分类算法研究

机器学习方法与因果推理结合能极大地提升方法性能。为探究因果概率正逆向推理的分类效果,基于因素空间理论下的因素概率论,利用条件概率,研究正向因素概率推理原理及模型并提出正向因果概率推理分类法(forward causal probabilistic inference classification algorithm,FCPIC)和简化条件的可取度分类法;研究逆向因素概率推理原理及模型并结合贝叶斯网络提出逆向因果概率推理分类法(reverse causal probabilistic inference classification algorithm,RCPIC)。将3个分类算法与KNN(K-Nearest neighbor)和SVM(support vector machine)算法进行实例对比验证,研究结果表明:FCPIC算法、可取度分类算法和RCPIC算法简单有效、具有可行性和实用性,且可取度分类法和RCPIC算法性能优于SVM和KNN算法,FCPIC算法对实际数据预测中必要类有查全需求的情况更优。研究结论丰富了因素空间的理论研究和应用价值。

基于锥切割理论的系统故障状态优化调整方法研究

为了在系统故障演化过程中控制系统故障状态,提出了一种系统故障状态优化调整方法。其主要根据锥切割理论,以及非优理论和Hat投影建立方法的数学模型,设置了分析系统并给出了分析步骤。首先论述了相关理论的基本思想;其次研究了系统故障状态优化调整的基础和关键,描述了需要研究的问题;再次建立了系统故障状态优化调整方法模型及分析步骤;最后通过实例展示了方法流程,得到了定量结果和优化调整最优方案。结果表明:系统故障状态的优化调整可通过影响因素实现;通过比较原系统故障状态和新系统故障状态与目标系统故障状态的内积,基于非优理论选择需要实施的优化调整措施。当措施是优化调整措施时计算继续;是非优化调整措施时计算停止,这时得到的按照实施顺序组成的措施集合即为优化调整最优方案。最后论述了方法的先进性和有待研究的问题。

因素空间理论——机制主义人工智能理论的数学基础

机制主义人工智能理论是基于智能的生长机制而把结构主义、功能主义和行为主义这三大人工智能流派有机统一起来并使基础意识、情感、理智成为三位一体的高等人工智能理论。因素空间是机制主义人工智能理论的数学基础,是现有模糊集、粗糙集和形式背景理论的进一步提升,它为信息描述提供了一个普适性的坐标框架,把数据变成可视的样本点,形成母体背景分布,压缩为背景基,由此进行概念自动生成,因果关联分析,以及建立在其上的学习、预测、识别、控制、评价和决策等一系列数学操作活动。本文将着重介绍其中的核心内容,将具体的形式信息(即语法信息)与效用信息(即语用信息)关联起来,提升为抽象的语义信息,为机制主义人工智能的信息转化第一定律提供一个简明的数学架构。本文以"九宫棋"为例,介绍如何用因素思维实现目标因素与场景因素的对接和搜索,为信息转化的第二定律从数学上展开探索性的思考;还结合因素空间及有关学科的历史来进行解说,以便帮助读者对因素空间理论有一个较为全面的认识。

基于因素空间理论的扫类连环多分类算法

为解决多分类问题,基于因素空间理论中因素显隐的思想,在扫类连环分类算法基础上,定义类别的合并,提出因素显隐的合并扫类连环分类方法,给出算法步骤,并用数值算例进行分析;定义类别的两两组合,提出因素显隐的两两扫类连环分类方法,给出算法步骤,并用数值算例进行分析。提出采用因素显隐的差额绝对值方法解决两个算法执行过程中出现的决策类别分不开的问题;对UCI数据集中3个实例与支持向量机作了算法对比分析,研究结果表明:提出的合并扫类连环分类方法、两两扫类连环分类方法实现了因素显隐,分类算法的精确度优于支持向量机。多分类学习的因素显隐研究结论拓展了因素空间的理论及应用研究。

互学习神经网络训练方法研究

由于BP神经网络具有表达能力强,模型简单等特点,经过近30年的发展,在理论和应用研究上都取得了巨大的进步,然而容易陷入局部最优和泛化能力差等问题却限制了神经网络的发展.同时,大数据的出现和深度学习算法的提出与应用,为神经网络向更类脑的方向发展提出了新的要求.针对上述问题,该文从模拟生物双向认知能力的角度出发,构造了一种新的神经网络模型——互学习神经网络模型,该模型在标准正向神经网络的基础上,引入了与其具有结构对称性的负向神经网络,利用正、负向神经网络分别模拟生物的顺向和逆向认知过程,并在此基础上提出了一种新的神经网络训练方法——互学习神经网络训练方法,该方法通过网络连接权值转置共享,正、负双向交替训练的方式对互学习神经网络模型进行训练,从而实现输入数据和输出标签之间的相互学习,使网络具有双向认知能力.实验表明,互学习神经网络训练方法可以同时训练正、负两个神经网络,并使网络收敛.同时,在此基础上提出了"互学习预训练+标准正向训练"的两阶段学习策略和相应的转换学习方法,这种转换学习方法起到了和"无监督预训练+监督微调"相同的效果,能够使网络训练效果更好,是一种快速、稳定、泛化能力强的新型神经网络学习方法.

融合关系特征的半监督图像分类方法研究

半监督深度学习模型具有泛化能力强,所需样本数较少等特点,经过10多年的发展,在理论和实际应用方面都取得了巨大的进步,然而建模样本内部“隐含”关系时模型缺乏解释性以及构造无监督正则化项难度较大等问题限制了半监督深度学习的进一步发展。针对上述问题,从丰富样本特征表示的角度出发,构造了一种新的半监督图像分类模型—融合关系特征的半监督分类模型(semi-supervised classification model fused with relational features,SCUTTLE),该模型在卷积神经网络模型(convolutional neural networks,CNN)基础上引入了图卷积神经网络(graph convolutional networks,GCN),尝试通过GCN模型来提取CNN模型各层的低、高级特征间的关系,使得融合模型不仅具有特征提取能力,而且具有关系表示能力。通过对SCUTTLE模型泛化性能进行分析,进一步说明了该模型在解决半监督相关问题时的有效性。数值实验结果表明,三层CNN与一层GCN的融合模型在CIFAR10、CIFAR100、SVHN 3种数据集上与CNN监督学习模型的精度相比均可提升5%~6%的精度值,在最先进的ResNet、DenseNet、WRN(wide residual networks)与GCN的融合模型上同样证明了本文所提模型的有效性。

基于MCMC算法的露天矿典型设备故障预测方法研究

大型设备是露天矿开采工艺系统的重要组成部分,设备的有效利用直接决定着露天矿的生产效率。为解决露天矿典型设备的故障预测问题,降低设备的故障率和维修成本,提出了一种基于马尔科夫蒙特卡罗方法的露天矿典型设备故障发生时间预测算法,该算法利用马尔科夫蒙特卡罗方法(MCMC)对设备故障数据进行抽样估计,获得设备故障发生次数所对应的齐次泊松过程的参数λ,然后根据浴盆曲线性质,不断对λ进行修正和拟合,确定设备当前状态下故障发生次数的泊松分布参数的值λc,再利用齐次泊松过程中随机点的点间间距是相互独立的指数分布随机变量序列的性质,将λc的倒数作为指数分布参数的估计值,确定设备故障发生时间间隔所服从的指数分布,进而利用指数分布预测设备故障发生时间。研究结果表明:设备故障发生次数所服从的泊松分布参数随时间动态变化;设备故障维修时长随设备使用年限的增长而逐渐变长(设备发生中型及以上故障次数增多);所提出的算法经修正尺度简缩因子验证,具有合理性和有效性,能够用于对露天矿典型设备的故障预测。数值模拟结果显示:在外部环境不发生明显变化时,该算法能够精确、有效的预测露天矿典型设备的故障发生时间和故障类别,不仅能为企业科学制定设备预防性维修计划提供依据,而且能为智慧露天矿建设提供有效的基础决策数据。

因素空间理论下基点分类算法研究

目前,基于因素空间理论的背景基提取算法计算过程复杂,初始化必须依赖各因素极值,基点数量提取冗余等原因,未能在应用中取得很好效果。为此,结合内点判别法和知识可继承、可扩展的思想,提出一种计算简单、初始化独立、基点数量小的改进的背景基提取算法。然后,利用改进的背景基提取算法构造出一种全新的数据分类算法−基点分类算法,基点分类算法以提取每一类样本的背景基为预测模型,再通过新定义的λ-背景基,优化预测模型。数值实验表明:基点分类算法原理简单、构造难度小、分类模型泛化能力强,预测能力准确率高,同时严格的模型限定区域又能为识别新类别提供新方法。

知识图谱的拓展及其智能拓展库

知识图谱发展的终极目标是要把数据库构建成为人脑知识生长的同构体,它不是被动的僵化储存所,而是主动生长的拓展体。本文提出了智能拓展库的构想,它是知识图谱的升级版,也是一个多层次的嵌入式图数据库系统。每个概念节点都是一个窗口,打开窗口即生成一个子库。所有概念都按层次编码,可快捷查询。一个概念节点称为花苞,如果该概念的多个因素都以它为定义域,则打开花苞的窗口,就是一张因果分析表,用因素空间理论可以回答智能判断、推理、评价、决策、规划等一系列问题,使数据库成为智能孵化生长的活体。本文建立的智能拓展库语言有可能用于机制主义通用人工智能理论,并开展智能孵化的全民工程。

基于自适应图的半监督图像分类方法

针对半监督分类模型存在的模型复杂度高、构造正则化项难度大的问题,从丰富样本特征表示的角度出发,构造了自适应图结构的融合网络模型(AGSH)。该模型在卷积神经网络模型(CNN)基础上引入了自适应图卷积神经网络(AGCN)提取CNN模型特征间的关系。对AGSH模型泛化性能的分析证明了该模型在解决半监督相关问题时的有效性。实验结果表明:融合模型在五种图像数据集上的分类精度相比于单一CNN模型分类精度均有提升。研究结论为解决小样本分类问题的建模方法提供了参考。

基于因素空间理论的直觉模糊概念外延构建及其在决策中的应用

在因素空间理论基础上,提出直觉模糊概念,从原概念及其对立概念的表现外延出发,构造了直觉模糊概念外延的两种逼近,并在此基础上提出了基于反馈外延双层包络的DFE决策方法,最后,给出操作步骤并通过实例对上述理论方法进行了应用。

因素空间中改进的因素分析法

为进一步提高因素空间中因素分析法的运行速度和对样本信息的利用,对文献[7]给出的因素分析算法进行了改进.因素分析法在因素晋升时采用逐列推进方式,而逐列推进产生的决定域要小于按逐类推进产生的决定域,而且决定域的删除是降低算法的运算量、提高算法运行速度的关键.因此,在继承原算法优点的基础上,将逐列推进改成逐类推进,这种改进不但降低了算法的计算量,而且提高了样本信息的利用率.测试结果表明,改进效果明显,在测试准确率和运行速度均优于原算法.

因素分析法的推理模型

为解决由于样本的不完备性导致的因素分析法无法识别的问题,分别定义了因素的基础矩阵、相关性分析表、完整度、属性间的相似度等概念,提出了基于因素分析法的推理模型.实例验证结果表明:模型不但可以解决不识别问题,而且辨识率较高,与因素分析法的结合构成很好的数据挖掘方法.

基于遗传算法的神经网络集成方法

针对单一神经网络学习器易出现过拟合现象、网络泛化能力差等问题,提出一种基于遗传算法的神经网络集成方法.该方法通过对数据的预处理,将遗传算法作为集成学习的结合策略,在保证个体学习器分类准确率的同时,充分吸收个体学习器的多样性,利用遗传操作与物种入侵的方式对神经网络集成学习器进行迭代进化,得到具有全局最优的神经网络集成学习器.研究结果表明:使用该神经网络个体学习器集成方法训练出来的集成学习器具有良好的全局性,能够有效的避免网络出现的过拟合现象,提高网络的分类准确率,是一种稳定、泛化能力较强的神经网络集成学习器.

因素分析法的样本培育

为解决由训练样本局限性导致因素分析法中测试样本错误识别和无法识别的问题,进一步提高因素库对样本信息的利用,采用样本培育的方法,对离散决策表的修炼培育作了具体表述:利用初始训练得到的规则集对新增样本进行测试,加入反馈机制,对训练集进行多重训练,直至初始测试准确率不变.研究结果表明:样本培育方法能及时地用新增训练数据改写推理规则,更好地实现样本信息的利用价值.

因素空间理论的决策树C4.5算法改进

针对决策树C4.5算法在处理数值型因素时比较复杂和分类精度不高等问题,在数据预处理过程中采用云变换进行连续因素离散化,给出了连续属性离散化的具体算法.利用因素空间理论给出一种构造决策树算法的新的启发式函数—分辨度,分析了算法的时间复杂度,证明其为多项式算法.研究结果表明:改进算法的测试准确率和效率均优于决策树算法.

融合振幅随机补偿与步长演变机制的改进原子搜索优化算法

针对原子优化算法寻优精度弱且易陷入局部极值的问题,本文从种群多样性、参数适应性和位置动态性角度提出一种融合混沌优化、振幅随机补偿和步长演变机制改进的原子搜索优化算法(improved atom search optimization,IASO),并将其成功应用于分类任务。首先,引入帐篷映射(Tent混沌)增强原子种群在搜索空间中的分布均匀性;其次,通过构建振幅函数对算法参数进行随机扰动并加入步长演变因子更新原子位置,以增强算法全局性和收敛性;最后,再将改进算法应用于误差反馈神经网络(BP神经网络)参数优化。通过与6种元启发式算法在20个基准测试函数下的数值实验对比表明:IASO不仅在求解多维基准函数上具有好的寻优性能,且在对BP神经网络参数进行优化时相较于2种对比算法具有更高的分类精度。

基于特征融合及自适应模型更新的相关滤波目标跟踪算法

针对单一特征目标跟踪算法因背景干扰、目标遮挡造成的跟踪失败问题,以及跟踪过程中每帧进行模型更新容易造成错误更新和实时性差的问题,提出了一种基于特征融合及自适应模型更新策略的相关滤波目标跟踪算法-多特征自适应相关滤波目标跟踪算法。该算法在特征提取阶段将边缘特征及HOG特征加权融合作为目标特征,加强对边缘特征的学习;在模型更新阶段通过计算预测区域与真实区域的奇异值特征向量相似度,并结合设定的阈值判断是否需要进行模型更新,通过自适应更新的方式减少模型的更新次数。在标准测试视频集下验证所提算法,并与两种经典相关滤波算法进行比较,结果表明该算法能够较好地适应背景干扰及目标遮挡问题,跟踪目标的平均中心误差减少了9.05像素,平均距离精度提高12.2%,平均重叠率提高4.53%。

AutoLSTM下的降水量预测方法

为解决利用长短期记忆网络(LSTM)进行降水量预测时所存在的网络超参数调节依赖人工经验的问题,采用全局优化思想,提出一种基于遗传算法的LSTM超参数自动优化模型-AutoLSTM.利用遗传算法全局寻优能力强的特点,在LSTM超参数空间中自动选择最佳的超参数组合,进而确定预测效果好、泛化能力强的LSTM降水量预测模型.研究结果表明:AutoLSTM在降水量预测中具有较高的准确性,并兼具了自动化、简便、易于推广等特点,是一种良好的时间序列数据预测自动优化模型.研究结论有助于完善降水量预测方法体系.

因素空间与形式概念分析及粗糙集的比较

为将因素空间理论与形式概念分析及粗糙集理论进行比较,采用了对比分析的方法.首先,围绕数据分析、知识表示和基于广义数据的规则提取等方面,详尽地介绍了因素分析的三个重要算法;其次,将因素分析法与形式概念分析及粗糙集方法进行了系统的比较.研究结果表明:因素空间理论作为知识表示的数学理论,要优于形式概念分析及粗糙集,是数据科学的重要理论基础.