Convergence of BP Algorithm for Training MLP with Linear Output

The capability of multilayer perceptrons(MLPs)for approximating continuous functions with arbitrary accuracy has been demonstrated in the past decades.Back propagation(BP)algorithm is the most popular learning algorithm for training of MLPs.In this paper,a simple iteration formula is used to select the leaming rate for each cycle of training procedure,and a convergence result is presented for the BP algo- rithm for training MLP with a hidden layer and a linear output unit.The monotonicity of the error function is also guaranteed during the training iteration.

混沌自适应非洲秃鹫优化算法训练多层感知器

针对训练多层感知器(MLP)时,算法对初始值敏感、易陷入局部最优和收敛速度慢等问题,对新型启发式算法非洲秃鹫优化算法提出改进算法IAVOA。在初始化种群时引入Logistic混沌映射,增加种群的多样性;对最优秃鹫和次优秃鹫增加自适应权重系数,自动调整这两类秃鹫对普通秃鹫的引导作用;IAVOA用于MLP的训练,采用均方误差的平均值作为适应度函数寻找MLP的连接权重和偏差的最佳组合。选取4个不同复杂度的分类数据集,比较IAVOA算法与现有启发式算法对MLP训练后,MLP对数据分类的性能,仿真结果表明,IAVOA算法训练的MLP在数据分类准确率、全局搜索能力、收敛速度和稳定性方面均具有良好的性能。

SSA-MLP模型在岩质边坡稳定性预测中的应用

岩质边坡的力学参数量化及稳定性分析对岩质边坡灾害的防治具有重要意义。Hoek-Brown(H B)准则是一种用于确定岩体力学参数的经典方法,能反映出边坡岩体变形和位移的非线性破坏特征。在此基础上,首先,提出一种麻雀搜索算法(Sparrow Search Algorithm,SSA)改进多层感知器(Multi-Layer Perceptron,MLP)的神经网络模型,并用于边坡稳定性预测、指标敏感性分析及参数反演。其次,将收集的1085组岩质边坡的几何参数和H B准则参数等作为输入变量,极限平衡理论Bishop法求解的安全系数作为输出变量,对SSA MLP模型进行训练学习和性能评估。最后,将该模型运用于25个边坡实例,验证模型的有效性。结果显示,该模型收敛速度快、精度高,为边坡稳定性分析和参数量化提供了一种新思路。

小样本纱线质量预测的机器学习算法适用性分析

为了解决当前基于神经网络的纱线质量预测模型针对小样本预测精度偏低和预测精度不稳定的问题,建立了随机森林(RF)算法预测模型、多层感知机神经网络(MLP)算法预测模型和线性回归(LR)算法预测模型,就各算法模型在小样本情况下对不同数据特点的数据集的敏感性、不同数据维度的敏感性和不同训练样本数的敏感性进行了预测性能对比试验。用决定系数和均方根误差进行模型预测性能评估。试验结果表明:在小样本情况下,相比于MLP算法和LR算法,大多数情况下RF算法预测准确性更高、预测精度稳定性更好、对小训练样本量的适应性更好,具有较高的综合预测性能。

感知算法控制对零工工作者职业倦怠的影响:工作压力的中介作用

在数字技术和平台经济飞速发展背景下,外卖员、快递员、网约司机等零工工作的灵活性和自主性吸引了大量从业者,近年来,平台企业为提高服务质量,创造更大的商业价值,使用算法对零工工作者进行智能化控制的动机日益增强,给零工工作者带来许多影响。基于两轮问卷调查获取的313份样本数据,本研究证实了零工工作者感知算法控制、工作压力与职业倦怠之间的正向传导机制,并对情绪稳定性、工作-家庭支持的调节作用进行了检验。本研究不但丰富了感知算法控制领域的研究,还从个体特征视角和工作要求-资源视角完善了职业倦怠形成机制理论;研究结论为缓解零工工作者的职业倦怠,促进平台和零工工作者和谐共赢提供了实践启示。

基于改进非负绞杀的多层感知机软测量算法

针对复杂过程数据驱动建模所面临的多变量、强耦合、非线性等问题,提出一种将灵敏度分析与非负绞杀(NNG)结合的多层感知机(MLP)软测量算法。首先,利用基于方差分解的灵敏度分析量化各输入变量与目标变量的关联程度,并计算各个变量的总灵敏度指数;其次,将总灵敏度指数嵌入NNG算法并与MLP神经网络结合,实现输入变量选择;最后,利用Friedman数据集和某石化企业汽油辛烷值预测验证提出算法有效性。实验结果表明:提出的算法克服了NNG算法系数估计有偏的缺点,有效降低了模型复杂度,提高了模型预测精度。

基于遗传算法和随机森林的入侵检测方法研究

入侵检测系统中,待测数据通常存在特征数量多、具有冗余性和相关性的特点,导致检测准确率降低、检测时间增加。提出一种基于多层感知机的遗传算法,建立4层感知机神经网络,将网络的分类能力作为遗传算法适应度评价方法,筛选出最优特征子集,建立随机森林分类器,使用网格验证方法确定随机森林超参数值,利用选取出的特征子集进行入侵类型识别。实验结果表明,该方法在KDD99数据集上对正常和22种类别的入侵数据平均检测准确率达到92%以上,并且具有较好的实时性。

基于胰腺CT的影像组学在预测糖耐量受损人群胰岛素抵抗中的应用价值

目的:探讨基于CT胰腺平扫影像组学在预测糖耐量受损人群胰岛素抵抗(IR)中的应用价值。方法:回顾性收集首次确诊的糖耐量受损患者381例,依据稳态模型胰岛素抵抗指数(HOMA-IR)中位数,分为高IR组191例,低IR组190例;并按照8∶2的比例,随机分成训练集304例及测试集77例。勾画胰腺ROI,提取影像组学特征,通过降维和筛选后,选择最优特征。构建8种机器学习模型,并选取支持向量机(SVM)、多层感知机(MLP)、随机森林(RF)、自适应提升算法(AdaBoost)4种机器学习方法构建诊断预测模型。采用ROC曲线评价各影像组学模型的预测效能。结果:共提取1834个特征,采用Pearson相关系数分析筛选保留189个特征。通过最小绝对收缩和选择算子(LASSO)算法和5折交叉验证降维至23个主要组学特征。构建的SVM、MLP、RF、AdaBoost 4种预测模型在测试集中的AUC分别为0.723、0.731、0.807、0.681,其中RF模型的预测效果较好。结论:基于CT胰腺平扫影像组学特征构建的RF模型,对糖耐量受损人群的IR水平具有较好的预测效能。

砂带磨削工艺参数试验及试验结果预测研究

通过分析Preston方程得出影响砂带磨削材料去除率的工艺参数,并结合砂带磨削经验,在试验装置一定的情况下,确定了影响叶片加工质量和加工效率的主要4个砂带磨削工艺参数:砂带线速度、工件与砂带法向接触力、砂带磨粒粒度和工件进给速度。对4个工艺参数进行单因素试验和L18(3^(4))正交试验,得到了各个工艺参数对工件表面粗糙度和材料去除率的影响规律,确定了各工艺参数的合理范围。基于多层感知器的非线性预测算法对试验数据进行训练拟合,得到工件表面粗糙度和材料去除率的预测模型。最后根据砂带磨削验证试验和模型间性能对比,确定了模型对表面粗糙度和材料去除率的预测绝对百分比误差分别在2.30%~6.47%和1.00%~6.67%之间,并且此模型预测的计算时间更短,证明了此模型通过工艺参数来预测试验结果的鲁棒性和快速性。

空间非平稳信道条件下XL-MIMO系统联合天线选择和波束成形

由于超大规模MIMO(Extremely Large-scale MIMO,XL-MIMO)系统中空间非平稳性的存在,使得部分天线对系统性能贡献较小,从而增加了系统能耗。通过天线选择并结合波束成形从而优化系统性能。以最小化基站发射功率为目标建模,在满足信干噪比和基站激活天线数的约束下,优化基站处的波束成形矩阵。由于该优化问题是典型的混合整数非线性规划问题,传统方法使用连续近似来求解,然而获得的解都是次优解。鉴于此,首先提出采用分支定界算法(Branch and Bound,BAB)求解上述优化问题,从而保证解的最优性。然而,BAB算法在处理大规模问题,特别是基站天线数大于128时,计算复杂度往往过高。为了解决这一问题,提出了一种基于图神经网络和多层感知机(Graph Neural Network and Multilayer Perceptron,GNN+MLP)的方法,通过利用GNN在BAB树的根节点提取一次全局特征,并在每个子节点利用MLP提取局部特征,通过结合全局特征和局部特征来训练一个二进制的节点分类器,以判断当前节点是否需要进一步分支,从而加速计算的过程。仿真结果表明,在天线数等于512时,GNN+MLP比BAB减少了54.2%的计算时间。

基于深度学习的图书资源借阅推荐算法研究

图书馆借阅系统的升级与创新是提升图书馆服务质量和读者体验的关键,也是智慧图书馆建设的重要工作。本研究通过采集图书馆的借阅信息、读者信息和图书信息等数据,采用基于Transformer的双向编码(Bidirectional Encoder Representations from Transformers,BERT)模型提取图书特征,应用多层感知机(Multilayer Perceptron,MLP)深度学习方法,对读者的历史借阅记录信息进行全面的数据挖掘,分析读者的借阅偏好。结果表明,BERT-MLP模型的性能明显优于基础神经网络模型,且可以更有效地找到图书推荐数据的重要特征。本研究可为提高图书馆个性化服务水平提供理论依据。

一种结合显式特征和隐式特征的开发者混合推荐算法

现有开发者推荐算法通过对任务和开发者的显式信息进行挖掘,抽取任务和开发者的显式特征,完成针对任务的开发者推荐.然而,由于显式信息中的描述信息是主观的,往往是不精确的,现有基于显式特征的开发者推荐算法性能不够理想.众包软件开发平台除包含大量不精确的描述信息外,还包含客观的、较准确的“任务—开发者”成绩信息,可以有效地推断任务和开发者的隐式特征.考虑到隐式特征作为显式特征的补充,将有效缓解描述信息不精确的难题,提出一种结合显式特征和隐式特征的开发者混合推荐算法.首先,利用任务和开发者的平台可见信息充分提取显式特征,提出面向显式特征的因子分解机(FM)推荐模型建模任务、开发者显式特征和相应评分的映射关系.然后,利用“任务—开发者”成绩矩阵提取隐式特征,提出面向隐式特征的矩阵分解(MF)推荐模型.最后,融合面向显式特征的FM推荐模型和面向隐式特征的MF推荐模型,提出多层感知器融合算法.进一步,针对冷启动问题,首先,基于历史数据,构建多层感知器模型建模显式特征到隐式特征的映射关系.然后,针对冷启动任务或冷启动开发者,通过任务或开发者的显式特征求解相应的隐式特征.最后,基于已训练好的多层感知器融合算法预测评分.在Topcoder软件众包平台的仿真实验表明本文算法相对于对比算法在4种不同测试指标上具有明显的优势.

感知器算法在运动想象脑电模式识别中的应用

基于脑电(EEG)的脑机接口(BCI)是在人脑和计算机或其它电子设备之间建立不依赖于常规大脑信息输出通路(外周神经和肌肉组织)的全新对外信息交流和控制技术。及时有效地提取和识别与运动想象相关的脑电模式可以帮助严重瘫痪病人控制光标或辅助运动设备以替代其受损的运动功能,建立一种与外界交流沟通的新途径。论文将以EEG(C3,C4)两个通道的mu节律能量作为特征向量,用感知器算法对左右手运动想象脑电模式进行识别,实验结果表明,正确识别率可达87.86%。由于感知器算法计算简单,故可以认为,感知器算法在脑机接口的应用中有较高的实用价值。

人工神经网络遥感影像分类模型及其与知识集成方法研究

以多层感知器 (MLP)为例 ,探讨了地学知识与ANN融合进行遥感影像分类的方法。首先对MLP网络结构、学习算法及其改进进行分析 ;然后总结了MLP进行遥感影像分类的一般方法和存在的缺陷 ;发展了基于知识的MLP神经网络遥感影像分类模型 ,并具体利用基于规则的MLP方法进行了遥感土地覆盖分类的实验 ,把获得的结果与传统统计方法和一般ANN方法进行了综合比较 ,获得了有意义的结果。

基于人工神经网络的参数灵敏度分析模型

通过人工神经网络算法与参数灵敏度分析的结合,找到了一种新的工程系统功能模拟和变化分析方法。神经网络可以有效地解决复杂、非线性系统的功能模拟问题,其传递函数的可微性为参数灵敏度矩阵的求解提供了保证,从而方便寻找系统输入属性与输出属性之间的影响因子。同时,该模型具有良好的扩展性,可以更加全面地考虑系统影响因素。经实例仿真分析表明:该方法在工程分析方面,能够快速找到属性之间的关联程度,得到准确、稳定的分析结果,满足工程分析需求。

感知器学习算法研究

介绍感知器学习算法及其变种,给出各种感知器算法的伪代码,指出各种算法的优点。给出感知器算法在线性可分和线性不可分情况下的误差界定理,讨论各种感知器学习算法的误差界理论,给出各种算法的误差界。介绍感知器学习算法在在线优化场景、强化学习场景和赌博机算法中的应用,并对未解决的问题进行讨论。

集成学习算法的研究与应用

集成学习算法的思想就是集成多个学习器,并组合它们的预测结果,以形成最终的结论。典型的学习模型组合方法有投票法,专家混合方法,堆叠泛化法与级联法,但这些方法的性能都有待进一步提高。提出了一种新颖的集成学习算法--增强的集成学习算法(ReinforcedEnsemble)。ReinforcedEnsemble集成算法由两大部分组成:ReinforcedEnsemble特征提取算法与ReinforcedEnsemble基分类器。通过实验,将ReinforcedEnsemble算法与其他集成学习算法进行了性能比较。实验结果表明,所提出的算法在多项指标上均达到最优。

关于单体模糊神经网络感知机收敛定理的讨论

考虑单体模糊神经网络模型 ,讨论了单体模糊神经网络的感知机收敛定理与传统神经网络感知机收敛定理的关系 ,指出了在证明单体模糊神经网络的感知机收敛定理时存在的问题 ,提出了两种修改方案 ,即给出了两个改进的感知机收敛定理 。

一种支持向量预提取方法及应用

提出了一种支持向量预提取方法,对核感知机误分次数与决策边界的关系作了分析,引入了核函数和误分界,利用结构简单的感知机算法构建支持向量预提取模块,压缩样本规模,然后将处理结果输入支持向量机进行再处理,在精度和处理速度方面取得了较好的效果,仿真实验验证了这一方法的可行性。

基于小波描述子和神经网络的形状识别

提出一种把小波描述子和神经网络相结合的形状识别方法。通过小波描述子提取待识别物体的形状特征,所提取的特征值不受物体位移、缩放和旋转的影响,接着用多层分类器网络对物体的形状进行识别分类,并采用BP算法对神经网络进行学习和训练。最后得出令人满意的实验结果。