在现实世界的复杂多智能体环境中,任务的完成通常需要多个智能体之间的相互协作,这促使各种多智能体强化学习方法不断涌现.动作价值函数估计偏差是单智能体强化学习领域中备受关注的一个重要问题,而在多智能体环境中却鲜有研究.针对这...在现实世界的复杂多智能体环境中,任务的完成通常需要多个智能体之间的相互协作,这促使各种多智能体强化学习方法不断涌现.动作价值函数估计偏差是单智能体强化学习领域中备受关注的一个重要问题,而在多智能体环境中却鲜有研究.针对这一问题,分别从理论和实验上证明了多智能体深度确定性策略梯度方法存在价值函数被高估.提出基于双评论家的多智能体深度确定性策略梯度(multiagent deep deterministic policy gradient method based on double critics,MADDPG-DC)方法,通过在双评论家网络上的最小值操作来避免价值被高估,进一步促进智能体学得最优的策略.此外,延迟行动者网络更新,保证行动者网络策略更新的效率和稳定性,提高策略学习和更新的质量.在多智能体粒子环境和交通信号控制环境上的实验结果证明了所提方法的可行性和优越性.展开更多
孪生支持向量回归机(Twin Support Vector Regression,TSVR or TWSVR)是一种基于统计学习理论的回归算法,它以结构风险最小化原理为理论基础,通过适当地选择函数子集及该子集中的判别函数,使学习机的实际风险达到最小,保证了在有限训练...孪生支持向量回归机(Twin Support Vector Regression,TSVR or TWSVR)是一种基于统计学习理论的回归算法,它以结构风险最小化原理为理论基础,通过适当地选择函数子集及该子集中的判别函数,使学习机的实际风险达到最小,保证了在有限训练样本上得到的小误差分类器对独立测试集的测试误差仍然较小.孪生支持向量回归机通过将线性不可分样本映射到高维特征空间,使得映射后的样本在该高维特征空间内线性可分,保证了其具有较好的泛化性能.孪生支持向量回归机的算法思想基于孪生支持向量机(Twin Support Vector Machine,TWSVM),几何意义是使所有样本点尽可能地处于两条回归超平面的上(下)不敏感边界之间,最终的回归结果由两个超平面的回归值取平均得到.孪生支持向量回归机需求解两个规模较小的二次规划问题(Quadratic Programming Problems,QPPs)便可得到两条具有较小拟合误差的回归超平面,训练时间和拟合精度都高于传统的支持向量回归机(Support Vector Regression,SVR),且其QPPs的对偶问题存在全局最优解,避免了容易陷入局部最优的问题,故孪生支持向量回归机已成为机器学习的热门领域之一.但孪生支持向量回归机作为机器学习领域的一个较新的理论,其数学模型与算法思想都尚不成熟,在泛化性能、求解速度、矩阵稀疏性、参数选取、对偶问题等方面仍存在进一步改进的空间.本文首先给出了两种孪生支持向量回归机的数学模型与几何意义,然后将孪生支持向量回归机的几个常见的改进策略归纳如下.(1)加权孪生支持向量回归机由于孪生支持向量回归机中每个训练样本受到的惩罚是相同的,但每个样本对超平面的影响不同,尤其是噪声和离群值会使算法性能降低,并且在不同位置的训练样本应给予不同的处罚更为合理,因此考虑在孪生支持向量回归机的每个QPP中引入一个加权系数,给予不同位置的训练样本不同程度的惩罚.(2)拉格朗日孪生支持向量回归机由于孪生支持向量回归机的对偶问题中半正定矩阵的逆矩阵可能不存在,若存在,则对偶问题不是严格凸函数,可能存在多个解,因此考虑使用松弛变量的2范数代替原有的1范数,使对偶问题更简单,易于求解.(3)最小二乘孪生支持向量回归机由于孪生支持向量回归机的求解需要在对偶空间进行,得到的解为近似解,考虑通过最小二乘法将原问题的不等式约束转化为等式约束,使得原问题可以在原空间内求解,在很大程度上降低计算时间,提高泛化性能,且不损失精度.(4)v-孪生支持向量回归机通过引入一组参数v1与v2自动调节ε1与ε2的值以控制训练样本的特定部分对两条回归超平面所能造成的最大误差,从而自适应给定数据的结构,提高孪生支持向量回归机的拟合精度.(5)ε-孪生支持向量回归机在孪生支持向量回归机的原问题中引入正则化项以达到结构风险最小化的目的,使对偶问题转化为稳定的正定二次规划问题,并通过SOR求解对偶问题,加快训练速度.(6)孪生参数不敏感支持向量回归机克服参数的选取对孪生支持向量回归机超平面构造的影响,使算法非常适合于存在异方差噪声数据的数据集,训练速度和泛化性能也有提升.本文同时对以上算法的数学模型、改进算法及应用进行了系统地分析与总结,给出了以上算法在9个UCI基准数据集上的回归性能与计算时间,并在模型结构层面逐一分析每个算法的表现与耗时的根本原因.对于其他不便于归类的孪生支持向量回归机改进算法及应用,本文也对其作逐一总结.整体来看,最小二乘孪生支持向量回归机在性能和计算时间方面表现最佳,拉格朗日孪生支持向量回归机、v-孪生支持向量回归机的性能并列次优且计算时间接近,加权孪生支持向量回归机、ε-孪生支持向量回归机和孪生参数不敏感支持向量回归机的性能不理想,但计算时间接近.本文旨在使读者对孪生支持向量回归机的不同改进算法之间的异同点与优缺点产生更深刻的理解与认识,从而将更多优秀的改进策略应用于孪生支持向量回归机,最终为进一步提高孪生支持向量回归机的性能以及扩展孪生支持向量回归机的应用范围提供较为清晰的思路.展开更多
模糊信息测度(Fuzzy Information Measures,FIM)是度量两个模糊集之间相似性大小的一种量度,在模式识别、机器学习、聚类分析等研究中,起着重要的作用.文中对模糊测度进行了分析,研究了基于熵的模糊信息测度理论:首先,概述了模糊测度理...模糊信息测度(Fuzzy Information Measures,FIM)是度量两个模糊集之间相似性大小的一种量度,在模式识别、机器学习、聚类分析等研究中,起着重要的作用.文中对模糊测度进行了分析,研究了基于熵的模糊信息测度理论:首先,概述了模糊测度理论,指出了其优缺点;其次,基于信息熵理论,研究了模糊熵理论,建立了模糊熵公理化体系,讨论了各种模糊熵,在此基础上,提出了模糊绝对熵测度、模糊相对熵测度等模糊熵测度;最后,基于交互熵理论,建立了模糊交互熵理论,进而提出了模糊交互熵测度.这些测度理论,不仅丰富与发展了FIM理论,而且为模式识别、机器学习、聚类分析等理论与应用研究提供了新的研究方法.展开更多
针对特征变量多的小样本,结合偏最小二乘(Partial Least Squares,PLS)法则原理与Elman神经网络结构性质,提出基于PLS的Elman神经网络算法(PLSElman).新算法通过PLS对高维小样本进行特征降维时,顾及了与因变量的相关程度,所得...针对特征变量多的小样本,结合偏最小二乘(Partial Least Squares,PLS)法则原理与Elman神经网络结构性质,提出基于PLS的Elman神经网络算法(PLSElman).新算法通过PLS对高维小样本进行特征降维时,顾及了与因变量的相关程度,所得到的数据进行网络训练和仿真,明显的简化了网络结构,且可得较精确的网络模型.通过实例分析,结果表明新算法提高了网络的收敛速度、预测的精准率,证明新算法提高网络处理问题的效率.同时为便于验证新算法的有效性,与基于主成分分析(Principal Component Analys,PCA)的Elman神经网络算法(PCAElman)进行了比较,PLSElman算法有明显的优越性.展开更多
文摘P53基因状态是胶质瘤精准诊疗的重要依据.针对目前基于MRI(Magnetic Resonance Imaging)的P53基因状态预测的深度学习模型中存在的异质性特征提取不全面、模型存在固有的多种不确定性等问题,提出脑胶质瘤P53基因状态精准预测模型CVT-RegNet(Improved RegNet Integrating CNN,Vision Transfomer and Truth Discovery).首先,采用RegNet网络作为P53基因突变状态预测模型的基础架构,自适应设计搜索P53基因的异质性特征;其次,在模型中将ViT(Vision Transfomer)模块与卷积神经网络(Convolutional Neural Networks,CNN)模块进行融合以改进RegNet网络,进一步优化模型的特征提取性能与计算效率;最后,融入真值发现算法进行迭代寻优以改善模型输出的不确定性,提高预测结果的准确度.实验结果表明,CVT-RegNet模型对P53突变状态的预测准确率达到95.06%,AUC(Area under Curve)得分为0.9492,优于现有的P53基因状态预测模型.CVT-RegNet实现了胶质瘤P53基因状态的无创预测,减轻了患者的经济负担及身心伤害,为胶质瘤的临床精准诊断治疗提供了重要价值.
文摘在现实世界的复杂多智能体环境中,任务的完成通常需要多个智能体之间的相互协作,这促使各种多智能体强化学习方法不断涌现.动作价值函数估计偏差是单智能体强化学习领域中备受关注的一个重要问题,而在多智能体环境中却鲜有研究.针对这一问题,分别从理论和实验上证明了多智能体深度确定性策略梯度方法存在价值函数被高估.提出基于双评论家的多智能体深度确定性策略梯度(multiagent deep deterministic policy gradient method based on double critics,MADDPG-DC)方法,通过在双评论家网络上的最小值操作来避免价值被高估,进一步促进智能体学得最优的策略.此外,延迟行动者网络更新,保证行动者网络策略更新的效率和稳定性,提高策略学习和更新的质量.在多智能体粒子环境和交通信号控制环境上的实验结果证明了所提方法的可行性和优越性.
文摘孪生支持向量回归机(Twin Support Vector Regression,TSVR or TWSVR)是一种基于统计学习理论的回归算法,它以结构风险最小化原理为理论基础,通过适当地选择函数子集及该子集中的判别函数,使学习机的实际风险达到最小,保证了在有限训练样本上得到的小误差分类器对独立测试集的测试误差仍然较小.孪生支持向量回归机通过将线性不可分样本映射到高维特征空间,使得映射后的样本在该高维特征空间内线性可分,保证了其具有较好的泛化性能.孪生支持向量回归机的算法思想基于孪生支持向量机(Twin Support Vector Machine,TWSVM),几何意义是使所有样本点尽可能地处于两条回归超平面的上(下)不敏感边界之间,最终的回归结果由两个超平面的回归值取平均得到.孪生支持向量回归机需求解两个规模较小的二次规划问题(Quadratic Programming Problems,QPPs)便可得到两条具有较小拟合误差的回归超平面,训练时间和拟合精度都高于传统的支持向量回归机(Support Vector Regression,SVR),且其QPPs的对偶问题存在全局最优解,避免了容易陷入局部最优的问题,故孪生支持向量回归机已成为机器学习的热门领域之一.但孪生支持向量回归机作为机器学习领域的一个较新的理论,其数学模型与算法思想都尚不成熟,在泛化性能、求解速度、矩阵稀疏性、参数选取、对偶问题等方面仍存在进一步改进的空间.本文首先给出了两种孪生支持向量回归机的数学模型与几何意义,然后将孪生支持向量回归机的几个常见的改进策略归纳如下.(1)加权孪生支持向量回归机由于孪生支持向量回归机中每个训练样本受到的惩罚是相同的,但每个样本对超平面的影响不同,尤其是噪声和离群值会使算法性能降低,并且在不同位置的训练样本应给予不同的处罚更为合理,因此考虑在孪生支持向量回归机的每个QPP中引入一个加权系数,给予不同位置的训练样本不同程度的惩罚.(2)拉格朗日孪生支持向量回归机由于孪生支持向量回归机的对偶问题中半正定矩阵的逆矩阵可能不存在,若存在,则对偶问题不是严格凸函数,可能存在多个解,因此考虑使用松弛变量的2范数代替原有的1范数,使对偶问题更简单,易于求解.(3)最小二乘孪生支持向量回归机由于孪生支持向量回归机的求解需要在对偶空间进行,得到的解为近似解,考虑通过最小二乘法将原问题的不等式约束转化为等式约束,使得原问题可以在原空间内求解,在很大程度上降低计算时间,提高泛化性能,且不损失精度.(4)v-孪生支持向量回归机通过引入一组参数v1与v2自动调节ε1与ε2的值以控制训练样本的特定部分对两条回归超平面所能造成的最大误差,从而自适应给定数据的结构,提高孪生支持向量回归机的拟合精度.(5)ε-孪生支持向量回归机在孪生支持向量回归机的原问题中引入正则化项以达到结构风险最小化的目的,使对偶问题转化为稳定的正定二次规划问题,并通过SOR求解对偶问题,加快训练速度.(6)孪生参数不敏感支持向量回归机克服参数的选取对孪生支持向量回归机超平面构造的影响,使算法非常适合于存在异方差噪声数据的数据集,训练速度和泛化性能也有提升.本文同时对以上算法的数学模型、改进算法及应用进行了系统地分析与总结,给出了以上算法在9个UCI基准数据集上的回归性能与计算时间,并在模型结构层面逐一分析每个算法的表现与耗时的根本原因.对于其他不便于归类的孪生支持向量回归机改进算法及应用,本文也对其作逐一总结.整体来看,最小二乘孪生支持向量回归机在性能和计算时间方面表现最佳,拉格朗日孪生支持向量回归机、v-孪生支持向量回归机的性能并列次优且计算时间接近,加权孪生支持向量回归机、ε-孪生支持向量回归机和孪生参数不敏感支持向量回归机的性能不理想,但计算时间接近.本文旨在使读者对孪生支持向量回归机的不同改进算法之间的异同点与优缺点产生更深刻的理解与认识,从而将更多优秀的改进策略应用于孪生支持向量回归机,最终为进一步提高孪生支持向量回归机的性能以及扩展孪生支持向量回归机的应用范围提供较为清晰的思路.
文摘模糊信息测度(Fuzzy Information Measures,FIM)是度量两个模糊集之间相似性大小的一种量度,在模式识别、机器学习、聚类分析等研究中,起着重要的作用.文中对模糊测度进行了分析,研究了基于熵的模糊信息测度理论:首先,概述了模糊测度理论,指出了其优缺点;其次,基于信息熵理论,研究了模糊熵理论,建立了模糊熵公理化体系,讨论了各种模糊熵,在此基础上,提出了模糊绝对熵测度、模糊相对熵测度等模糊熵测度;最后,基于交互熵理论,建立了模糊交互熵理论,进而提出了模糊交互熵测度.这些测度理论,不仅丰富与发展了FIM理论,而且为模式识别、机器学习、聚类分析等理论与应用研究提供了新的研究方法.
文摘针对特征变量多的小样本,结合偏最小二乘(Partial Least Squares,PLS)法则原理与Elman神经网络结构性质,提出基于PLS的Elman神经网络算法(PLSElman).新算法通过PLS对高维小样本进行特征降维时,顾及了与因变量的相关程度,所得到的数据进行网络训练和仿真,明显的简化了网络结构,且可得较精确的网络模型.通过实例分析,结果表明新算法提高了网络的收敛速度、预测的精准率,证明新算法提高网络处理问题的效率.同时为便于验证新算法的有效性,与基于主成分分析(Principal Component Analys,PCA)的Elman神经网络算法(PCAElman)进行了比较,PLSElman算法有明显的优越性.