基于惩罚函数的混合专家模型参数训练方法

混合专家模型是将一个问题的输入空间适当地分解为多个不同的区域,一个区域用一个专家网络来映射,然后再用一个门网协调专家,去决定专家网络的输出。基于惩罚函数的混合专家模型利用了凸函数共轭性质中的Fenchel不等式,构造带有约束项的优化目标函数,这个目标函数单独对于权值和隐层输出来说均为凸函数,优化时不存在局部最小,因此,优化速度快,大大提高了混合专家网络的学习效率。数值实验表明,该方法较传统的梯度下降方法效果好。