用专家乘积系统实现手写体数字识别

手写体数字识别网络的训练过程需耗费大量时间,训练时间的优化有着重要的意义。利用专家乘积系统是一种理想的解决方法。在专家乘积系统训练过程中,每个数字都将建立一个独立的专家模型,并分别使用各自的样本进行训练。待获得所有模型的概率分布特征后,再送入一个分类器网络进行混合训练。由于各数字模型是独立的,因此利用并行训练可大大减少系统的训练时间。专家乘积系统的识别效果非常理想,反映出专家乘积系统是一个高效的模型。

基于受限玻尔兹曼机的专家乘积系统的一种改进算法

深度学习在高维特征向量的信息提取和分类中具有很强的能力,但深度学习训练时间也比较长,超参数搜索空间大,从而导致超参数寻优较困难。针对此问题,该文提出一种基于受限玻尔兹曼机(RBM)专家乘积系统的改进方法。先将专家乘积系统原理与RBM算法相结合,采用全是真实概率值的参数更新方式会引起模型识别效果不理想和带来密度问题,为此将其更新方式进行改进;为加快网络收敛和提高模型识别能力,采取在RBM预训练阶段和微调阶段引入不同组合方式动量项的一种改进算法。通过对MNIST数据库中的0~9的手写数字体的识别和CMU-PIE数据库的人脸识别实验,提出的算法减少了学习时间,提高了超参数寻优的效率,进而构建的深层网络能获得较好的分类效果。试验结果表明,提出的改进算法在处理高维大量的数据时,计算效率有较大提高,其算法有效。

专家乘积系统的原理及应用

对于相同的一组观察数据,总能找到一些独立的低维专家模型,这些模型只满足对数据的一种约束条件,对于满足这种约束条件的数据,独立模型可以产生较高的概率分布。可以用独立模型概率相乘的方法组合它们,经重新规范化后,形成一个新的高维模型。称这样的系统为专家乘积系统(Product of Experts)。混合高维模型在学习的过程中,利用吉布斯采样和KL偏差的方法,使高维模型获得更理想的概率分布。实验证明,在手写体识别等领域,专家乘积系统是一种非常有效的方法。

基于专家乘积系统的组织病理图像分类算法

组织病理图像的自动分类是医学图像处理领域的重要问题,有效特征提取方法是实现准确诊断的关键。为了实现组织病理图像的特征表示,提出一种基于专家乘积系统(PoE)的特征提取算法,利用最大似然和蒙特卡罗随机采样方法训练对应不同图像类别的Po E模型,将图像样本在所有模型下的响应相连作为其特征向量。根据训练图像样本的特征向量建立支持向量机分类模型。实验测试了宾夕法尼亚州立大学诊断实验室公开的组织病理图像数据库中的肾、肺和脾的健康及患病器官的组织病理图像,结果显示,所提算法在3种器官图像分类中均具有较高的准确性。