面向深度学习图像分类的GPU并行方法研究

针对深度学习图像分类场景中多GPU并行后传输效率低的问题,提出一种低时间复杂度的Ring All Reduce改进算法。通过分节点间隔配对原则优化数据传输流程,缓解传统参数服务器并行结构的带宽损耗。基于数据并行难以支撑大规模网络参数及加速延缓的问题,根据深度学习主干网络所包含的权重参数低于全连接层权重参数、同步开销小、全连接层权重大与梯度传输开销过高等特点,提出GPU混合并行优化算法,将主干网络进行数据并行,全连接层进行模型并行,并通过改进的Ring All Reduce算法实现各节点之间的并行后数据通信,用于基于深度学习模型的图像分类。在Cifar10和mini ImageNet两个公共数据集上的实验结果表明,该算法在保持分类精度不变的情况下可以获得更好的加速效果,相比数据并行方法,可达到近45%的提升效果。

小老鼠

不知道什么时候,一只小老鼠钻到太奶奶家里来了。咬断了电话线,还闹得大家不能睡觉。太奶奶用巧克力把它引到笼子里,关了起来。它全身长了黑毛,两只圆溜溜的眼睛,一条又细又长的尾巴,尖尖的嘴上长了胡子。

叫醒“懒虫牙”

我嘴里有一颗牙，眼看就要掉了。可是，这颗小牙齿就是不肯离开它的“被窝”。 我等不及让小牙“起床”，于是，我采取了第一计划!我买了一大块泡泡糖，嚼好后一头粘在筷子上，一头粘在我的“懒虫牙”上。泡泡糖被我越拉越长，最后“噗”的一声，断了!可牙还一动不动地待在“窝”里呢。第一计划失败了!

美丽的清水岩

那天,阳光明媚,我们一家人一起来到安溪名胜清水岩游玩。一进大门,映入眼帘的是“南国蓬莱仙境”几个大字,一阵清风吹来,令人神清气爽。