DNN并行计算框架
摘要
深层神经网络（Deep Neural Networks，DNN）在语音识别、图像识别这种具有明显空间时间相关性的模式识别应用中。具有明显的优势。鉴于DNN模型待估计参数的数目和参数估计的特点，以及现有海量数据训练的需求，单机训练DNN模型，往往需要一至多个月的时间，不能满足实际的各种应用需求。因此本文主要介绍一些现有的并行训练方法，以及腾讯公司关于并行化的一些尝试和思考。
出处
《程序员》
2013年第6期37-39,共3页
Programmer
参考文献12
-
1G. Hinton, L. Deng, D. Yu, and et al. Deep neural networks for acoustic modeling in speech recognition. IEEE Signal Processing Magazine, 2012.
-
2A. Krizhevsky, I. Sutskever, and G. Hinton. ImageNet classification with deep convolutional neural networks. NIPS 2012.
-
3Y. Bengio. Practical recommendations for gradient- based training of deep architectures. Neural Networks:Tricks of the Trade 2012.
-
4J. Martens. Deep learning via Hessian-free optimization. ICML 2010.
-
5J. Dean, G. Corrado, R. Monga, and et al. Large scale distributed deep networks. NIPS 2012.
-
6X. Chen, A. Eversole, G. Li, and et al. Pipelined back- propagation for context-dependent deep neural networks. lnterspeech 2012.
-
7D. Ciresan, U. Meier, and J. Schmidhuber. Multi-column deep neural networks for image classification. Technical report, IDSIA, 2012.
-
8G. Malewicz, and et al. Pregel: a system for large-scale graph processing. PODC 2009.
-
9Low, and et al. GraphLab: A Distributed Framework for Machine Learning in the Cloud. VLDB 2012.
-
10J. E. Gonzalez, and et al. PowerGraph: Distributed Graph-Parallel Computation on Natural Graphs. OSDI 2012.
-
1曲昊.使用空间时间形状差分图像进行动作识别[J].九江职业技术学院学报,2016(1):16-18.
-
2赵喆,向阳,王继生.基于并行计算的文本分类技术[J].计算机应用,2013,33(A02):60-62. 被引量：4
-
3曲宏锋,王汝凉.基于MapReduce的RBF神经网络的并行性研究[J].广西师范学院学报（自然科学版）,2017,34(1):76-81.
-
4余凯.深度学习——机器学习的新浪潮[J].程序员,2013(2):16-17. 被引量：5
-
5王梦婷,曹克亮.浅谈微信朋友圈广告的优势与劣势[J].科技视界,2015(25):175-175. 被引量：4
-
6夏胜平,刘建军,袁振涛,虞华,张乐锋,郁文贤.基于集群的集中调度式RSOM并行训练方法[J].系统工程与电子技术,2007,29(3):459-463.
-
7金晓明.基于Flightgear实现通用飞行仿真软件[J].电脑编程技巧与维护,2016(7):82-84. 被引量：1
-
8胡浩民,马德云.基于层次遗传算法的RBF神经网络并行训练方法研究[J].福建电脑,2005,21(4):5-6. 被引量：1
-
9陈蓉华.巧用动态Web学习平台,翻转信息技术课堂[J].中国信息技术教育,2015(12):22-23.
-
10王正群,陈世福,陈兆乾.并行学习神经网络集成方法[J].计算机学报,2005,28(3):402-408. 被引量：36
