下一代深度学习的思考与若干问题

Next generation deep learning: thinking and some problems

尽管深度学习技术得到了长足的发展,然而发展过程中,存在诸多理论问题需要进一步深入的研究和关注。深度学习的基本思想就是模拟人脑的信息处理机制,希望能够对自然信息,尤其是声音、语言、文字、图像进行很好的处理。而这些是传统的计算机方法难以做到的。但是目前深度学习对于人脑的知识处理机制和推理机制了解的还不够,同时也实现的不够。深度神经网络主要是通过学习和优化来实现对数据的计算处理,从而产生了对海量大数据样本的训练问题、稀疏编码与表征问题、泛化问题、可解释性问题和鲁棒性问题。下面从从类脑启发、物理启发和进化启发等三个方面讨论深度学习的表征、学习与优化理论。