基于端云协同体系的预训练大模型及其服务化

传统云计算模式将所有数据集中,以中心化原则在云上训练大模型,通过云服务支撑端侧多样服务需求,这一模式存在网络时延大、隐私安全低和算力成本高等不足。在“泛在互联、移动优先、AI赋能”时代,需要机器学习支撑丰富多样端侧应用,因此建立端云协同计算范式,既提供云上服务和端侧推理能力,又推动云上模型和端侧模型的协同进化,从云计算和端智能向端云协同进化计算模式进行跨越,充分发挥云上、端侧和端云链中各类计算资源的最佳效果是当前的重大挑战。本文围绕云上预训练大模型、端云协同体系、基于端云协同体系的预训练大模型服务化与隐私保护,以及未来挑战进行了讨论。