MSAdapter:面向异构AI算力的深度学习框架代码高效转换工具

深度学习框架及AI芯片作为人工智能的基础设施,促进着人工智能的高速发展,为各行业在人工智能产业落地上发挥着至关重要的作用。在AI芯片多样化、深度学习框架多样化的人工智能生态下,如何发挥AI芯片高效计算性能变得极其重要。本文提出了MSAdapter,一款面向异构AI算力的深度学习代码高效转换工具。它以分层解耦的思路设计了前后端分离式整体架构,前端以PyTorch接口为标准,后端封装了MindSpore实现,在不改变用户框架使用习惯的情况下,解决了从PyTorch代码到MindSpore代码的转换,辅助用户获得深度学习框架最佳匹配的AI芯片算力。

鹏程·盘古:大规模自回归中文预训练语言模型及应用

在鹏城云脑Ⅱ上训练了全球首个拥有全开源2000亿参数的自回归中文预训练语言大模型——鹏程·盘古。鹏程·盘古模型基于1.1 TB高质量中文训练数据,采用全场景人工智能计算框架MindSpore自动并行技术实现了五维并行训练策略,从而可将训练任务高效扩展到4096个处理器上。对比实验表明,在少样本或零样本情况下,鹏程·盘古模型在多个中文自然语言理解或生成任务上都具有较优的性能。在此基础上,鹏程·盘古模型在大模型压缩、提示微调学习、多任务学习以及持续学习等方面也取得了很好的应用效果。

支持鹏程系列开源大模型应用生态演化的可持续学习能力探索

大规模预训练模型利用大规模语料以及多样化的预训练任务在自然语言处理领域取得了巨大的成功。随着大模型的逐步发展,大模型的可持续学习能力探索成为新的研究热点。主要介绍鹏程系列大模型持续学习的技术体系、应用实践以及面临的挑战,包括通过任务扩展、数据增量和知识推理的鹏程系列可持续学习技术体系,开源大模型鹏程·盘古多任务可持续学习和鹏程·通言大模型的可持续学习能力实践,大模型可持续学习过程中面临的词表更新、语义映射和知识冲突等挑战。