基于思维链的大语言模型知识蒸馏

思维链(Chain of thought,CoT)提示使大语言模型能够按照具体推理步骤处理复杂的任务,让大语言模型在常识推理、数学逻辑推理和可解释性等方面表现出更强的能力。然而,CoT方法的主要缺点在于其对庞大语言模型的依赖,这些模型通常拥有数百亿的参数,在大规模部署方面面临挑战。为此,本文提出一种基于思维链的大模型知识蒸馏方法,主要目标在于充分利用大型语言模型的思维推理能力,通过知识蒸馏技术,引导小模型解决复杂任务。以大型模型为教师模型,小型模型为学生模型,通过获取教师模型的推理数据来微调学生模型。通过更改数据生成方式、基于聚类的问答示例采样、示例启发式纠错以及答案的自适应生成等一系列精心设计的方法,使教师模型的生成过程更高效,生成的推理数据质量更高、数量更多,从而更好地微调学生模型,使其获得强大的推理能力,实现高效的知识蒸馏。这一研究框架旨在建立一个有效的知识传递机制,使得大模型的深度思考能够有效指导小模型,为解决复杂任务提供更为智能且高效的解决方案。通过这种方式,希望能够克服大模型部署的挑战,并促进语言模型在现实世界中的应用和进步。

“艾武大模型+”:一种军事大模型系统的开发与实证

智能化指挥是新型指挥控制理论研究的重要方向,大模型是智能交互、任务规划和辅助决策等智能化指挥能力实现的重要支撑。本文兼顾理论与实践,梳理大模型军事能力需求,设计面向智能化指挥的大模型应用框架,提出“艾武大模型+”的系统架构、信息流程和协同架构,梳理工程实现的关键技术,以智能化指挥实证案例及选型分析验证“艾武大模型+”系统在多模态交互和特定任务军语理解的能力优势,拓展有/无人平台的末端协同和指令控制,为重大国防军事专项、智能化指挥研究与落地应用提供参考。

基于大模型的联动处置多智能代理协同框架

针对指挥员应对重大突发情况时的处置决策难题,提出一种基于大模型的联动处置多智能代理协同框架。该框架通过智能代理角色生成、多层级蒙特卡洛树与交互式提示学习等策略,优化群体决策效率与动作规划,同时引入分层机制与工作流管理理念,通过强化学习奖励函数共享提升协同效率,设计显式与隐式通信模式确保节点状态一致。实验表明,该框架在多种场景下表现优异,与传统任务分配手段相比,大大提高了面对突发事件时的反应速度和处置效率。

基于图卷积神经网络的分布式半监督自动标注方法

为解决数据中台建设中数据共享融合难与综合应用难等突出问题,基于图卷积神经网络,面向分布式数据中台架构开发一种分布式的半监督标注算法。通过分析数据缺失、数据量大以及通信带宽限制等问题,首先使用子空间学习提出基于新的正则化项的半监督学习策略。在此基础上,进一步提出基于二级中台的分布式可解释注意力图卷积神经网络融合方法,以解释边的重要性,从而在每一层图神经网络基于私有模型与每个平台的公共数据进行融合,提升模型精准性。在公共数据集上的广泛实验结果表明,该方法可以有效提高标签预测的效果,对大数据背景下的分布式融合、应用具有一定指导意义。