大语言模型(Large Language Models,LLMs)目前正在重塑各行各业的学习方式、思维模式和研究范式。如何使LLMs与行业结合、重构LLMs与行业的关系,是推动企业数字化变革和社会发展的重要命题。要实现LLMs在垂域发挥重要作用,最重要的是提...大语言模型(Large Language Models,LLMs)目前正在重塑各行各业的学习方式、思维模式和研究范式。如何使LLMs与行业结合、重构LLMs与行业的关系,是推动企业数字化变革和社会发展的重要命题。要实现LLMs在垂域发挥重要作用,最重要的是提升LLMs的推理能力。本文以如何提升LLMs在会计领域的推理能力为起点,提出会计垂域推理能力的概念、研究路径、评测标准,分析中文开源模型清华智谱的GLM系列的评测结果,为后续的推理研究提供标准范式,并为如何提升会计推理能力提供评价标准,力图推动LLMs在会计领域达到应有水平。同时,为验证LLMs的会计推理能力,本文比较了GLM-6B、GLM-130B、GLM-4在算术推理能力和会计常识推理能力方面的差别,并将OPENAI的GPT-4作为基准进行分析。结果表明,在不同推理提示工程下,模型规模显著影响推理能力,虽然各种模型算术推理能力已经得到极大的提高,但是会计推理能力还远不能达到应用水平,需要在应用中逐层优化,研究为LLMs会计垂域进入应用实践的优化过程提供参考。展开更多
针对目标场景复杂的空间布局和高光谱影像固有的空-谱信息冗余等挑战,提出了端到端的轻量化深度全局-局部知识蒸馏(Lightweight Deep Global-Local Knowledge Distillation,LDGLKD)网络。为探索空-谱特征的全局序列属性,教师模型视觉Tra...针对目标场景复杂的空间布局和高光谱影像固有的空-谱信息冗余等挑战,提出了端到端的轻量化深度全局-局部知识蒸馏(Lightweight Deep Global-Local Knowledge Distillation,LDGLKD)网络。为探索空-谱特征的全局序列属性,教师模型视觉Transformer(Vision Transformer,ViT)被用来指导轻量化学生模型进行高光谱影像场景分类。LDGLKD选择预训练的VGG16作为学生模型来提取局部细节信息,将ViT和VGG16通过知识蒸馏协同训练后,教师模型将所学习到的远程上下文关系向小规模学生模型进行传递。LDGLKD可通过知识蒸馏结合上述两种模型的优点,在欧比特高光谱影像场景分类数据集OHID-SC及公开的高光谱遥感图像数据集HSRS-SC上的最佳分类精度分别达到91.62%和97.96%。实验结果表明:LDGLKD网络具有良好的分类性能。根据欧比特珠海一号卫星提供的遥感数据构建的OHID-SC可以反映详细的地表覆盖情况,并为高光谱场景分类任务提供数据支撑。展开更多
文摘大语言模型(Large Language Models,LLMs)目前正在重塑各行各业的学习方式、思维模式和研究范式。如何使LLMs与行业结合、重构LLMs与行业的关系,是推动企业数字化变革和社会发展的重要命题。要实现LLMs在垂域发挥重要作用,最重要的是提升LLMs的推理能力。本文以如何提升LLMs在会计领域的推理能力为起点,提出会计垂域推理能力的概念、研究路径、评测标准,分析中文开源模型清华智谱的GLM系列的评测结果,为后续的推理研究提供标准范式,并为如何提升会计推理能力提供评价标准,力图推动LLMs在会计领域达到应有水平。同时,为验证LLMs的会计推理能力,本文比较了GLM-6B、GLM-130B、GLM-4在算术推理能力和会计常识推理能力方面的差别,并将OPENAI的GPT-4作为基准进行分析。结果表明,在不同推理提示工程下,模型规模显著影响推理能力,虽然各种模型算术推理能力已经得到极大的提高,但是会计推理能力还远不能达到应用水平,需要在应用中逐层优化,研究为LLMs会计垂域进入应用实践的优化过程提供参考。
