InstructGPT在命名实体识别任务中的表现和挑战

当前,关于大规模语言模型,例如,InstructGPT的研究主要聚焦在自由形式生成任务上,而忽略了在结构化抽取任务上的探索。为了让未来的工作在结构化抽取任务上有一个全面的认知,该文在零样本和少样本设定下,全面分析了InstructGPT在基础的结构化抽取任务,命名实体识别上的表现。为了让结论更加可靠,该文的实验同时包含了生物医学领域和通用领域的常规和嵌套数据集。实验结果表明,InstructGPT在零样本学习上的性能只能达到微调小规模语言模型的11%~56%,增加少量样本也最多只能提升至72%。为了探究InstructGPT在命名实体识别上表现性能不佳的原因,该文通过分析模型的输出,发现接近50%的句子都存在无效生成的问题。另外,由于无效生成会同时导致“虚假错误预测”和“虚假正确预测”,解决生成无效问题并不能保证性能的提升。此外,InstructGPT抽取嵌套实体的能力还是有待提高,抽取嵌套实体的比例也偏低。因此,用InstructGPT解决命名实体识别任务,除了要保证生成的有效性,还需要更加深入地研究才能找到行之有效的方法。

深度学习中的模型压缩技术

随着深度学习的快速发展,深度神经网络模型在计算机视觉、自然语言处理等多个领域大放异彩,但性能变强的同时,也伴随着模型规模的快速增长。应用大规模模型往往需要强大的计算力和足够的存储空间。为了使深度模型能够在资源受限的条件下高效运行,模型压缩技术应运而生。本文介绍了深度学习中模型压缩技术的相关背景,在此基础上简要介绍了一些代表性的模型压缩技术,包括网络剪枝、知识蒸馏、模型量化,以及神经结构搜索,并展望模型压缩技术在未来的发展前景。