InstructGPT在命名实体识别任务中的表现和挑战

当前,关于大规模语言模型,例如,InstructGPT的研究主要聚焦在自由形式生成任务上,而忽略了在结构化抽取任务上的探索。为了让未来的工作在结构化抽取任务上有一个全面的认知,该文在零样本和少样本设定下,全面分析了InstructGPT在基础的结构化抽取任务,命名实体识别上的表现。为了让结论更加可靠,该文的实验同时包含了生物医学领域和通用领域的常规和嵌套数据集。实验结果表明,InstructGPT在零样本学习上的性能只能达到微调小规模语言模型的11%~56%,增加少量样本也最多只能提升至72%。为了探究InstructGPT在命名实体识别上表现性能不佳的原因,该文通过分析模型的输出,发现接近50%的句子都存在无效生成的问题。另外,由于无效生成会同时导致“虚假错误预测”和“虚假正确预测”,解决生成无效问题并不能保证性能的提升。此外,InstructGPT抽取嵌套实体的能力还是有待提高,抽取嵌套实体的比例也偏低。因此,用InstructGPT解决命名实体识别任务,除了要保证生成的有效性,还需要更加深入地研究才能找到行之有效的方法。

基于标签增强和对比学习的鲁棒小样本事件检测

小样本事件检测旨在通过少量样本进行事件检测。由于训练规模的限制,现有小样本事件检测系统存在稳定性和鲁棒性较差的问题。为了提高小样本事件检测的稳定性和鲁棒性,该文提出一个基于标签增强和对比学习的小样本学习算法。在原型网络的基础上通过模板引入事件标签表示作为模型先验来降低模型对于数据的敏感性,同时引入对比学习从高维空间上优化句子表示,提高模型的鲁棒性。相比于小样本事件检测的强基线系统,该文提出的模型在FewEvent数据集5-way-5-shot的情况下F_(1)值提高了4.7%,MAVEN数据集提高了9.2%。另外在数据中混有40%噪声的情况下,该文模型相较于其他强基线系统也有10%的增益,实验证明,该文所提模型在鲁棒性和稳定性明显提高的同时,性能也有显著提高。

论理想实验在高中物理教学中的作用

高中物理教学中,实验是最主要的教育方式。高中物理教学中的很多理论、概念以及公式等都需要物理实验的配合。而高中物理中的各种理论是否成立,也需要通过实验来进行验证。但是目前,很多高中物理教师在教学实践中都会发现很多物理实验是不能在现实生活中或者实验室进行的,只能够依靠人们对于知识的掌握进行严密的思维推理完成。这种思维的实验被称为"思想实验"或者"理想实验"。这里称为理想实验,这种实验属于一种实验形式,仅仅体现在思维中,是具有隐蔽性的。