基于提示生成网络的Frozen ViT

随着计算机视觉中Transformer模型的引入,增加模型的数据量是实现更好性能和鲁棒性的绝佳方法。然而,当模型的参数达到亿级时,传统微调方法变得越来越有局限性,甚至有时不适用。因此,通过学习额外输入来调整模型的视觉提示模型成为处理冻结云模型的方法,既不需要前馈处理,也不需要后处理。提出了提示生成网络(Prompt Generative Network,PGN),通过端到端学习生成高性能的输入相关的提示。PGN能在预训练时适应各种训练集,在获取的数据集中优于以往方法,且模型参数减少了100倍。

基于生成提示的无监督文本情感转换方法

文本情感转换是在保留内容的基础上更改文本的情感属性。由于缺乏平行语料,现有无监督文本情感转换的方法主要通过文本重建和分类损失来构建情感和内容的潜在表征,实现情感转换。然而,这种弱监督信号训练策略在提示学习范式下的模型性能退化严重。针对以上问题,提出一种基于生成提示的无监督文本情感转换方法。首先,通过提示生成器生成文本内容提示;其次,融合目标情感提示作为最终提示;最后,构建两阶段的训练策略,为模型训练提供平滑的训练梯度以解决模型性能退化的问题。在情感转换的公共数据集Yelp上的实验结果表明,所提方法的文本保留度、情感转换分数和BLEU(BiLingual Evaluation Understudy)显著优于基于生成的方法UnpairedRL,分别提高了39.1%、62.3%和14.5%。

基于大模型构建卫生标准文档规范性质控系统的研究

目的为了克服传统卫生标准文档人工审查方法在时间和灵活性方面的局限性,本文将相关格式要求转化为大模型可执行的提示。这些提示将应用于标准的预审过程,从而实现医疗信息标准文档的有效质控。方法采用基于大模型的卫生标准文档质控技术,深入分析上海市卫生信息标准化技术委员会提供的格式要求,并设定预定义的规则以生成相应提示。利用大模型对文档进行标准性检验,并自动生成相应的修改建议,实现对标准文档的自动化质控。结果实验结果表明,该方法能够代替人工实现自动化的标准化鉴定,准确率达到95%。结论该方法具有高效性、智能化等优势,在卫生标准文档规范性质控场景中具有显著的应用潜力。