面向金融领域大语言模型的提示注入攻击防御机制研究及应用

大语言模型在金融领域具有广阔的应用前景,无论资产管理端还是财富管理端,大语言模型都将会发挥重要的作用。随着ChatGPT和GPT-4等大型语言模型的快速发展和广泛应用,大语言模型的安全问题也愈发受到人们的关注。金融行业是一个严监管和强监管行业,对安全性有着更高的要求。围绕金融行业大语言模型提示注入攻击问题及安全防御机制进行深入研究,构建了包含8类输入侧提示注入攻击形式和5类大语言模型输出侧安全场景的金融领域大模型风险分类体系,通过人机对抗方式构建了金融领域的大模型提示注入攻击数据集FIN-CSAPrompts,提出了一套端到端的针对大语言模型提示注入攻击的安全防御框架,选取主流的中文大模型进行了实验验证。结果表明,在金融领域应用该提示词防御框架,中文大模型的防御性能显著提升,有效减少了不当内容的生成,并增强了模型对提示注入攻击的抵抗力。为进一步研究中文大模型在金融领域的安全性提供了数据集、衡量指标及解决方案的参考与借鉴。