生成式人工智能面临的安全风险

2024年4月,世界数字技术院(World Digital Technology Academy,WDTA)发布了《生成式人工智能应用安全测试标准》和《大语言模型安全测试方法》两项标准。我国《生成式人工智能服务管理暂行办法》也已于2023年8月15日起施行,可见大模型的井喷式发展导致的生成式人工智能安全问题在全球范围内越来越得到重视。

大模型助力网络攻击的手段与应对建议

大模型与网络安全领域的融合应用正在蓬勃发展,大模型不仅可以赋能网络防御,还能助力网络攻击,学术界已开展多项利用大模型助力网络攻击的研究工作,大模型即将改变网络攻防格局。经过调研发现,大模型助力网络攻击主要有利用越狱手段诱导大模型输出情报信息、钓鱼邮件、恶意代码等恶意信息和使用恶意数据对大模型进行微调生成网络攻击恶意大模型两种手段,应用场景主要有情报收集、定制化钓鱼、漏洞利用、恶意代码生成,且呈武器化、自动化攻击趋势。对此,应加强对大模型被滥用的实时安全审查,针对恶意大模型开展专项追踪与研究,采用完全自研的国产信创类大模型,在网络安全实战演练中加人AI攻防演练。

大模型发展趋势及国内外研究现状

大模型是“大算力+强算法”结合的产物,通常是在大规模无标注数据上进行训练,学习出一种特征和规则。基于大模型进行应用开发时,将大模型进行微调,如在下游特定任务上的小规模有标注数据上进行二次训练,或者不进行微调,就可以完成多个应用场景的任务。

大模型对中国企业网络安全防护的积极影响与冲击

生成式人工智能近年已经成为人工智能领域的主流,其通过大量数据训练,让模型在人类知识和经验的基础上生成全新的、完全原创的信息,从而模仿人类完成特定的任务,其核心载体是深度学习中的各种神经网络模型。随着高性能芯片与GPU算力的增强、训练数据集的增大和神经网络复杂度的提升,“大模型”的概念由此产生。大模型即“大算力”“大数据集”与“强算法”结合的产物,大模型可以为生成式人工智能提供更强大的建模能力和表达能力,生成式人工智能可以通过大模型来实现。

加快推进运营商安全型企业建设

9月5日,西北工业大学遭受美国国家安全局网络攻击事件的调查报告发布。调查发现,美国国家安全局(NSA)下属的特定入侵行动办公室(TAO)使用了40余种不同的专属网络攻击武器,持续对西北工业大学开展攻击窃密,窃取该校关键网络设备配置、网管数据、运维数据等核心技术数据。

大模型在网络安全领域的应用场景

大模型即“大算力”“大数据”与“强算法”的结合,是随着高性能芯片算力的增强、训练数据集的增大和神经网络复杂度的提升而进化的划时代人工智能产物。国内所说的大模型(Large Language Model,LLM)主要指向大语言模型,但其仍可以包括视觉大模型、多模态大模型等。大模型具有语义分析能力、代码理解能力、复杂推理能力等,能够赋能各行各业,网络安全领域是其中一项重点研究任务。目前已经有多家公司推出自己在安全领域的大模型应用,如表1所示。