面向大语言模型的越狱攻击综述

近年来,大语言模型(large language model,LLM)在一系列下游任务中得到了广泛应用,并在多个领域表现出了卓越的文本理解、生成与推理能力.然而,越狱攻击正成为大语言模型的新兴威胁.越狱攻击能够绕过大语言模型的安全机制,削弱价值观对齐的影响,诱使经过对齐的大语言模型产生有害输出.越狱攻击带来的滥用、劫持、泄露等问题已对基于大语言模型的对话系统与应用程序造成了严重威胁.对近年的越狱攻击研究进行了系统梳理,并基于攻击原理将其分为基于人工设计的攻击、基于模型生成的攻击与基于对抗性优化的攻击3类.详细总结了相关研究的基本原理、实施方法与研究结论,全面回顾了大语言模型越狱攻击的发展历程,为后续的研究提供了有效参考.对现有的安全措施进行了简略回顾,从内部防御与外部防御2个角度介绍了能够缓解越狱攻击并提高大语言模型生成内容安全性的相关技术,并对不同方法的利弊进行了罗列与比较.在上述工作的基础上,对大语言模型越狱攻击领域的现存问题与前沿方向进行探讨,并结合多模态、模型编辑、多智能体等方向进行研究展望.

基于知识编辑的大模型内容生成安全分析

大语言模型(large language models,LLMs)虽然取得了显著的成功,但在实际应用中依然面临着安全问题,容易在恶意诱导下生成有毒、有害内容.目前缓解LLMs不安全行为的方法通常需要高昂的数据收集成本以及大量的计算资源.大模型知识编辑可以在不重新训练模型的基础上,根据特定的输入精确地改变模型对应的输出,在节约大量资源的条件下约束模型的行为;为优化大模型生成安全内容提供了一个新的可行思路.然而,目前学术界缺乏较为系统和全面的基于知识编辑的大模型内容安全生成分析数据集.具体地说,当前缓解LLMs不安全行为的数据集并未包括所有的不安全场景,且其有毒问题几乎无法绕过对齐后的LLMs安全防线,因此无法缓解对齐后LLMs存在的不安全问题.针对上述问题,设计了新的数据集SafeGen,并提出新的评价体系分析知识编辑在优化LLMs生成安全内容的潜力.大量的实验发现知识编辑可以提高LLMs内部的安全信念,在校正LLMs不安全行为领域展现了广阔的应用前景.但经过知识编辑的LLMs生成文本的流畅性却差强人意,这也表明了这项任务的潜在难度.该工作可以为大模型安全社区提供一些见解.

面向大语言模型的越狱攻击与防御综述

大语言模型(LargeLanguageModels,LLMs)由于其出色的性能表现而在各个领域被广泛使用,但是它们在面对精心构建的越狱提示时,往往会输出不正确的内容,由此引发了人们对其伦理问题和道德安全的担忧。攻击者可以在没有了解模型内部结构及安全机制的情况下,通过设计特定的提示语句引发模型生成不恰当的内容。相关领域的专业研究者在分析LLMs的潜在脆弱性后,甚至可以产生人类难以发现,并且越狱成功率极高的自动化越狱攻击方法。为了阻止LLMs的恶意越狱攻击,研究者们提出覆盖LLMs训练到部署全生命周期的防御方法以加强模型的安全性。然而,目前对于大语言模型的综述工作主要集中在越狱攻击方法,并且没有对这些技术手段的特性及关系进行详细分析。此外,对评测基准总结的忽视也限制了该领域的蓬勃发展。因此,本文拟对现有的越狱攻击与防御方法进行全面的回顾。具体而言,我们首先介绍了大语言模型与越狱攻击的相关概念及原理,解释了越狱攻击在模型安全领域的重要性和它对大型语言模型的潜在威胁。接着,从攻击的生成策略回顾了现有的越狱攻击方法,并分析了他们的优缺点,如这些攻击策略如何利用模型的漏洞来实现攻击目标。然后,本文总结了围绕LLMs各个阶段的防御策略,并提供了一个全面的评测基准,详细介绍了如何评估这些防御策略的有效性。最后结合当前面临的挑战,我们对LLMs越狱攻防的未来研究方向进行了总结和展望,指出了未来研究中需要关注的关键问题和潜在的研究方向,以促进大模型的安全与可靠性发展。

Twin Sister Jailbreakers Nabbed

这是一则来自拉丁美洲危地马拉的消息。一对美貌孪生女子在重兵 把守的监狱“救”出了数十名罪犯,令人发指!当笔者正在纳闷:是何故让两个美女冒死“劫狱”?本文的第三段便泄露了“天机”:to free their kidnapper boyfriends who were serving life sentences there.

面向个人信息保护的iOS设备风险评估方法

当前,面向iOS系统个人信息保护的研究主要集中在恶意APP分析与识别领域,缺少对iOS越狱和iOS系统漏洞的探讨。文中将三者融合,提出了一种针对iOS设备的风险评估方法。首先,定义了风险指标分值和风险要素权重值,然后根据预定义规则计算了风险指标和风险要素得分,最后确定了设备风险级别,并给出了风险控制建议。基于该方法,构建了iOS设备风险管理系统。该系统采用客户端-服务器架构,客户端负责抓取并上传设备信息,服务器根据设备信息进行风险分析与评估,并反馈结果。运行结果表明,该系统能有效帮助用户发现iOS设备存在的各种风险。

美国禁止规避技术措施例外制度评析(一)——移动通信设备越狱立法例考察

技术措施能够保护版权,同时也被版权人用来实现垄断、下游控制和价格歧视,客观上影响到用户的选择权、使用权和隐私权。2010年美国国会图书馆首次将手机越狱确定为禁止规避技术措施的例外,并在2015年扩展到移动通信设备越狱。关于该例外的博弈主要围绕美国国会图书馆的权限、是否构成合理使用以及如何界定移动通信设备等问题展开。移动通信设备越狱例外的确立及其规则的细化顺应了社会发展需求,但规则对规避主体和规避对象的界定不太明确,需要细化和明确。

呼市越狱案的定性探讨

四名重刑犯杀害监狱警察,从监狱大门越狱脱逃,引起了社会各界的关注。中央领导高度重视,公安部发出通缉令,警方立即展开搜捕行动,并调动了一架小型飞机在空中搜索。经过67小时的搜捕将越狱罪犯捕获。本案非常典型、复杂,在预备、实施既遂、后续逃跑过程中,四名越狱罪犯犯下了累累罪行。笔者认为,以本案脱逃越狱的性质为切入点,立足于本案共同犯罪的整体基础,从脱逃越狱犯罪的整个发展过程来看,本案应该定性为故意杀人罪、组织越狱罪及后续行为构成的诸多罪实行数罪并罚。以此案来审视我国现行《刑法》的相关规定,应设立越狱罪。

iPhone Security Analysis

The release of Apple’s iPhone was one of the most intensively publicized product releases in the history of mobile devices. While the iPhone wowed users with its exciting design and features, it also angered many for not allowing installation of third party applications and for working exclusively with AT & T wireless services (in the US). Besides the US, iPhone was only sold only in a few other selected countries. Software attacks were developed to overcome both limitations. The development of those attacks and further evaluation revealed several vulnerabilities in iPhone security. In this paper, we examine some of the attacks developed for the iPhone as a way of investigating the iPhone’s security structure. We also analyze the security holes that have been discovered and make suggestions for improving iPhone security.

组织越狱罪研究

新刑法对旧刑法中的组织越狱罪进行了较大的修改。围绕该罪的沿革、概念、构成、适用等问题,学界及实务部门均存有较多争议。文章对这些争议进行了一一剖析,同时提出了作者自己的主张。

美国禁止规避技术措施例外制度评析(四)——智能电视越狱的立法例考察

文章透视美国禁止规避技术措施例外制度如何衡平智能电视产业与消费者之间的利益冲突。在分析各利益方围绕非侵权性使用、不利影响和法定因素的博弈后,通过解读该条款的假定、行为模式、法律后果,可知智能电视越狱不被认定为版权法上的侵权应同时符合:规避主体只能是智能电视机主,且排除任何第三方主体代为或辅助其越狱;拟安装应用程序及其获取必须合法,被规避对象必须是固件技术措施,且越狱的目的只是为了上述应用程序与固件互操作。该新增条款旨在增进智能电视消费者的福利,倒逼智能电视商业模式作出相适调整。

iPhone手机安全技术分析

随着iPhone手机的普及和各种iPhone"越狱"手段的合法化,iPhone手机安全问题也逐步显露。iPhone手机信息泄露、用户位置被追踪、手机被恶意扣费、信用卡账号被恶意消费等问题层出不穷。针对上述现象,文章主要研究了iPhone手机上存在的安全漏洞以及可能遭受的恶意软件及其恶意行为,提出一些可行的防范措施及方法。

iOS系统数据安全分析与加固

手机在如今的通讯手段中,占据举足轻重的地位,特别是随着社交网络、电子邮件、即时通讯等软件的频繁使用,越来越多的用户隐私信息也都被存储在手机之中。智能手机操作系统的数据安全,成为今日关注的焦点。文中深入研究了iOS系统的各项安全机制,分析在iOS系统越狱对安全机制的影响,以及敏感数据泄露的可能性。然后根据iOS系统越狱后暴露的安全性问题,分析研究了可能的植入方式。最后讨论了恶意程序检测手段,再针对越狱iOS系统出现的安全隐患,提出了安全加固的防范性措施。