JADE-DB:基于靶向变异的大语言模型安全通用基准测试集

提出大语言模型安全通用基准测试集—JADE-DB,该数据集基于靶向变异方法自动化构建,能够将经验丰富的大语言模型安全测试员和多学科专家学者手工撰写的测试问题转化为高危通用问题,保持语言自然性的同时不改变其核心语义,且能够攻破十余款国内外知名大语言模型的安全防护机制.根据语言复杂性差异,JADE-DB包含基础、进阶、高危3个安全测试等级,共计上千条覆盖违法犯罪、侵犯权益、歧视偏见和核心价值观4大类违规主题、30多种违规主题的通用测试问题,其中针对国内开源(中文,8款)、国内商用(中文,6款)和国外商用大语言模型(英文,4款)这3组大语言模型分别构建的3款通用高危测试集,可造成每组模型在高危测试集上的平均违规率均超过70%,测试问题均可同时触发多款模型违规生成.这表明,语言的复杂性导致现有大语言模型难以学习到人类无穷多种表达方式,因此无法识别其中不变的违规本质.

多视角看大模型安全及实践

随着人工智能领域大模型(large model)的广泛应用,大模型,尤其是大语言模型(large language model,LLM)的安全问题受到了广泛关注.大模型作为一种新兴技术,与之相关的安全态势分析以及安全体系建设均亟待挖掘与探索.从社会关系以及技术应用2个视角,分析了大模型安全的整体趋势.同时,基于大模型自身的特点,梳理了大模型安全能力建设的实践思路,为大模型研发、大模型应用构建提供了安全体系构建的参考方案.介绍的大模型安全能力实践方案包括安全评估基准建设、模型价值观对齐方法、模型线上服务安全系统建设3个部分.

深度学习模型安全性研究综述

随着智能化进程的不断加快,以深度学习为代表的人工智能技术得到不断发展。深度学习在众多领域得到广泛应用的同时,其中存在的安全问题也逐渐暴露。普通用户通常难以支撑深度学习所需的大量数据和算力,转而寻求第三方帮助,此时深度学习模型由于失去监管而面临严重安全问题。而深度学习模型在全周期内均会遭受后门攻击威胁,使得深度学习模型表现出极大脆弱性,严重影响人工智能的安全应用。从深度学习模型所需资源条件来看,训练数据、模型结构、支撑平台均能成为后门攻击的媒介,根据攻击媒介的不同将攻击方案划分为基于数据毒化、模型毒化、平台毒化3种类型。介绍了对其威胁模型及主要工作,在此基础上,梳理了针对现有后门攻击的防御措施。最后,结合所在团队的相关工作,并根据当前相关技术研究进展及实际,探讨未来研究方向。

一种对多级安全模型安全性的分析方法

由于BLP模型的基本安全公理不能完全证明模型的安全性,因此,在分析BLP改进模型的安全性时,如果模型的安全策略十分复杂而不能直接判断其安全性,或者模型由于改变了安全属性定义等而动了基本安全公理的推理基础时,应从其他角度证明改进模型的安全性.利用基于系统动作的不干扰模型,从信息流的角度给出一种对多级安全模型的形式化分析方法,为多级安全模型的安全性验证提供了一种新的途径.该不干扰模型把不干扰关系扩展到系统动作之间,提出了新的单步展开定理,可描述多级安全模型中的动态策略.通过以ABLP与DBLP模型为实例进行分析,说明了该分析方法的实用性.

对Bellare-Rogaway 3PKD模型安全性定义的修正

指出Bellare和Rogaway在1995年提出的三方密钥分发模型——Bellare-Rogaway 3PKD模型的安全性定义存在缺陷。为此,设计了一个新的三方密钥分发协议P-Flaw。该协议在Bellare-Rogaway 3PKD模型下是可证明安全的。但是通过分析发现该协议不能够抵抗服务器欺骗攻击、已知会话密钥攻击和重放攻击等攻击形式,其原因在于Bellare-Rogaway 3PKD模型不能够对分发的会话密钥进行源识别。利用匹配会话的概念,修正了Bellare-Rogaway 3PKD模型的安全性定义。

系统安全工程能力成熟模型安全度量研究

为解决在应用系统安全工程能力成熟模型 (SSE CMM )过程中如何度量其应用效果的问题 ,从两个不同的角度讨论了度量SSE -CMM的应用效果的方法 .阐述了“过程度量”和“安全度量”的定义和发展 ,以及如何对它们进行分组和识别 .研究结果表明 ,安全度量是衡量系统安全状态和运行能力、SSE

ECK2007模型与其他密钥协商协议模型安全强弱关系的形式化证明(英文)

比较了安全性模型Extended Canetti & Krawczyk 2007(ECK2007)与其他4个安全模型(Bellare & Rogaway 1993(BR93),Bellare & Rogaway1995(BR95),Bellare,Pointcheval & Rogaway 2000(BPR2000)和Canetti & Krawczyk 2001(CK2001))的不同点,并形式化地分析了这些模型之间的强弱关系,对模型间存在的蕴含关系提供了形式化证明,对非蕴含关系提供了反例。

车间管理系统的决策模型安全机制研究

介绍基于面向方面的编程(AOP)思想和增强决策支持系统(DSS)模型安全的策略。分别从安全模型在系统中的角色、模型定义、模型异常和模型实现等角度进行阐述。提出非事务操作的回滚方法。已开发的模型安全可靠,已经成功应用于实践,并取得良好的效果。

基于模糊贝叶斯网络的引水隧洞安全评价模型分析

为准确预测黄河引水隧洞安全隐患,提出基于模糊集理论和主观贝叶斯方法的模糊贝叶斯安全评价模型。结合实际巡检数据,模型使用贝叶斯网络处理模糊信息与不确定信息,将巡检数据中给出的多态性故障事件模糊化;再通过贝叶斯网络的条件概率表找出不同故障事件之间的逻辑关系;最后获得对引水隧洞安全模型的整体评价。通过开展引水隧洞安全评价模型实例分析,验证了该方法的可行性。

滑坡区输电塔线体系风振响应及主客观安全评价模型

滑坡区输电线路在边坡变形和风荷载共同作用下,极易产生断线、倒塔等事故。以滑坡区某输电线路为研究对象,建立2塔3线有限元模型,运用Kaimal谱建立风荷载模型,分析30°、45°、60°、90°风向角风荷载和15种边坡变形组合作用下,塔线体系的动力响应规律,提出应急加固建议。接着运用层次分析法和基于相关性指标权重法(CRITIC)分别确定主客观权重值,采用最小鉴别信息原理获得主客观组合权重,最终通过引入均化系数优化模糊综合评价法,建立塔线体系主客观安全性评价模型,并进行实例应用验证。结果表明:风荷载作用下输电塔线体系承受边坡变形能力总体上明显降低,且随着风向角的增大而减小,最不利于工况为单塔腿沉降叠加90°风向角,相对无风时抗变形能力降低69%。主客观安全性评价模型实例评价结果与实际一致,可用于滑坡区输电塔线体系的安全性评价。

基于SI-SB系统安全模型的多层级边缘智能管控模式

为探索信息化、智能化技术赋能下的创新型安全生产管控模式,从安全信息学的角度分析安全管控过程中的信息流动特点,提出安全生产多层级边缘智能管控模式;基于安全信息-安全行为(SI-SB)系统安全模型分析安全管控过程中安全决策偏差和滞后的机制,提出安全管控系统性能改进的思路;结合安全生产组织管理体系特点和数字化技术优势,阐述数字化技术在信息感知传递、安全信息解释和安全行为引导等3个方面的赋能依据,以及数字化感知、智能化决策和多层级管控等3个方面的赋能途径,并提出具备智能决策、敏捷响应、弹性扩展和人机协同特点的安全生产多层级边缘智能管控模式;在紧急事件、短周期管控、长周期管控3类场景中,对应用智能管控模式前后的安全事件响应进行时效性计算和对比。结果表明:所提出的多层级边缘智能管控模式能够显著提高安全管控效能。

基于零信任安全模型的轨道交通数据隐私保护

为解决轨道交通网络数据传输杂乱的问题,提升数据样本的安全性,研究基于零信任安全模型的轨道交通数据隐私保护方法。在零信任安全模型的基础上,分别定义公钥密码与私钥密码模板,建立完整的轨道交通数据隐私链路标签。完善数据样本验证机制以提升数据安全性,通过求解交互认证系数的方式辨别隐私数据样本,结合敏感度指标实现轨道交通数据隐私保护。实验结果表明,在轨道交通网络中应用零信任安全模型,可在保证正序数据传输速率的同时将乱序数据传输速率限制在3.52 Mb/ms以下,能够满足轨道交通数据隐私保护的应用需求。

基于本质安全理念的安全屋模型建设研究

本质安全型企业,是企业安全管理追求的最终目标。利用层次分析法梳理化工企业安全管理架构。从基础层、支柱层和目标层3个方面,建设由3个一级要素、9个二级要素和25个三级要素构成本质安全管理体系,经过“PDCA”动态循环模式的系统性闭环运行,建成具有化工科研(试验)生产单位特点的安全屋模型。最后,结合化工企业安全管理运行实践,表明基于本质安全理念的安全屋模型能为争创本质安全型的企业提供理论和方法借鉴。

安全病房模型在精神科应用的研究现状与进展

精神科病房是暴力和冲突等不良事件的高发场所,不仅危害患者和医护人员的身心健康,也影响医疗质量和效率[1-2]。目前,我国精神科病房暴力的发生率高达78%,远高于日本、瑞典等国家[3]。为了保证患者安全,医院通常会采取隔离或约束等强制控制措施[4];然而,这些措施并非无害,可能会加剧患者的痛苦、创伤和暴力行为,甚至引起法律纠纷。因此,如何有效地减少强制控制措施的使用.

业务视角安全模型评估法

业务视角安全模型评估法是以业务使用流程为主线,将业务实现的全过程串接起来,形成一个端到端的,体现业务使用和网络实现的全景模型,以便全面呈现业务实际使用中的安全状态,并以是否影响业务安全来评估业务安全性的一种科学方法。有助于解决传统方式在挖掘网络隐患中存在的盲点,提升网络安全。

基于密码的大模型安全治理的思考

随着大模型技术的迅速发展和广泛应用,其安全性问题日益凸显。密码学作为网络空间安全的核心技术之一,在保障大模型系统安全方面发挥着重要作用。围绕大模型技术发展态势、安全政策与标准现状,针对所面临的安全威胁与风险,研究密码技术在大模型系统安全治理中的应用,并提出基于密码的安全治理架构,阐述架构的构建原理和关键组成,为大模型的安全防护提供了新的视角,为后续密码学与人工智能技术的融合研究提供参考。

多因素耦合失效模式下地铁施工安全系统与管理模型

为提升地铁施工安全管理效果,减小地铁坍塌事故的发生,分析地铁施工事故风险因素。首先,分析事故致因中人群-机群的多因素耦合模式;然后,借助事故致因“2-4”模型(24Model)和广义安全模型(GSM),构建地铁施工安全系统管理模型;最后,将人群-机群系统多因素耦合失效模式应用于已有的16起地铁施工坍塌事故,统计得到14个人群与6个机群致因因素,分别给出其多因素耦合模式及作用路径,并计算风险等级。结果表明:地铁施工人群-机群的多因素耦合效应包含6种模式和14条作用路径。地铁施工安全系统管理模型分为目标层与匹配层,其中,匹配层主要是将事故原因与安全防线相匹配,包括微匹配、中匹配和宏匹配3个层面。并基于地铁施工安全系统管理模型,给出地铁坍塌事故预防安全管理“三道防线”。

基于数据驱动的大坝安全监控模型的研究现状及展望

为了实现对大坝运行和服役性态的监控和预警,大坝安全监控模型是最为关键的实现技术模型。由于信息技术和人工智能的进步,数据驱动的大坝安全监控模型近年来得到了较大的关注和发展。文章详细地论述了基于数据驱动的大坝安全监控模型,分别从统计模型、人工智能模型和无损检测技术3个方面进行深入地总结和阐述,并讨论和阐述了目前最新的发展现状和面临的主要问题。通过对最新的研究成果的总结和论述为大坝安全研究和管理人员提供基础性材料。

基于神经网络算法的无线网络安全模型设计

为实现对无线网络的有效保护,文章运用BP神经网络和GA遗传算法,完成对无线网络安全模型设计。首先,将BP神经网络与GA遗传算法进行有效的融合,提出一种GABP神经网络算法。其次,针对无线网络安全问题,运用该算法,从无线网络拓扑结构设计、无线网络入侵检测单位模型构建入手,完成对无线网络安全模型的设计。最后,对该模型进行仿真分析。结果表明:将BP神经网络与GA遗传算法应用到无线网络攻击类型中从而提高识别率,降低了误报率,确保了无线网络的安全性和可靠性。笔者希望该研究可以为相关人员提供有效的借鉴和参考。

基于WOA-BP神经网络的采空区地表沉降安全预测模型

为了提高采空区地表沉降安全预测的准确性,本研究选择了上覆岩层弹性模量、泊松比、粘聚力、内摩擦角、开采深度、采高、矿体倾角和采场尺寸共8项影响采空区沉降的关键指标。通过鲸鱼算法(WOA)优化BP神经网络,构建了WOA-BP神经网络采空区地表沉降安全预测模型,并对采空区地表沉降趋势进行了初步预测与分析。模型解算结果表明,WOA-BP神经网络安全预测模型的均方误差为0.0074988,平均绝对误差为0.079362,而传统BP神经网络的均方误差为0.31964,平均绝对误差为0.56416。因此,相比传统BP神经网络安全预测模型,WOA-BP神经网络安全预测模型的预测精度显著提高,误差更小,从而增强了对采空区沉降安全性的预测能力。