面向AI安全的深度伪造视频检测技术

针对实际应用伪造类型多样化,而检测过程中只检测单一伪造数据类型等问题,提出了一种新的数据预处理方法,解决了视频中运动图像容易连续重叠的问题;针对人脸模糊伪造,侧面人脸伪造和遮挡人脸伪造问题,利用小卷积核代替大卷积核的方法训练出自己的Deeper网络;针对帧插入、帧复制、帧修改、帧内篡改四种常见的深度视频伪造,尤其是在测试领域差距较大的情况下,容易产生泛化性不足的问题,设计了一种改进的基于双流分析的深度伪造视频检测模型。

AI安全——对抗样本技术综述与应用

随着人工智能技术的飞速发展,基于人工智能的系统和应用呈现了爆发式增长.人工智能已经和人类的生活息息相关,给人们的生活带来极大的便利.同时,人工智能技术也对网络的安全问题带来了很大的挑战,黑灰产利用人工智能技术对互联网上的系统进行破解(尤其是在验证码识别领域).提出了基于对抗样本技术的对抗知识图谱验证码,融合了自然语言处理问答技术与对抗样本生成技术,因此提升了应对灰黑产攻击的鲁棒性,保障了互联网的安全环境.

AI+安全:数智化安全生产新阶段

国务院安委会2024年1月发布《安全生产治本攻坚三年行动方案(2024—2026年)》,要求加快推动安全生产监管模式向事前预防数字化转型,结合人工智能、大数据、物联网等技术,持续加大危化品重大危险源、矿山、尾矿库、建设施工、交通运输、水利、能源、消防、工贸钢铁、铝加工(深井铸造)、粉尘涉爆、烟花爆竹、油气储存、石油天然气开采等行业领域安全风险监测预警系统建设应用和升级改造力度。基于政策背景,企业安全生产数智化转型进入落地阶段,数智技术赋能安全生产大有可为。

物联网及AI“燃气&干烧”安全监控系统在家庭厨房安全防护中的应用

针对燃气泄漏、忘记关火使锅具烧干后导致火灾等厨房安全隐患,设计了一套物联网及AI“燃气&干烧”安全监控系统。该系统由AI燃气安全阀及热像干烧监控器组成,首次实现了系统中安全阀门与燃气灶的开启联动,变事后被动报警为事前主动发现并阻断安全事故的发生,并做到大中小泄漏点全覆盖监控。热像干烧监控器可通过AI自动识别明火离人超时、干烧达到危险临界值等安全状态,采取自动关断燃气安全阀并报警的主动安全措施。本系统通过智能化的监测及远程报警系统,可及时杜绝燃气泄漏事故的发生,并有效识别和控制因忘关火而导致的厨房火灾事故,保障了千家万户的人身及住房安全。

基于多重检测的关基终端安全防护技术研究

关键信息基础设施关系着国计民生乃至国家安全,随着各行业数字化程度越来越高,终端安全面临的网络威胁也越来越大,各类新型网络攻击手段在世界范围内频繁攻破各行业终端防线,造成巨大损失。研究提出一种基于多重检测分析的终端安全防护建设方案,以内存检测为核心,利用人工智能技术,建立“端网”联动分析,全面实现智能防御、共同防御,有效提升关键信息基础设施运营单位应对终端威胁的防范能力。

视觉AI技术在新能源风机叶片智能巡检的应用

随着工业互联网、物联网、大数据和人工智能等新兴技术的推广,行业及国家监管部门对安全生产提出了更高的标准和要求,风电厂安全管理的智能化落地迫在眉睫。本文针对传统风机叶片巡检过程中的滞后性、间歇性、繁杂性等问题,通过深度学习构建了风机叶片健康诊断巡检模型,提出了基于视觉AI的智能巡检方案,全面实时非接触地对风机叶片进行监测探伤、及时处置,降低了安全事故发生造成的损失。

人工智能在建筑施工安全领域的应用及分析

建筑工程施工安全关系着施工现场劳务工人的生命健康,也是保障项目施工顺利推进的前提。随着物联网技术、人工智能技术的快速发展,通过数字化、智能化的手段可提升对项目风险的准确辨识、感知监测以及管控应对能力,切实提升施工现场安全管理水平。本文通过调研梳理建筑工程施工安全相关的国内外学术研究及产品调研,并结合广联达自研安全管理产品及规划,梳理总结人工智能在工程施工安全领域的应用及分析,以期未来形成建筑场所智能化安全管理的整体管控方案。

文本后门攻击与防御综述

深度神经网络的安全性和鲁棒性是深度学习领域的研究热点.以往工作主要从对抗攻击角度揭示神经网络的脆弱性,即通过构建对抗样本来破坏模型性能并探究如何进行防御.但随着预训练模型的广泛应用,出现了一种针对神经网络尤其是预训练模型的新型攻击方式——后门攻击.后门攻击向神经网络注入隐藏的后门,使其在处理包含触发器(攻击者预先定义的图案或文本等)的带毒样本时会产生攻击者指定的输出.目前文本领域已有大量对抗攻击与防御的研究,但对后门攻击与防御的研究尚不充分,缺乏系统性的综述.全面介绍文本领域后门攻击和防御技术.首先,介绍文本领域后门攻击基本流程,并从不同角度对文本领域后门攻击和防御方法进行分类,介绍代表性工作并分析其优缺点;之后,列举常用数据集以及评价指标,将后门攻击与对抗攻击、数据投毒2种相关安全威胁进行比较;最后,讨论文本领域后门攻击和防御面临的挑战,展望该新兴领域的未来研究方向.

探究安全AI在企业网络安全问题中的解决方法

为从本质层面确保计算机网络安全控制的可靠性、有效性,解决多年互联网应用安全的困境,本文主要以安全人工智能(artificial intelligence,AI)为核心关注点,积极分析当下企业网络安全面临的风险,以此为核心深究其成因,提出基于安全AI的安全控制策略,凭借其自身更强、更多元化的能力,解决新时期企业网络安全存在的困难,以期为相关人员提供参考。

机械化制造车间开展智能化转型升级的研究与设计

论文旨在探讨和设计机械化制造车间向智能化生产转型升级的路径与方法。随着“工业4.0”的推进,制造行业正经历着从传统机械化向智能化生产模式的转变。以彬长矿业集团生产服务中心的机加工热处理车间为案例,通过引入工业物联网、自动化机器、人工智能、大数据、云计算、数字仿真等关键技术,对现有车间进行基础设施升级、硬件装备的数字化改造、物料自动运输系统的设计、智能视频监控与AI安全管理的集成,以及数据采集汇总和软件功能的定制开发。通过这些方法,实现了车间生产效率的提升、生产成本的降低,并提高了产品质量。研究结果表明:智能化生产示范车间的设计与研究是企业转型升级的重要途径。企业通过引入先进的信息技术和自动化设备,能够实现生产过程的智能化管理和控制,从而推动企业的可持续发展,并为其他企业提供可借鉴的经验。

基于视觉的公路AI智慧安全帽的设计与实现

为了加强对施工环境的监测,规范施工人员正确使用安全防护工具,基于视觉的YOLOv5深度学习算法,设计出一款AI智慧安全帽,用于高速公路工程建设中安全管理人员对施工现场安全巡检,其可以实现高速公路工程建设施工巡检的可视化、信息化、智慧化管控。在需求分析的基础上,研究基于视觉的YOLOv5深度学习算法,并通过预训练模型对安全检测数据集进行训练,得到安全检测算法模型,同时详细描述了智慧安全帽的设计及移动端的AI检测实现方法。

基于样本分布特征的数据投毒防御

流量分类模型在更新过程中易受数据污染的干扰而降低模型性能,现有基于数据清洗的防御方法需依赖专家经验和人工筛选,且无法有效应对利用未知分布样本构造的投毒攻击。针对上述问题,受分布外检测和判别主动学习的启发,设计一种基于样本分布特征的数据投毒防御方法,通过二分类判别器筛选每轮新增样本中的已知及未知分布样本。对于新增的已知分布样本,通过模型预测与标注结果一致率评估新增样本的数据质量,决定是否进行模型更新;对于新增的未知分布样本,则利用基于标注正确率的少样本抽检评估样本可用性。实验结果表明,该方法在抵御数据投毒攻击的同时可以保证模型准确率,并有效识别利用未知分布样本构造的数据投毒攻击。

AIS系统在工程建设管理中的应用

从通过对船舶装配AIS系统、管控中心设立AIS监控系统、加强现场协管和违章处罚等方面着手,论述了如何在工程建设中利用AIS系统加强对施工船舶的动态监控,以确保工程的安全顺利实施。

2023年生成式AI大模型发展热点回眸

2023年,生成式大模型技术发展迅速,取得了一系列突破性的进展。回顾了2023年备受关注的大模型关键技术,包括大模型的能力涌现、多模态大语言模型的发展,以及大模型对齐和知识增强技术。介绍了大模型技术在医疗、教育等领域的垂直应用,以及对AI智能体与元宇宙技术发展的促进作用。此外,从数据隐私、有偏价值观、版权争议及虚假新闻传播等方面讨论了生成式大模型技术面临的安全挑战和发展趋势。

面向电力系统智能分析的机器学习可解释性方法研究(一):基本概念与框架

机器学习的可解释性是其在电力系统领域安全、可靠应用的关键环节与重要基础之一。针对电力系统智能分析的机器学习模型可解释性方法进行初步探讨。首先,阐述了机器学习模型可解释性的基本概念、数学描述与相关评价维度;之后,梳理了实现机器学习可解释的整体思路与技术路线,将可解释方法分为建模前解释、训练后解释与模型自解释3大类,并对其在模型诊断、安全评估、数据纠偏、知识发现等场景的应用进行了分析;最后,对目前电力智能分析的机器学习可解释性研究面临的挑战进行了展望。

深度学习数据窃取攻击在数据沙箱模式下的威胁分析与防御方法研究

详细分析了数据沙箱模式下,深度学习数据窃取攻击的威胁模型,量化评估了数据处理阶段和模型训练阶段攻击的危害程度和鉴别特征。针对数据处理阶段的攻击,提出基于模型剪枝的数据泄露防御方法,在保证原模型可用性的前提下减少数据泄露量;针对模型训练阶段的攻击,提出基于模型参数分析的攻击检测方法,从而拦截恶意模型防止数据泄露。这2种防御方法不需要修改或加密数据,也不需要人工分析深度学习模型训练代码,能够更好地应用于数据沙箱模式下数据窃取防御。实验评估显示,基于模型剪枝的防御方法最高能够减少73%的数据泄露,基于模型参数分析的检测方法能够有效识别95%以上的攻击行为。

基于侧信道与量化推理缺陷的模型逆向攻击

模型逆向攻击旨在恢复部署在推理终端的神经网络模型的结构和权重值,是AI安全中的基础问题,为对抗样本等高阶攻击提供数据支撑。提出了一种名为Cluster-based SCA的新型模型权重逆向方法,该方法不要求攻击者构造泄露模型。Cluster-based SCA方法以量化推理中存在的安全隐患为出发点,深入分析了量化推理过程,发现在量化推理中存在的输出序列分类不等价现象可以判断猜测权重的正确与否。Cluster-based SCA将采集到的模型运行时产生的侧信道信息按照假设权重产生的中间值进行分类,以分类后的平均离散系数σ为评判标准,取σ最小时的权重为逆向权重。在仿真实验上验证了Cluster-based SCA方法的有效性,实验使用汉明重模型来模拟AI芯片的泄露模型,对于目标CNN,Cluster-based SCA方法以52.66%的TOP2恢复率恢复了其第一层卷积层所有卷积核权重,对于取值位于显著区的权重,TOP2的恢复率均达到了100%。

基于时间侧信道逆向神经网络模型

神经网络模型逆向攻击的目的是恢复部署在推理终端的网络结构与权重,它不仅是重要的知识产权,模型中的参数信息还会带来如对抗样本攻击的安全威胁.在保密模型结构设置中,标准的保护措施,如阻止二进制回读、阻止JTAG访问、代码混淆等手段能够防止模型信息泄露,导致不能有效逆向神经网络模型.通过研究发现,在迁移学习的背景下,应用开发中部署的网络多是由已存在的知名网络再训练而生成,因此不同的时间消耗序列能够作为特征,用来确定神经网络模型的具体结构.已有基于侧信道分析的逆向方法都是面向特定神经网络结构,本文提出的逆向方法可以面向所有神经网络模型.通过分析卷积神经网络中卷积层、池化层以及全连接层中的时间消耗,提出一种基于时间的模型逆向攻击.该方法需要向目标神经网络结构提供随机输入,测得运行时各层时间消耗,将模型逆向问题转化为模型分类问题.本文对Vgg系列、ResNet系列等神经网络结构进行实测实验,使用不同数量的时间特征进行训练与预测,所选取的指标包括精确率、召回率、F1值等,随着选取的时间特征层数越多,分类器预测的效果越好.实验结果表明当使用100层运算层的时间特征时上述指标均可达到98.9%,本文方法能够有效区分出选取的11种神经网络结构.

人工智能治安风险及其防控研究

人工智能的发展在给人们的生产生活带来便利的同时,也隐藏着风险与危机。相较于仍然存在于科幻作品中的强人工智能威胁,弱人工智能带来的治安风险是目前更加亟待解决的核心问题。人工智能治安风险不仅包括其可能成为犯罪人实施犯罪的工具,还包括其在应用中本身存在的漏洞以及造成的相关社会因素变动引起的治安风险。对此,需要从技术设计、法律规制、社会治理、协作交流四个方面加强对人工智能治安风险的防控。