国际人工智能教育治理政策规划和创新路径研究——首届人工智能安全峰会《布莱奇利宣言》要点与思考

人工智能教育治理是世界各国教育面临的共同议题。厘清人工智能给教育带来的潜在风险,制定国际人工智能教育治理的政策规划,探明推动人工智能教育治理国际合作的创新路径,有助于促进人工智能技术全方位赋能教育,推动人工智能教育治理学术共同体构建。2023年11月,在首届人工智能安全峰会上,来自中国、美国、欧盟等28个国家和国际组织的代表,共同签署了《布莱奇利宣言》,这也是全球第一份针对人工智能技术的国际性声明。采用文本分析和内容分析法对该宣言出台的政策背景和研究目的进行分析,从人本主义批判视角着重探究国际人工智能教育治理的政策规划,并反思其对我国人工智能教育治理创新路径的启示:构建开放且透明的人工智能教育治理体系、建立动态化的人工智能教育治理监管机制、推动人工智能教育治理国际合作多边机制、提升人工智能赋能教育安全风险预判能力,以及秉持共同、综合、合作、可持续的安全观,以期加速我国人工智能教育治理现代化,为国际人工智能教育治理总体规划的制定贡献中国方案。

总体国家安全观视域下人工智能安全风险治理研究

人工智能技术是引领中国社会智能化转型的核心技术,人工智能安全是保障人工智能健康发展的关键。随着人工智能技术运用领域的广谱性扩散,人工智能安全风险加剧蔓延,严重危害总体国家安全。在当前情势下,由战略政策、伦理规范、技术标准和法律法规组成的人工智能安全风险治理框架对总体国家安全的聚焦度不足,各安全治理要素衔接不畅并存在安全保障缺口,已不符合人工智能安全风险化解的内在逻辑,无法满足充分保障总体国家安全的风险治理需要。人工智能安全风险治理应在总体国家安全观的指导下,贯彻全面治理与系统治理思维,通过对现有治理框架进行修正,确立整体治理、动态治理、精准治理、差异治理原则并嵌入具体治理措施,通过系统性化解安全风险全面保障人工智能安全与总体国家安全,促进人工智能健康发展,推动社会智能化转型。

人工智能安全知识图谱构建技术研究

人工智能技术在飞速发展的同时引发众多安全隐患,现阶段人工智能安全数据来源广泛、种类复杂并且缺乏规范描述,为此提出了一种人工智能安全知识图谱构建方法,利用知识图谱对当前多源异构数据进行分析与整合,将复杂关联的数据进行科学表示,挖掘潜在价值并形成领域知识库。针对人工智能安全领域概念的多样性和关联性,提出一种分层结构人工智能安全本体,使本体结构更加多元化和扩展化,为知识图谱构建过程提供规则约束,并基于此形成人工智能安全知识库;为了有效利用特征信息及减少噪声干扰,采取基于双向长短时记忆网络-条件随机场(BiLSTM-CRF)的命名实体识别算法和基于卷积神经网络-注意力机制(CNN-ATT)的关系抽取算法进行信息抽取,利用构建的人工智能安全数据集证明算法性能;以提出的安全本体为知识体系,以3D效果展现人工智能安全知识图谱多层次可视化结果,有效关联多源安全数据信息。实验结果表明,信息抽取算法性能良好,取得了比传统方法更好的效果;构建的人工智能安全知识图谱直观展示了层次结构及相互关系,符合准确性、一致性、完整性、时效性维度的知识图谱多维度评估标准,能够为人工智能安全研究提供支持。

大模型发展对人工智能安全风险治理的挑战和应对分析

以ChatGPT为代表的大模型发展正在掀起新一轮全球科技革命,将会重塑产业链和价值链。当前,大模型研发竞争白热化,相关产品“以日为单位”快速更新,文本、图片、代码、视频的生成工具能力不断提升,并且快速应用至垂直行业领域。但大模型具有算法不透明、数据强依赖、易被滥用等人工智能固有的风险,与其平台性、易使用、超能力等特点相互交织,风险快速传递并极速放大。短短数月,敏感数据泄露、虚假信息生成、漏洞攻击加剧等安全风险已经泄露,给人工智能治理带来新挑战,引发热议和担忧,多个国家和地区已经着手研究和探索应对举措,全球性的大模型治理迫在眉睫。本文分析了大模型的发展现状、安全风险和治理进展,并建议当下聚焦建立责任体系、加强技术攻关、推进行业自律、强化宣传引导、参与全球治理五大维度推进安全风险治理。

人工智能安全新进展标准化研究

围绕人工智能技术快速发展及其应用日益广泛所引发的安全问题,从人工智能技术和应用两方面分析当前人工智能的安全风险,研究国内外主要标准化组织的人工智能安全标准化工作进展、重点标准项目等,提出后续人工智能安全标准化工作的建议。

网络空间安全背景下的人工智能安全风险与治理

网络空间安全是国家安全的重要组成部分。人工智能技术不但能够赋能网络空间安全治理,同时也为其带来了不确定、不稳定等诸多挑战。首先,从利、弊两个方面分析了人工智能技术对于我国网络空间安全的影响;随后,针对技术、军事与政治三个领域,提出了我国网络空间人工智能安全治理的重点关注方向;最后,从顶层设计、主体职责、人才培养、话语权等四个视角,提出了推进我国网络空间人工智能安全治理的几点举措。

“人工智能安全”课程建设与教学研究

人工智能自身的安全性已成为前沿的研究热点,并产生了巨大的人才需求,迫切需要建设相关课程。通过论证和研究“人工智能安全”课程建设,系统地探讨“人工智能安全”课程教学内容,并研究设计符合业界需求和多元化人才培养要求的新型教学模式。教学内容涵盖了不断涌现的人工智能安全的前沿研究内容;教学方法依据以学为中心、目标导向,教学与实践相结合,教学效果检验与持续改进,加强社会使命和人文情怀培养,以科研促教学。

智慧警务视域下的人工智能安全问题研究

智慧警务是融合了大数据、物联网、云计算、人工智能等前沿技术的新型警务模式,是新时代公安工作社会化、法治化、智能化、专业化的体现。从人工智能安全风险、安全应用和安全管理三个维度出发,分析人工智能技术存在的四类安全风险及其在智慧警务中的应用后认为,人工智能的安全管理应从伦理规范和法律法规两个层面加强建设,以保障人工智能技术的可控性。

人工智能安全框架研究

人工智能是引领未来的战略性技术,正在引发经济社会和生产生活的深刻变革。但随着人工智能技术在各个领域的广泛应用,其安全问题也愈发突出,对其自身发展应用、个人隐私、社会稳定甚至是国家安全都带来了极大的影响。因此世界各国开始重视和加强人工智能安全治理,以规范和保障人工智能的安全发展。文章提炼人工智能安全内涵,梳理人工智能安全趋势和范围,并分析人工智能安全与可信赖的,关系。本次研究从安全目标、安全风险、安全测评和安全保障四个维度构建人工智能安全框架全治理能力提升、人工智能行业健康发展助力。

多无人系统协同中的人工智能安全探索

作为中国新一代人工智能规划中的重要组成部分,多无人系统协同是我国未来国防建设和社会发展的一项变革性技术。虽然多无人系统协同技术研究与系统集成已经达到了空前高度,但是其相关人工智能安全问题研究还处在萌芽阶段。本文阐述了统筹推进多无人系统协同赋能应用与风险防控的重大意义,提出了“四位一体”全面推进多无人系统协同安全发展的战略思路,探索了多无人系统协同在内生安全和衍生安全层面潜在的挑战与应对思路。研究提出了智能无人系统安全对策建议:构建国家级无人系统验证平台,推动人才队伍建设;逐步深化无人系统产业“放管服”,发展新一代人工智能安全生态;充分发挥多无人系统协同的优势,赋能保障和改善民生,服务构建人类命运共同体。

面向人工智能安全的政策与应用发展分析

梳理了近五年不同国家和地区人工智能安全相关政策法规,分析了人工智能在智能制造、智能交通、智能医疗、智能教育等应用发展中产生的安全问题,并对我国人工智能安全未来进行了展望,以期为相关从业者提供参考。

人工智能安全——对抗攻击分析

随着人工智能的迅速发展及其广泛应用,人工智能安全也开始引起人们的关注,攻击者在正常样本中增加了细微的扰动,导致人工智能深度学习模型分类判断出现错误,这种行为称为对抗样本攻击。该文综述对抗样本攻击的研究现状,研究了对抗样本攻击的经典算法:FGSM、DeepFool、JSMA、CW,分析了这几种经典对抗算法的生成对抗样本的效率及其对深度学习模型的误导效果,为对抗样本检测和防御算法设计提供理论指导。

人工智能安全国际标准化进展研究

国际标准化工作对人工智能及其产业发展具有基础性、支撑性、引领性的作用,既是推动产业创新发展的关键抓手,也是产业竞争的制高点,其中安全标准是人工智能标准体系的重要组成部分。通过研究人工智能安全领域国际标准化工作现状,针对各国际标准组织在人工智能安全领域标准化工作的特点、关注点以及未来布局方向进行分析,提出我国参与人工智能安全国际标准化工作的建议。

人工智能攻击：人工智能安全漏洞以及应对策略

在当前开发使用的人工智能应用系统中,人工智能算法存在着以统计方式进行学习、完全依赖数据等固有特性,意味着人工智能系统在攻击面前脆弱不堪。人工智能攻击是指恶意操纵人工智能系统,致其功能失常。目前,网络内容过滤、军事、执法、商业等是高风险的人工智能应用领域,若遭受人工智能攻击,可能对国家和社会的安全造成严重后果。对此,该报告提出应通过制定和实施“人工智能安全守则”计划,作为一项公共政策机制,系统地防范和应对人工智能攻击风险。

构建人工智能安全风险治理体系的思考

人工智能在与各行业融合应用过程中,也面临着日益复杂的安全风险。当前,人工智能安全风险治理已在全球得到高度关注,欧盟、美国、新加坡、日本等正在加快推进治理政策出台,我国在互联网信息服务等专门领域开展了大量探索,全球人工智能治理正在从原则性规定向可操作、可落地方向迈进。本文在梳理分析全球人工智能治理政策、实践进展的基础上,提出了我国人工智能安全风险治理体系构建原则和思路,建议从规则引导、技术攻关、评估认证三大维度体系化推进人工智能安全风险治理。

人工智能算力基础设施安全体系架构研究

人工智能算力基础设施是人工智能发展的重要基石,但由于其属性多样、节点复杂、用户数量多以及人工智能自身脆弱性等特性,使得人工智能算力基础设施在建设和运营过程中面临着严峻的安全挑战.分析了人工智能算力基础设施的内涵和安全发展的背景形势,从强化自身安全、保障运行安全、助力安全合规3方面提出了人工智能算力基础设施安全体系架构及发展建议,旨在为人工智能算力基础设施安全建设提供方法和思路,为选择使用安全的人工智能算力基础设施提供判别依据,为人工智能产业健康、持续发展提供决策参考.

人工智能大模型应用中的安全问题与解决策略

近年来,随着计算机硬件和算法技术的飞速发展,以大模型为代表的人工智能技术在许多领域都表现出比人类更大的优势。然而,从最初的数据收集和准备到训练、推理和最后的部署过程中,基于人工智能的系统通常容易受到各种安全威胁。在基于人工智能的系统中,数据采集和预处理阶段容易受到传感器欺骗攻击,在模型的训练和推理阶段容易受到投毒攻击和对抗性攻击。为了解决这些针对人工智能系统的安全威胁,总结了人工智能大模型安全问题面临的挑战和解决策略,以便基于大模型的人工智能技术可以在工业应用中落地。具体地说,首先介绍了人工智能大模型及其特点,然后总结分析了人工智能大模型存在的技术风险和安全漏洞。进一步给出了人工智能大模型安全检测及保护关键技术的研究方向,提出了未来人工智能大模型安全面临的一些挑战和机遇。

弱人工智能时代的意识形态风险及其纾解

弱人工智能在深刻改变人类生产生活方式和信息传播方式时,也会在增殖性法则和全球化逻辑的共同作用下诱发意识形态风险,原因在于:一是弱人工智能过度关注“数字化身”,致使主体所在的“意义世界”发生混乱;二是弱人工智能具有“去政治化”特征,这会加剧技术自由主义思潮弥散,削弱国家意识形态的共识整合能力;三是受制于资本逻辑的弱人工智能具有监控特性,意在传播西方价值时规训“他者”。在唯物史观展开的世界历史进程中,必须从认同重塑、意义祛魅和技术反制等维度出发,积极应对弱人工智能引发的意识形态安全问题。

人工智能安全标准化研究

本文围绕人工智能安全,分析了人工智能面临的安全风险,研究了国内外人工智能安全相关标准研制现状,提出了人工智能安全标准化工作建议。

人工智能的逆向工程——反向智能研究综述

在大数据时代,人工智能得到了蓬勃发展,尤其以机器学习、深度学习为代表的技术更是取得了突破性进展.随着人工智能在实际场景中的广泛应用,人工智能的安全和隐私问题也逐渐暴露出来,并吸引了学术界和工业界的广泛关注.以机器学习为代表,许多学者从攻击和防御的角度对模型的安全问题进行了深入的研究,并且提出了一系列的方法.然而,当前对机器学习安全的研究缺少完整的理论架构和系统架构.从训练数据逆向还原、模型结构反向推演、模型缺陷分析等角度进行了总结和分析,建立了反向智能的抽象定义及其分类体系.同时,在反向智能的基础上,将机器学习安全作为应用对其进行简要归纳.最后探讨了反向智能研究当前面临的挑战以及未来的研究方向.建立反向智能的理论体系,对于促进人工智能健康发展极具理论意义.