人工智能可解释性评估研究综述

近年来,可解释人工智能(XAI)发展迅速,成为当前人工智能领域的研究热点,已出现多种人工智能解释方法。如何量化评估XAI的可解释性以及解释方法的效果,对研究XAI具有重要意义。XAI的可解释性评估涉及主、客观因素,是一个复杂且有挑战性的工作。综述了XAI的可解释性评估方法,首先,介绍了XAI的可解释性及其评估的概念和分类;其次,总结和梳理了一些可解释性的特性;在此基础上,从可解释性评估方法和可解释性评估框架两方面,综述和分析了当前可解释性评估工作;最后,总结了当前人工智能可解释性评估研究的不足,并展望了其未来发展方向。

可解释性人工智能有助于提升自适应学习的学习效果吗?——基于29项实验与准实验的元分析

当前,以数据驱动为基础的自适应学习技术在教育领域展现出了巨大的潜力,然而其不透明的“黑箱”属性引发了教育研究者和实践者的普遍担忧。可解释性人工智能被认为有潜力在自适应学习情境中帮助学习者理解干预决策,从而提升学习成效,但其在教育应用中的实践效果存在争议。为此,文章采用元分析方法,对29项实证研究的66个效应量进行分析,发现可解释性人工智能对自适应学习的学习效果的提升为中等程度,其中对学习者认知和元认知维度的影响更大;可解释性人工智能的促进作用因受到解释设计、呈现设计、实验设计的影响而存在差异。基于研究结果,文章提出未来的自适应学习干预应坚持以学习者为中心,注重学习干预解释的互动性、可读性和边界性等启示,以促进可解释性人工智能在教育领域的深度应用。

从统计学与心理学的视角看可解释性人工智能

人工智能给出结果的可解释性是人工神经网络用户在实际应用中十分关注的一个问题。针对这一问题,对DARPA设立的可解释性人工智能项目的主要研究内容进行了概要性解读,首先从统计学的视角对人工神经网络的任意函数逼近与统计回归的本质进行了分析,指出了人工神经网络所给出结果的概率统计意义。在此基础上从心理学的视角对人与机器之间沟通与说服的形式与过程进行了剖析,展示了心理学在人机交互与人机信任建立过程中所发挥的重要作用。这对于更加理性地看待人工智能的发展以及人工神经网络的应用边界条件具有重要的参考意义。

可解释人工智能的教育视角:基于伦理和素养的思考

人工智能的飞速发展和由此带来的产业革命引发了一系列人工智能伦理问题,这些问题正成为阻碍新技术潜力发挥的主要障碍。人工智能所处的困境与生物科技、医学等领域一样,在新技术开发与实践的发展过程中,伦理问题也备受关注。然而,与其他领域不同,人工智能增加了一个新的伦理维度——可解释性,即机器学习的模型和算法,可以被用户理解和需要对用户负责任。这对于教育来说,开启了一个前所未有的参与人工智能发展的空间和可能。据此,在研究支持人工智能系统技术的同时,也需要对大众开展人工智能教育和培训,了解人工智能在各个领域的应用,以及人工智能系统和工具将如何改变人们的工作和生活。文章从教育角度探讨人工智能可解释性的内涵、原理和现实意义,以及人工智能给教育带来的新的发展动力和变革机遇。在此基础上,文章建议:首先,要完善人工智能开发流程,制定人工智能伦理规范和原则,通过培训和实践指导建立可解释和可信任的智能教育;其次,要开设人工智能教育课程,使学生掌握机器学习和其他人工智能技术的工作原理,构建可解释性人工智能的认知基础;最后,要加强人工智能素养教育,特别是人工智能伦理道德的培养,这是教育促进未来社会发展的重要责任和义务。

人工智能技术发展与主要国家技术布局

本文梳理回顾了人工智能历史上存在的三种技术路线——符号主义人工智能、联结主义人工智能、行为主义人工智能的发展现状,并探讨了世界主要国家在人工智能领域的布局,通过对比中、美、日、韩四国在人工智能领域发布的战略性政策文件,分析了四国在人工智能领域技术布局的异同,并着重分析了四国共同关注的知识驱动、类脑智能、可解释性三大技术,同时对我国人工智能发展提出了对策建议。

强化学习可解释性基础问题探索和方法综述

强化学习是一种从试错过程中发现最优行为策略的技术,已经成为解决环境交互问题的通用方法.然而,作为一类机器学习算法,强化学习也面临着机器学习领域的公共难题,即难以被人理解.缺乏可解释性限制了强化学习在安全敏感领域中的应用,如医疗、驾驶等,并导致强化学习在环境仿真、任务泛化等问题中缺乏普遍适用的解决方案.为了克服强化学习的这一弱点,涌现了大量强化学习可解释性(explainable reinforcement learning,XRL)的研究.然而,学术界对XRL尚缺乏一致认识.因此,探索XRL的基础性问题,并对现有工作进行综述.具体而言,首先探讨父问题——人工智能可解释性,对人工智能可解释性的已有定义进行了汇总;其次,构建一套可解释性领域的理论体系,从而描述XRL与人工智能可解释性的共同问题,包括界定智能算法和机械算法、定义解释的含义、讨论影响可解释性的因素、划分解释的直观性;然后,根据强化学习本身的特征,定义XRL的3个独有问题,即环境解释、任务解释、策略解释;之后,对现有方法进行系统地归类,并对XRL的最新进展进行综述;最后,展望XRL领域的潜在研究方向.

人-无人车交互中的可解释性交互研究

目的随着现代人工智能技术在自动驾驶系统中的广泛应用,其可解释性问题日益凸显,为此探讨人-无人车交互过程中的可解释性交互的框架以及设计要素等问题,以增强自动驾驶系统的决策透明性、安全性和用户信任度。方法结合可解释人工智能和人机交互的基本理论与方法,本文首先介绍了可解释性人工智能,对当前可解释内容的提取方法进行总结,然后以人-机器人交互的透明度模型为基础,建立人-无人车交互中可解释性交互的框架。最后从解释的对象、方式和评价等多个设计维度对可解释性的交互设计问题进行探讨,并结合案例进行分析。结论可解释性作为人与模型决策之间的接口,不仅仅是一个人工智能技术问题,而且与人密切相关,涉及到人-无人车交互中的多个层次。本文提出人-无人车交互中可解释性交互的框架,得出在人-无人车交互每个阶段需要的解释内容以及可解释交互设计的要素。

可解释性智能监测诊断网络构造及航空发动机整机试车与中介轴承诊断应用

航空发动机故障预测与健康管理是提高航空发动机安全性、可靠性以及经济可承受性的关键技术。基于深度学习的人工智能方法在机械故障诊断领域受到广泛关注并开展了深入研究,但现有深度学习“黑箱算法”的现状仍然存在模型可解释性差、理论基础薄弱等问题。针对航空发动机健康管理与智能运维的迫切需求,提出航空发动机可解释性智能监测诊断网络,并在某型涡扇发动机整机长试试验中验证了异常检测与中介轴承故障诊断的有效性。将发动机振动信号先验信息融入稀疏表示模型,对模型的迭代求解算法进行展开得到结构具有可解释性的核心网络;针对航空发动机异常检测与智能诊断任务构造了基于对抗训练框架的可解释性异常检测子网络和基于特征提取框架的可解释性故障诊断子网络。本文提出的基于迭代算法展开的网络构造框架具备明确的理论基础,即网络设计有依据;稀疏表示模型驱动的可视化方法能够检验网络是否学到了与发动机故障相符的有意义的特征,即学习结果可信任。最后,通过某型涡扇发动机整机长试试验积累的超过500小时的试车数据,验证了本文提出的模型驱动的可解释性智能监测诊断网络在航空发动机异常检测与中介轴承故障诊断方面的有效性与可靠性。

基于图神经网络的切片级漏洞检测及解释方法

随着软件的复杂程度越来越高,对漏洞检测的研究需求也日益增大.软件漏洞的迅速发现和修补,可以将漏洞带来的损失降到最低.基于深度学习的漏洞检测方法作为目前新兴的检测手段,可以从漏洞代码中自动学习其隐含的漏洞模式,节省了大量人力投入.但基于深度学习的漏洞检测方法尚未完善,其中,函数级别的检测方法存在检测粒度较粗且检测准确率较低的问题,切片级别的检测方法虽然能够有效减少样本噪声,但仍存在以下两方面的问题:一方面,现有方法大多采用人工漏洞数据集进行实验,因此其在真实环境中的漏洞检测能力仍然存疑;另一方面,相关工作仅致力于检测出切片样本是否存在漏洞,而缺乏对检测结果可解释性的考虑.针对上述问题,提出基于图神经网络的切片级漏洞检测及解释方法.该方法首先对C/C++源代码进行规范化并提取切片,以减少样本冗余信息干扰;之后,采用图神经网络模型进行切片嵌入得到其向量表征,以保留源代码的结构信息和漏洞特征;然后,将切片的向量表征输入漏洞检测模型进行训练和预测;最后,将训练完成的漏洞检测模型和待解释的漏洞切片输入漏洞解释器,得到具体的漏洞代码行.实验结果显示:在漏洞检测方面,该方法对于真实漏洞数据的检测F1分数达到75.1%,相较于对比方法提升了41.2%-110.4%;在漏洞解释方面,该方法在限定前10%的关键节点时,准确率可达73.6%,相较于两种对比解释器分别提升了8.9%和24.9%,且时间开销分别缩短了42.5%和15.4%.最后,该方法正确检测并解释了4个开源软件中59个真实漏洞,证明了其在现实世界漏洞发掘方面的实用性.

基于SHAP XAI的高过载永磁同步电机优化设计

提出了一种机器人高过载无框伺服电机方案,首先从表贴式永磁同步电机的电压转矩方程出发,探讨了影响表贴式永磁同步电机过载能力的因素,通过SHAPLEY模型可解释性框架对主要影响电机过载能力的永磁体厚度、气隙长度、极弧系数、定子裂比等设计因素进行分析,得到上述设计参数对电机过载能力贡献度随不同设计方案和自身数值改变的变化规律,然后利用该模型对科尔摩根TMB(S)-6051-A无框永磁同步电机进行优化设计,最终使电机过载能力达到4.6倍。

基于可解释时空图卷积网络的多传感数据融合诊断方法

随着大数据和人工智能技术的发展,深度学习及其衍化算法在故障诊断领域取得了丰硕成果并得到了广泛应用。然而,智能故障诊断方法也存在着诸多挑战:(1)现有的多传感数据融合方法难以充分挖掘多传感器间的时空信息来优化诊断性能;(2)智能诊断模型的决策过程可解释性弱,无法满足实际工业场景下的可靠性要求。因此,提出一种基于可解释时空图卷积网络的多传感数据融合诊断方法。首先,通过构建门控卷积层以学习并增强时间特征;其次,结合传感器空间布局关系和图卷积网络多传感信息融合能力,学习并提取多传感器数据的空间特征,并通过行星齿轮箱故障诊断任务验证了模型有效性;最后,利用改进梯度类激活映射算法分析各传感器数据对模型诊断决策过程的重要度,从而提升模型更新过程的可解释性。试验结果表明,所提方法不仅具有较好的诊断性能,而且为多源传感融合诊断提供了一种有效的事后解释方法。