糖尿病视网膜病变AI产品的模拟对抗测试研究

由于临床数据集的建设难度大,且数据构成、数据容量、标注标准化程度要求较高,使用测试集评价人工智能(Artificial Intelligence,AI)产品泛化能力的推广难度较大。作为标准测试集的补充,使用对抗性样本有可能提供有意义的扩展。本研究根据数学物理模型对现有数据进行变换,观测AI的变化。结果发现不同的算法在图像压缩、图像裁剪、图像滤波测试中灵敏度和特异性的表现具有明显差异。本文在模拟对抗上进行了初步的探索,将该方法运用于算法性能评价,结果表明该方法能够从新的角度反应AI产品的性能,辅助对其泛化能力的评价。

针对医学人工智能产品的对抗测试技术平台设计

目的:设计针对医学人工智能产品的对抗测试技术平台,以为医学人工智能产品提供对抗测试方法、通用性能评价和不良事件监控。方法:该平台基于浏览器/服务器(Browser/Server,B/S)架构设计,采用MySQL数据库进行搭建。该平台主要包括数据集管理、人工智能产品模型管理和人工智能性能监控3个模块,其中数据集管理模块和人工智能产品模型管理模块均采用React框架进行搭建,人工智能性能监控模块基于Nodejs框架设计,包括对抗测试技术和性能动态追踪与风险预警2个子模块。结果:该平台可实现对不同模态的人工智能产品的对抗测试、通用性能评价和不良事件监控,能够为医学人工智能产品提供全方位的评价与分析。结论:该平台解决了目前医学人工智能产品检测薄弱的问题,能够满足医学人工智能产品检测需求和监管需求。

基于多目标演化优化的SVM对抗仿真测试算法

机器学习通常从数据中挖掘潜在的模式与规则,容易受到数据的影响而产生诸如过拟合、欠拟合等现象,进而影响学习模型的泛化与鲁棒性能。从对抗仿真测试的角度考察SVM可能存在的脆弱不稳定性,采用的对抗仿真策略是通过选择性地污染训练样本标签,模拟攻击SVM分类器使其性能退化,以测试其对训练样本的依赖性。为探究SVM分类器在不同样本组合攻击下的性能损失上限,设计了最小攻击代价-最大攻击成效这一对矛盾目标,构建了SVM仿真测试的多目标优化模型。该模型本质上是一种典型的多目标组合优化问题,可采用适当的多目标演化算法求解目标间的一组非支配解集,揭示分类器在不同样本组合攻击下的分类性能表现。在人工及真实数据集上的仿真对比实验结果表明:所提方法能够一次性生成不同攻击水平下的最优攻击样本组合,取得最大的分类性能损失,更能全面测试SVM分类器性能的稳定性。

反应堆过程控制强化学习可靠性评估方法研究

人工智能技术的发展推动了强化学习(RL)算法在工业过程控制中的应用。在航空、航天和核能等行业中,不仅要求控制算法准确性高,还对控制算法的可靠性提出高要求。对RL领域的可靠性评估方法进行了研究,提出了反应堆过程控制RL可靠性评估方法。该方法通过分析模型的推理性能以评估RL模型的决策能力,并创新性地提出了针对传感⁃控制系统的对抗样本(AE)生成方法。通过AE测试评估RL模型的抗干扰能力。利用所提评估方法对反应堆过程控制RL模型进行了可靠性评估。试验结果表明,所提方法可以评估实际应用中RL模型的可靠性。该研究为人工智能技术在反应堆控制应用的可靠性评估工作以及RL领域对抗测试方法研究提供参考。