Toward Trustworthy Decision-Making for Autonomous Vehicles:A Robust Reinforcement Learning Approach with Safety Guarantees

While autonomous vehicles are vital components of intelligent transportation systems,ensuring the trustworthiness of decision-making remains a substantial challenge in realizing autonomous driving.Therefore,we present a novel robust reinforcement learning approach with safety guarantees to attain trustworthy decision-making for autonomous vehicles.The proposed technique ensures decision trustworthiness in terms of policy robustness and collision safety.Specifically,an adversary model is learned online to simulate the worst-case uncertainty by approximating the optimal adversarial perturbations on the observed states and environmental dynamics.In addition,an adversarial robust actor-critic algorithm is developed to enable the agent to learn robust policies against perturbations in observations and dynamics.Moreover,we devise a safety mask to guarantee the collision safety of the autonomous driving agent during both the training and testing processes using an interpretable knowledge model known as the Responsibility-Sensitive Safety Model.Finally,the proposed approach is evaluated through both simulations and experiments.These results indicate that the autonomous driving agent can make trustworthy decisions and drastically reduce the number of collisions through robust safety policies.

Application of Fuzzy Automata Decision-Making System in Target Control

In order to perform better in target control, this paper proposed a decision-making system method based on fuzzy automata. The decision-making system first preprocessed the signal and then performed a two-level decision on the target to achieve optimal control. The system consisted of four parts: signal preprocessing, contrast decision-making, comprehensive judgment of decision-making and decision-making result. These decision algorithms in target control were given. A concrete application of this decision-making system in target control was described. Being compared with other existing methods, this paper used both global features and local features of target, and used the decision-making system of fuzzy automata for the target control. Simulation results showed that the control effect based on the decision-making system was better than that of the other existing methods. Not only it was faster, but also its correct control rate was higher to be 95.18% for the target control. This research on the control system not only developed the FA theory, but also strengthened its application scope in the field of control engineering.

HEURISTIC PARTICLE SWARM OPTIMIZATION ALGORITHM FOR AIR COMBAT DECISION-MAKING ON CMTA

Combining the heuristic algorithm （HA） developed based on the specific knowledge of the cooperative multiple target attack （CMTA） tactics and the particle swarm optimization （PSO）, a heuristic particle swarm optimization （HPSO） algorithm is proposed to solve the decision-making （DM） problem. HA facilitates to search the local optimum in the neighborhood of a solution, while the PSO algorithm tends to explore the search space for possible solutions. Combining the advantages of HA and PSO, HPSO algorithms can find out the global optimum quickly and efficiently. It obtains the DM solution by seeking for the optimal assignment of missiles of friendly fighter aircrafts （FAs） to hostile FAs. Simulation results show that the proposed algorithm is superior to the general PSO algorithm and two GA based algorithms in searching for the best solution to the DM problem.

Reliability Analysis of Heterogeneous Sensor-Cloud Systems against Targeted Attacks

Based on the wide application of cloud computing and wireless sensor networks in various fields,the Sensor-Cloud System(SCS)plays an indispensable role between the physical world and the network world.However,due to the close connection and interdependence between the physical resource network and computing resource network,there are security problems such as cascading failures between systems in the SCS.In this paper,we propose a model with two interdependent networks to represent a sensor-cloud system.Besides,based on the percolation theory,we have carried out a formulaic theoretical analysis of the whole process of cascading failure.When the system’s subnetwork presents a steady state where there is no further collapse,we can obtain the largest remaining connected subgroup components and the penetration threshold.Theoretically,this result is the critical maximum that the coupled SCS can withstand.To verify the correctness of the theoretical results,we further carried out actual simulation experiments.The results show that a scale-free network priority attack’s percolation threshold is always less than that of ER network which is priority attacked.Similarly,when the scale-free network is attacked first,adding the power law exponentλcan be more intuitive and more effective to improve the network’s reliability.

Hybrid hierarchical trajectory planning for a fixed-wing UCAV performing air-to-surface multi-target attack

This paper considers the problem of generating a flight trajectory for a single fixed-wing unmanned combat aerial vehicle （UCAV） performing an air-to-surface multi-target attack （A/SMTA） mission using satellite-guided bombs. First, this problem is formulated as a variant of the traveling salesman problem （TSP）, called the dynamic-constrained TSP with neighborhoods （DCT- SPN）. Then, a hierarchical hybrid approach, which partitions the planning algorithm into a roadmap planning layer and an optimal control layer, is proposed to solve the DCTSPN. In the roadmap planning layer, a novel algorithm based on an updatable proba- bilistic roadmap （PRM） is presented, which operates by randomly sampling a finite set of vehicle states from continuous state space in order to reduce the complicated trajectory planning problem to planning on a finite directed graph. In the optimal control layer, a collision-free state-to-state trajectory planner based on the Gauss pseudospectral method is developed, which can generate both dynamically feasible and optimal flight trajectories. The entire process of solving a DCTSPN consists of two phases. First, in the offline preprocessing phase, the algorithm constructs a PRM, and then converts the original problem into a standard asymmet- ric TSP （ATSP）. Second, in the online querying phase, the costs of directed edges in PRM are updated first, and a fast heuristic searching algorithm is then used to solve the ATSP. Numerical experiments indicate that the algorithm proposed in this paper can generate both feasible and near-optimal solutions quickly for online purposes.

基于Targeted-UAP算法的SAR图像对抗样本生成方法

深度卷积神经网络被广泛应用于合成孔径雷达(SAR)图像目标识别。但有关研究表明,其易受SAR图像上轻微扰动的攻击,从而导致检测、分类识别的失败。为此,首先分析了光学图像下通用对抗扰动(UAP)算法,通过修改其迭代约束条件,提出有目标的UAP(Targeted-UAP)算法,搜索将对抗样本推入目标类别分类边界的最小扰动,生成有目标通用对抗扰动,以实现SAR目标识别网络的有目标攻击。使用Targeted-UAP算法生成有目标攻击SAR图像对抗样本,并在LeNet、VGGNet16、ResNet18三个经典识别模型上验证了其有效性。

基于雅可比显著图的电磁信号快速对抗攻击方法

为了生成高质量的电磁信号对抗样本,提出了快速雅可比显著图攻击(FJSMA)方法。FJSMA通过计算攻击目标类别的雅可比矩阵,并根据该矩阵生成特征显著图,之后迭代选取显著性最强的特征点及其邻域内连续特征点添加扰动,同时引入单点扰动限制,最后生成对抗样本。实验结果表明,与雅可比显著图攻击方法相比,FJSMA在保持与之相同的高攻击成功率的同时,生成速度提升了约10倍,相似度提升了超过11%;与其他基于梯度的方法相比,攻击成功率提升了超过20%,相似度提升了20%~30%。

攻角和着角联合作用下弹体侵彻混凝土靶的弹道特性研究

为探究攻角和着角联合作用下弹体侵彻混凝土靶的弹道特性,基于LS-DYNA有限元软件,在速度1000 m/s时以不同攻角和着角对弹体侵彻混凝土靶进行数值模拟。重点研究了攻角和着角对弹体轴向侵彻深度、径向偏移距离和偏转角的影响,通过对弹体侵彻过程中受力情况的研究,主要对轴向阻力和径向阻力以及弹体所受偏转力矩进行分析,得到其对弹道的影响规律:随着着角的增大,弹体偏转角受攻角影响呈显著增加趋势;着角在一定的范围内,初始方向与着角相反的攻角对弹体侵彻能力有提升作用,初始方向与着角相同的攻角对侵彻能力有减弱作用;当着角过大时,无论初始攻角的方向与着角是否相同,均会对侵彻能力有减弱作用,且随着角度的增加更明显。研究结果可以为钻地弹的研制提供参考。

基于风险的城市目标反恐安防策略优化方法

国际安全环境发生重大变化的新形势下,城市涉恐安全面临严峻挑战。基于风险理论,构建了城市目标遭受恐怖袭击风险描述和安防策略优化函数,提出了定量的城市目标反恐安防策略优化方法。并以某高铁站为例,通过模型分析、数据比较和优化反馈,获得其遭受恐怖袭击风险评估、现有安防措施有效性和策略优化结论,验证了方法的有效性,为解决城市涉恐安全问题提供决策和技术支撑。

TargetedFool:一种实现有目标攻击的算法

随着人工智能技术的发展,深度神经网络广泛应用于人脸识别、语音识别、图片识别以及自动驾驶等领域。由于轻微的扰动就可以使深度神经网络出现错误分类,所以在有限的时间内实现特定的攻击效果是对抗攻击领域研究的重点之一。针对有目标对抗攻击算法中产生扰动时间久和扰动易被人眼观察的问题,基于Deepfool提出了在典型的卷积神经网络上生成有目标的对抗样本的算法,即TargetedFool。大量的实验结果表明,TargetedFool可以对MNIST、CIFAR-10和ImageNet实现有目标的对抗攻击。在ImageNet上,TargetedFool可以在平均2.84 s的时间内达到99.8%的扰动率。此外,分析了基于DeepFool的攻击算法无法产生有目标的通用对抗性扰动的原因。

SAR-ATR系统复数对抗样本生成方法

针对现有对抗攻击方法只能用于攻击实数卷积神经网络这一限制,提出了一种基于生成对抗网络的复数对抗样本生成方法。首先,设计了一种产生有效对抗样本的复数模型,并引入了复数计算模块;其次,利用残差神经网络作为基本骨架,将预训练的复数网络作为判别器实现对抗训练,以增强对抗样本的攻击能力;最后,通过替代模型实现可迁移的对抗攻击,以此实现了更高的攻击成功率。实验结果表明,所提方法在有目标攻击和无目标攻击任务下的成功率分别达到了76.338%和87.841%,迁移的成功率更高且对抗样本与原始干净样本更为接近。所提方法将对抗攻击扩展到复数神经网络后,避免了合成孔径雷达目标信息和精度的丢失,为实际合成孔径雷达自动目标识别系统的安全性和鲁棒性提供了参考方案。

无人机集群对地攻击时空协同控制策略

针对三维战场环境下无人机集群协同对地打击问题,提出了一种基于预设时间收敛的无人机集群时空协同控制方法.首先,对无人机集群对地攻击任务场景及其相关要素进行了分析,并建立了无人机集群、地面运动目标和攻击问题模型.在问题建模的基础上,考虑无人机集群的时空协同策略,设计三维空间无人机集群对地攻击的时空协同控制律.所提出的时空协同控制律能够控制无人机集群在指定的时间内到达期望的攻击位置,实现对地面运动目标的时空协同攻击.通过基于李雅普诺夫函数的理论分析,证明了所提出的控制律能够在预设时间条件下使攻击位置误差变量渐进稳定.仿真结果表明,在地面运动目标转弯运动的情况下,所提出的协同控制律能够实现无人机集群的时空协同,在指定的时间内完成对地面运动目标的多角度协同攻击.

针对负荷重分配攻击的移动目标防御策略

负荷重分配攻击考虑电力系统实际设备配置及实际运行情况,通过篡改负荷量测对电力系统安全稳定运行造成威胁。提出一种基于拓扑变换的移动目标防御方法,通过变换系统拓扑结构破坏攻击者对电力系统信息的掌握程度,实现对负荷重分配攻击的防御,为电力系统安全可靠运行提供保障。首先,建立负荷重分配双层优化模型,对攻击策略进行分析;然后,分析拓扑结构的优化重构方式,建立拓扑结构变换的优化模型;最后,将拓扑结构优化算法与状态估计相结合实现移动目标防御,完成对负荷重分配攻击的检测。在IEEE 14节点系统中对所提方法进行了测试与分析,算例证明基于拓扑变换的移动目标防御方法能够对负荷重分配攻击进行有效防御,增强电力系统的抗攻击能力。

基于改进NSGA-III算法的多无人机协同目标分配

武器-目标分配问题是战场环境下无人机对敌方执行打击任务的关键,其目的是基于目标的威胁、价值和我方武器的毁伤概率,寻找合理的武器目标分配方案,以提高作战效率。针对当前多目标优化算法解决静态武器-目标分配问题时收敛速度慢、收敛稳定性差,难以适应当前战场高度实时性的问题,提出一种改进的基于参考点的非支配排序遗传算法。通过二进制编码打击方案并优化初始种群,引入自适应变异与交叉策略以及种群寻优更新策略,基于对战场态势进行评估得到的威胁矩阵和优势矩阵,种群多次迭代后生成目标打击方案。最后计算满足约束条件的Pareto解集,并将Pareto前沿中的相对最优解作为多无人机的打击方案。多次实验证明,在较好情况下改进算法相比于原始算法的收敛时间减少46.74%,目标威胁值降低50.5%,总飞行航程减少26.46%,杀伤目标数增加11.76%,证明该算法在解决多无人机空对地打击任务目标分配问题时具有合理性和高效性。

基于视线协同和DMPC的载机-防御弹群协同主动防御制导策略

在目标-攻击弹-防御弹群(target-attacker-defenders,TADs)系统中,防御弹群通过与目标(载机)异构协同、弹群间同构协同以保护载机并降低单弹脱靶的风险。针对TADs系统在二维平面下的协同主动防御模型进行了研究,采用机/弹协同和防御弹群协同的两层制导策略。在机弹协同方面,防御弹领弹与载机进行异构协同,考虑载机及防御弹领弹的机动能力限制,采用协同视线制导律(cooperative line of sight guidance,CLOSG)分别得到载机和防御弹领弹的制导指令;在防御弹群协同方面,考虑单弹计算能力约束,拦截时间约束和加速度约束,设计出基于分布式模型预测控制(distributed model predictive control,DMPC)的算法实现弹群从弹和防御弹领弹协同同时抵达并拦截攻击弹。仿真结果表明,多防御弹协同一致拦截制导算法能够实现TADs系统中载机和防御弹群的异构协同主动防御,并实现防御弹群的一致性同时拦截,以降低单弹脱靶的风险。

引入度中心性选择攻击节点的对抗攻击算法

图卷积网络(GCN)在图神经网络中应用广泛,在处理图结构数据方面发挥着重要作用。然而,最近的研究表明,GCN容易受到中毒攻击等恶意攻击。在针对GCN的所有可能的对抗性攻击中,有一种特殊的方法是针对图卷积网络的目标通用攻击TUA(target universal attack)。该方法在挑选攻击节点时为了简便采用随机选择策略,该策略忽略了节点邻居对节点的重要性,对攻击成功率有负面影响。针对这个问题,提出了一种基于度中心性的攻击节点选择策略的对抗攻击算法(adversarial attack algorithm based on degree centrality attack node selection strategy,DCANSS)。优化挑选攻击节点的方式,引入度中心性,得到攻击节点。注入假节点并与攻击节点连接。挑选辅助节点并应用图卷积网络的消息传递机制,使节点信息扩散,计算扰动并将扰动特征赋予假节点,完成攻击,达到误分类目标。在三个流行的数据集上的实验表明,当仅使用3个攻击节点和2个假节点时,所提出的攻击对图中任意受害节点的平均攻击成功率达到90%。将DCANSS算法与TUA算法以及其他建立的基线算法进行实验对比,进一步验证了DCANSS算法的攻击能力。

基于综合赋权的目标可攻击价值综合评估排序

智能化时代的战争中,无人作战能力愈发成为评判大国军事实力的重要指标,无人机在完成自主攻击任务时,需要对当前战场环境下敌对方空地军事目标的打击价值进行评估排序。根据战场态势下敌方空中目标及地面目标对己方的威胁程度,确定目标的打击价值,建立空地目标价值综合评估的指标体系,采用熵权法和层次分析法相结合的主客观综合赋权法对指标进行赋权,最后通过扇形雷达图法对空地目标价值综合评估排序,并通过实例仿真计算多个空中和地面目标的价值,得出了符合常规的目标价值排序。

基于动量迭代快速梯度符号的SAR-ATR深度神经网络黑盒攻击算法

合成孔径雷达自动目标识别(SAR-ATR)领域缺乏有效的黑盒攻击算法,为此,该文结合动量迭代快速梯度符号(MI-FGSM)思想提出了一种基于迁移的黑盒攻击算法。首先结合SAR图像特性进行随机斑点噪声变换,缓解模型对斑点噪声的过拟合,提高算法的泛化性能;然后设计了能够快速寻找最优梯度下降方向的ABN寻优器,通过模型梯度快速收敛提升算法攻击有效性;最后引入拟双曲动量算子获得稳定的模型梯度下降方向,使梯度在快速收敛过程中避免陷入局部最优,进一步增强对抗样本的黑盒攻击成功率。通过仿真实验表明,与现有的对抗攻击算法相比,该文算法在MSTAR和FUSAR-Ship数据集上对主流的SAR-ATR深度神经网络的集成模型黑盒攻击成功率分别提高了3%~55%和6.0%~57.5%,而且生成的对抗样本具有高度的隐蔽性。

基于目标策略的健康干预在改善短暂性脑缺血疾病认知及不良情绪中的应用

目的:观察基于目标策略的健康干预在短暂性脑缺血发作(TIA)中的应用效果及对患者疾病认知、不良情绪的影响。方法:选取2020年6月—2022年10月驻马店市中心医院收治的120例TIA患者作为研究对象,应用抽签法对患者进行随机分组,分别列为试验组和对照组,每组各60例。对照组仅实施常规护理干预,试验组实施基于目标策略的健康干预,比较两组患者干预前后的疾病认知情况、心理状态,并对所有患者开展为期6个月的短期随访,比较两组患者出院后1个月、3个月、6个月时的自我护理能力及随访期间不良事件发生情况。结果:干预后,试验组疾病认知量表各维度评分均高于对照组,差异有统计学意义(t=3.482、2.920、3.700,P<0.05);干预后,试验组焦虑自评量表(SAS)、抑郁自评量表(SDS)评分低于对照组,差异有统计学意义(t=2.980、2.949,P<0.05);随访期间,试验组干预后1个月、3个月、6个月时的自我护理能力评分(ESCA)高于对照组,差异有统计学意义(t=2.477、3.641、2.617,P<0.05),随访期间,试验组的不良事件发生率低于对照组,差异有统计学意义(χ^(2)=5.556,P<0.05)。结论:基于目标策略的健康干预在TIA患者的临床护理中具有较高应用价值,可有效改善患者的疾病认知及心理不良情绪,对改善患者远期自我护理能力并降低不良事件发生风险、改善患者预后均有积极意义。

空面多目标攻击中武器-目标最优分配

在多目标空对地攻击中,合理高效的武器-目标分配能显著提升飞机的攻击效率,降低飞机在战场滞留的时间,对于提升飞机的作战效率与生存性能有着重要的意义。本文基于攻击模式、目标毁伤概率、武器成本、飞行航路等约束,构建武器-目标最优分配模型,设计了一种强化局部搜索能力的自适应遗传算法,解决了求解复杂规划问题时的过量冗余迭代与停滞问题。对多组随机目标进行了仿真验证,仿真结果证明,改进算法能够为作战任务提供优质的武器-目标分配方案,且明显提升了求解的运行效率与质量。