基于DQN的多智能体深度强化学习运动规划方法

DQN方法作为经典的基于价值的深度强化学习方法,在多智能体运动规划等领域得到了广泛应用。然而,DQN方法面临一系列挑战,例如,DQN会过高估计Q值,计算Q值较为复杂,神经网络没有历史记忆能力,使用ε-greedy策略进行探索效率较低等。针对这些问题,提出了一种基于DQN的多智能体深度强化学习运动规划方法,该方法可以帮助智能体学习到高效稳定的运动规划策略,无碰撞地到达目标点。首先,在DQN方法的基础上,提出了基于Dueling的Q值计算优化机制,将Q值的计算方式改进为计算状态值和优势函数值,并根据当前正在更新的Q值网络的参数选择最优动作,使得Q值的计算更加简单准确;其次,提出了基于GRU的记忆机制,引入了GRU模块,使得网络可以捕捉时序信息,具有处理智能体历史信息的能力;最后,提出了基于噪声的有效探索机制,通过引入参数化的噪声,改变了DQN中的探索方式,提高了智能体的探索效率,使得多智能体系统达到探索-利用的平衡状态。在PyBullet仿真平台的6种不同的仿真场景中进行了测试,实验结果表明,所提方法可以使多智能体团队进行高效协作,无碰撞地到达各自目标点,且策略训练过程稳定。

基于观测重构的多智能体强化学习方法

共同知识是多智能体系统内众所周知的知识集。如何充分利用共同知识进行策略学习,是多智能体独立学习系统中的一个挑战性问题。针对这一问题,围绕共同知识提取和独立学习网络设计,提出了一种基于观测重构的多智能体强化学习方法IPPO-CKOR。首先,对智能体的观测信息进行共同知识特征的计算与融合,得到融合共同知识特征的观测信息;其次,采用基于共同知识的智能体选择算法,选择关系密切的智能体,并使用重构特征生成机制构建它们的特征信息,其与融合共同知识特征的观测信息组成重构观测信息,用于智能体策略的学习与执行;最后,设计了一个基于观测重构的独立学习网络,使用多头自注意力机制对重构观测信息进行处理,使用一维卷积和GRU层处理观测信息序列,使得智能体能够从观测信息序列中提取出更有效的特征,有效缓解了环境非平稳与部分可观测问题带来的影响。实验结果表明,相较于现有典型的采用独立学习的多智能体强化学习方法,所提方法在性能上有显著提升。

人工智能对新闻舆论及意识形态工作的影响

人工智能技术降低了工作难度,去也导致了社会舆论的分裂。本文就对人工智能对新闻舆论和意识形态的影像进行了研究和分析。首先分析人工智能应用的趋势,然后对人工智能技术对新闻舆论的冲击展开研究,之后对如何进行意识形态的引导工作进行了更加深入的分析。

基于意图的多智能体深度强化学习运动规划方法

现有的多智能体运动规划任务存在缺乏有效合作方法、通信依赖要求高以及缺乏信息筛选机制等问题。针对这些问题,提出了一种基于意图的多智能体深度强化学习运动规划方法,该方法可以帮助智能体在无需显式通信的条件下无碰撞地到达目标点。首先,将意图概念引入多智能体运动规划问题,将智能体的视觉图像和历史地图相结合以预测智能体的意图,使智能体可以对其他智能体的动作做预判,从而有效协作;其次,设计了一个基于注意力机制的卷积神经网络架构,并利用该网络预测智能体的意图、选择智能体的动作,在筛选出有用的视觉输入信息的同时,减少了多智能体合作对通信的依赖;最后提出了一种基于价值的深度强化学习算法来学习运动规划策略,通过改进目标函数和Q值计算方式使策略更加稳定。在PyBullet仿真平台的6种不同的仿真场景中进行了测试,实验结果表明,相较于其他先进的多智能体运动规划方法,所提方法使多智能体团队的合作效率平均提高了10.74%,具有显著的性能优势。

无人驾驶技术与智能航运研究进展与发展趋势

伴随着人工智能技术的飞速发展,水运行业的未来发展趋势和研究导向也在不断变化,船舶无人化、智能化、数字化的发展特点愈发突出。人工智能技术在航运业的重要应用体现在船舶无人驾驶技术,该技术因在船舶和水路交通领域带来的重大变革而被行业广泛关注。在人工智能技术的驱动下,水运行业与人工智能快速融合,在此背景下,深度探析无人驾驶与智能航运技术未来研究进展和发展趋势将为我国水运行业高质量发展提供理论支撑。

基于伪标签的弱监督显著特征增强目标检测方法

显著性目标检测旨在检测图像中最明显的区域。传统的基于单一标签的算法不可避免地受到所采用的细化算法的影响,表现出偏见特征,从而进一步影响了显著性网络的检测性能。针对这一问题,基于多指令滤波器结构,提出了一种基于伪标签的弱监督显著特征增强目标检测方法FeaEM,通过从多个标签中集成更全面和准确的显著性线索,从而有效提升目标检测的性能。FeaEM方法的核心是引入一个新的多指令滤波器结构,利用多个伪标签来避免单一标签带来的负面影响;通过在指令滤波器中引入特征选择机制,从噪声伪标签中提取和过滤更准确的显著性线索,从而学习更多有效的具有代表性的特征;同时,针对现有的弱监督目标检测方法对输入图像的尺度十分敏感,同一图像的不同尺寸输入的预测结构存在较大偏差问题,通过引入尺度特征融合机制,以确保在输入不同尺寸的同一图像时,能输出一致的显著图,进而有效提高模型的尺度泛化能力。在多个数据集上进行的大量实验表明,所提出的FeaEM方法优于最具代表性的方法。

基于卫星通信的无人机海上目标监控应用

重点研究了基于卫星通信的无人机海上目标监控应用的关键技术和挑战,并设计相应的系统方案进行验证。结果表明,基于海事卫星网络的无人机机载卫星终端,可以实现与无人机海上目标监控系统的通信与控制,实现无人机位置、海上目标位置等关键信息在电子地图上的可视化显示。

Deep-Init:基于深度学习的视觉惯性里程计非联合初始化方法

对于非线性的单目VIO系统来说,其初始化过程至关重要,初始化结果的好坏直接影响整个系统运行过程中状态估计的精度。为此,将深度学习方法引入单目VIO系统的初始化过程中,提出了一种高效的非联合初始化方法(简称Deep-Init),其核心是使用深度神经网络对IMU中陀螺仪的偏置和噪声等随机误差项进行准确估计,得到初始化过程中的关键参数,即陀螺仪的bias;同时,将IMU预积分与SfM进行松耦合,通过位置和旋转对齐,使用最小二乘法对绝对尺度、速度以及重力矢量等进行快速恢复,并将其作为初始值来引导非线性紧密耦合的优化框架。由于深度神经网络对陀螺仪数据进行补偿,从而大大提高了IMU中旋转估计量的准确性,有效提高了IMU数据的信噪比,同时减少了最小二乘方程失效的次数,因此进一步减少了计算量。使用去除误差项的陀螺仪数据的预积分量替换SfM中的旋转量,将IMU的旋转量作为真值,不仅避免了将不准确的SfM值作为真值进行初始化时所带来的误差,有效提升了系统状态估计的精度,而且能够有效地适应高速运动、光照变换剧烈和纹理重复等SfM估计效果差的场景。在EuRoC数据集上,对所提方法的有效性了进行实验验证,实验结果表明,所提出的初始化方法Deep-Init无论是精度还是耗时均取得了良好的效果。

基于多智能体强化学习的端到端合作的自适应奖励方法

目前,多智能体强化学习算法大多采用集中训练分布执行的方法,且在同构多智能体系统中取得了良好的效果。但是,由不同角色构成的异构多智能体系统往往存在信用分配问题,导致智能体很难学习到有效的合作策略。针对上述问题,提出了一种基于多智能体强化学习的端到端合作的自适应奖励方法,该方法能够促进智能体之间合作策略的生成。首先,提出了一种批正则化网络,该网络采用图神经网络对异构多智能体合作关系进行建模,利用注意力机制对关键信息进行权重计算,使用批正则化方法对生成的特征向量进行有效融合,使算法向正确的学习方向进行优化和反向传播,进而有效提升异构多智能体合作策略生成的性能;其次,基于演员-评论家方法,提出了一种双层优化的自适应奖励网络,将稀疏奖励转化为连续奖励,引导智能体根据场上形势生成合作策略。通过实验对比了当前主流的多智能体强化学习算法,结果表明,所提算法在“合作-博弈”场景中取得了显著效果,通过对策略-奖励-行为相关性的可视化分析,进一步验证了所提算法的有效性。

基于特征分离的复杂环境三维手部姿态估计算法研究

基于视觉的三维手部姿态估计是实现人机交互的重要技术手段。目前,视觉手部姿态估计算法易受光照变化、遮挡和环境噪声等复杂环境因素干扰,导致模型的鲁棒性无法得到保障。这些多变的环境因素使得传统的深度学习方法在真实场景中难以取得令人满意的结果。针对这一难题,本文提出了一种基于特征分离的手部姿态估计算法,通过对手部图像中的关键特征进行精炼来提升模型在不同环境中的鲁棒性。首先,对编码器进行基于频域增强的预训练,从而减少环境噪声对于底层视觉特征提取的影响;其次,在解码阶段提出了一种用于分离因果特征和非因果特征的双分支结构,通过减少非因果特征对于姿态估计任务的影响以提高模型应对复杂环境的能力;最后,通过融合全局姿态信息和局部关节信息,实现了不同尺度的统一优化,并基于两个公开数据集的定量分析和定性分析,验证了本文所提出方法的准确性和鲁棒性。

新型研发机构财务风险管理及内部控制体系构建探究

近年来,随着科技创新的不断发展,新型研发机构在产业转型升级中发挥着越来越重要的作用。新型研发机构内控制度是指为了保证机构运营高效、合规、稳定,而制订的一系列内部管理制度和流程。在这一过程中,财务风险管理和内部控制体系的建立是保证组织健康发展的重要环节。文章提出了建立内部控制体系的策略,目的是应对各类财务风险,为降低研发机构财务风险、提高运营效率发挥积极作用。

TAMP:面向区域覆盖的层次化多机器人任务分配方法

作为诸多移动机器人应用的基础,完全覆盖旨在为机器人规划出一条访问目标区域所有点且耗时最短的无碰撞路径。此类覆盖应用中,利用多台机器人协同覆盖可以有效缩短覆盖时间并提升系统的鲁棒性,同时也增加了算法设计复杂度和机器人协同管理难度。因此,文中研究了已知环境下的多机器人覆盖问题,该问题已被证明是一个NP难题。文中提出了一种启发式的基于多层次图划分的多机器人任务分配方法(Multi-robot Task Assignment Based on Multi-level Graph Partitioning,TAMP),该方法包含一种粗化任务分配算法和一种精细任务分配算法。粗化任务分配算法采用分层粗化的方法,通过图的极大匹配实现了节点融合以降低图的规模,并基于均匀种子的图增长方式获取了一个接近均衡的初始任务分配结果,提高算法效率;精细任务分配算法在粗化任务分配算法的基础上,提出了一种基于边界节点交换的Lazy&Lock策略,用于实现任务细分,提高求解精度。文中在不同规模的随机图和真实世界的治安巡逻场景下进行了仿真验证。仿真结果表明,相比经典的任务分配方法,TAMP方法将可求解的最大计算规模从千级扩大到百万级,小规模图(3000以内)的计算速度加快了20倍,距离最优解偏差均优于经典方法;能够在60 s内解决大规模图(3000~1000000)的任务分配问题,同时将距离最优解偏差控制在0.3%以内。

基于多目标混合蚁狮优化的算法选择方法

算法选择是指从可行算法中为给定问题选择满足需求的算法,基于元学习的算法选择是应用较为广泛的方法,元特征和元算法是其中的关键内容,而现有研究难以充分利用元特征的互补性和元算法的多样性,不利于进一步提升方法性能.为了解决上述问题,提出基于多目标混合蚁狮优化的算法选择方法(SAMO),设计算法选择模型,以集成元算法的准确性和多样性作为优化目标,引入元特征选择和选择性集成,同时选择元特征和异构元算法以构建集成元算法;提出多目标混合蚁狮算法对模型进行优化,使用离散型编码选择元特征子集,通过连续型编码构建集成元算法,应用增强游走策略和偏好精英选择机制提升寻优性能.使用260个数据集、150种元特征和9种候选算法构建分类算法选择问题来进行测试,分析方法的参数敏感性,将多目标混合蚁狮算法与4种演化算法进行比较,通过对8种对比方法与所提方法进行对比实验,结果验证了所提方法的有效性和优越性.

小样本目标检测研究综述

数据驱动下的深度学习技术在计算机视觉领域取得重大突破,但模型的高性能严重依赖于大量标注样本的训练.然而在实际场景当中,大规模数据的获取和高质量的标注十分困难,限制了其在特定应用领域的进一步推广.近年来小样本学习在目标检测领域的发展,为解决上述问题提供了新的研究思路.小样本目标检测旨在通过少量标注样本实现对图像中目标的分类和定位.本文从任务和问题、学习策略、检测方法、数据集与实验评估等角度出发,对当前小样本目标检测的研究成果加以梳理和总结.首先,系统性地阐述了小样本目标检测的任务定义及核心问题,并讨论了当前方法采用的学习策略.其次,从工作原理角度出发,将现有检测方法归纳总结为四类,对这四类检测方法的核心思想、特点、优势及存在的不足进行了系统性的阐述,为不同场景下选择不同的方法提供了依据.之后,本文对目前小样本目标检测采用的典型数据集、实验设计及性能评估指标进行了深入分析,进而对四类典型方法在数据集上的实验结果进行概括总结,尤其是对部分典型方法的检测性能进行了系统性对比分析.最后,立足于现有方法的优势和劣势,我们指出当前方法面临的挑战,并对下一阶段小样本目标检测技术未来的发展趋势提出了见解,期望为该领域的后续研究提供参考.

面向算法选择的元学习研究综述

随着人工智能的快速发展,从可行的算法中选择满足应用需求的算法已经成为各领域亟待解决的关键问题,即算法选择问题。基于元学习的方法是解决算法选择问题的重要途径,被广泛应用于算法选择研究并取得了良好成果。方法通过构建问题特征到候选算法性能的映射模型来选择合适的算法,主要包括提取元特征、计算候选算法性能、构建元数据集以及训练元模型等步骤。首先,阐述基于元学习的算法选择概念和框架,回顾简述相关综述工作;其次,从元特征、元算法和元模型性能指标三方面总结研究进展,对其中典型的方法进行介绍并比较不同类型方法的优缺点和适用范围;然后,概述基于元学习的算法选择在不同学习任务中的应用情况;继而,使用140个分类数据集、9种候选分类算法和5种性能指标开展算法选择实验,对比不同算法选择方法的性能;最后,分析目前存在的挑战和问题,探讨未来的发展方向。

基于蚁狮算法的元特征选择方法

为了提升基于元学习算法选择的性能,提出一种基于蚁狮算法的元特征选择方法。首先,通过鲁棒初始化机制构建初始种群,增强所选元特征子集的鲁棒性。其次,在个体解的搜索过程中应用动态边界策略,增加方法的种群多样性。然后,采用混沌映射变异策略,提升方法的寻优性能,给出方法伪代码并分析时间复杂度。最后,使用130个数据集、150种元特征、8种候选算法和5种性能指标构建分类算法选择问题进行测试实验,分析方法的参数敏感性和机制策略效果,通过准确率、查准率、查全率和F 1分数指标评估并对比方法性能,验证了所提方法的有效性和优越性。

融合注意力特征的无锚框视觉目标跟踪方法

目标跟踪作为计算机视觉领域的一个重要分支,在智能视频监控、人机交互和自动驾驶等诸多领域具有很高的研究价值。尽管目标跟踪近年来已取得较好的发展,但在复杂跟踪环境下,遮挡、目标形变、光照变化等因素仍会导致跟踪精度下降,跟踪性能不稳定。因此,提出了一种融合注意力特征的无锚框视觉目标跟踪方法(Anchor-Free object Tracking Method,AFTM)。首先,在分类和回归过程中构建自适应生成的注意力权重因子组,实现了一种高效的自适应响应图融合策略,提高了目标定位和边界框尺度计算的准确性;其次,针对数据集中样本类别不均衡的现象,使用可动态缩放的交叉熵损失作为目标定位网络的损失函数,修正模型的优化方向,使跟踪性能更加稳定可靠;最后,设计相应的学习率调整策略,对一定数量的模型进行随机权重平均,增强模型的泛化能力。公开数据集上的实验结果表明,在复杂跟踪环境下,AFTM具有更高的精度和更稳定的跟踪效果。

融合跟踪器:融合图像特征和事件特征的单目标跟踪框架

目标跟踪是计算机视觉领域的一项基本研究问题。作为主流目标跟踪方法传感器,传统相机可以提供丰富的场景信息。但是由于受到采样原理的限制,传统相机在极端光照条件下会出现过曝光或欠曝光的问题,且在高速运动场景中存在运动模糊的现象。而事件相机是一种仿生传感器,它能够感知光照强度变化输出事件流,具有高动态范围、高时间分辨率等优点,但难以捕捉静态目标。受传统相机和事件相机的特性启发,提出了一种双模态融合的单目标跟踪方法,称为融合跟踪器(Fusion Tracker)。该方法通过特征增强的方式自适应地融合来自传统相机和事件相机数据中的视觉线索,同时设计一种基于注意力机制的特征匹配网络,将模板帧的目标线索与搜索帧相匹配,建立长期特征关联,使跟踪器关注目标信息。融合跟踪器可以解决特征匹配过程中相关性运算导致的语义丢失问题,提升目标跟踪的性能。在两个公开数据集上的实验展示了所提方法的优越性,并且通过消融实验验证了融合跟踪器中关键部分的有效性。融合跟踪器可以有效提升在复杂场景中目标跟踪任务的鲁棒性,为下游应用提供可靠的跟踪结果。

基于稀疏点云分割的适应视角变化的场景识别方法

在机器人自主导航中,同时定位与建图负责感知周围环境并定位自身位姿,为后续的高级任务提供感知支撑。场景识别作为其中的关键模块,可以帮助机器人更加准确地感知周围环境,它通过识别当前的观测和之前的观测是否属于同一个场景来校正传感器硬件固有误差导致的误差累积。现有的方法主要关注稳定视角下的场景识别,根据两个观测之间的视觉相似性来判断它们是否属于同一个场景。然而,当观测视角发生变化时,同一个场景的观测可能存在较大的视觉差异,使得观测之间可能只是局部相似,进而导致传统方法失效,因此,一种基于稀疏点云分割的场景识别方法被提出。它将场景进行分割,以解决局部相似的问题,并且结合视觉信息和几何信息实现准确的场景描述和匹配,使得机器人能识别出不同视角下的相同场景,支撑单机的回环检测模块或多机的地图融合模块。该方法基于稀疏点云分割将每个观测分割为若干部分,分割结果对视角具有不变性,并且从每个分割部分中提取出局部词袋向量和β角直方图来准确描述其场景内容,前者包含场景的视觉语义信息,后者包含场景的几何结构信息。之后,基于分割部分匹配观测之间的相同部分,丢弃不同部分,实现准确的场景内容匹配,提高场景识别的成功率。最后,在公开数据集上的结果表明,该方法在稳定视角和变化视角下的表现均优于在场景识别领域受到较多关注的词袋模型方法。

单帧红外图像弱小目标检测研究综述

远距离广视角场景中由于红外热成像仪成像原理的局限性、大气环境的干扰、远距离传输介质对红外辐射的衰减,检测目标面临巨大挑战。本文在详细分析了图像背景复杂、目标特性弱小、图像对比度低和结构特性缺失等红外弱小目标图像特性的基础上,从基于目标突显和背景预测两大类概述了单帧红外图像弱小目标检测技术的研究现状,并探讨了红外弱小目标检测研究的发展趋势。