自然语言处理领域中的词嵌入方法综述

词嵌入作为自然语言处理任务的第一步,其目的是将输入的自然语言文本转换为模型可以处理的数值向量,即词向量,也称词的分布式表示。词向量作为自然语言处理任务的根基,是完成一切自然语言处理任务的前提。然而,国内外针对词嵌入方法的综述文献大多只关注于不同词嵌入方法本身的技术路线,而未能将词嵌入的前置分词方法以及词嵌入方法完整的演变趋势进行分析与概述。以word2vec模型和Transformer模型作为划分点,从生成的词向量是否能够动态地改变其内隐的语义信息来适配输入句子的整体语义这一角度,将词嵌入方法划分为静态词嵌入方法和动态词嵌入方法,并对此展开讨论。同时,针对词嵌入中的分词方法,包括整词切分和子词切分,进行了对比和分析;针对训练词向量所使用的语言模型,从概率语言模型到神经概率语言模型再到如今的深度上下文语言模型的演化,进行了详细列举和阐述;针对预训练语言模型时使用的训练策略进行了总结和探讨。最后,总结词向量质量的评估方法,分析词嵌入方法的当前现状并对其未来发展方向进行展望。

引入上下文信息和Attention Gate的GUS-YOLO遥感目标检测算法

目前基于通用YOLO系列的遥感目标检测算法存在并未充分利用图像的全局上下文信息,在特征融合金字塔部分并未充分考虑缩小融合特征之间的语义鸿沟、抑制冗余信息干扰的缺点。在结合YOLO算法优点的基础上提出GUS-YOLO算法,其拥有一个能够充分利用全局上下文信息的骨干网络Global Backbone。除此之外,该算法在融合特征金字塔自顶向下的结构中引入Attention Gate模块,可以突出必要的特征信息,抑制冗余信息。另外,为Attention Gate模块设计了最佳的网络结构,提出了网络的特征融合结构U-Net。最后,为克服ReLU函数可能导致模型梯度不再更新的问题,该算法将Attention Gate模块的激活函数升级为可学习的SMU激活函数,提高模型鲁棒性。在NWPU VHR-10遥感数据集上,该算法相较于YOLOV7算法取得宽松指标mAP^(0.50)1.64个百分点和严格指标mAP^(0.75)9.39个百分点的性能提升。相较于目前主流的七种检测算法,该算法取得较好的检测性能。

动态场景的三维重建研究综述

随着静态场景三维重建算法的不断成熟,动态场景三维重建算法成为近年来的研究热点和研究难点。现有的静态场景三维重建算法对静止的对象有较好的重建效果,一旦场景中对象出现变形或者是相对运动,其重建效果不太理想,因此发展对动态场景的三维重建研究工作是相当重要的。简要介绍三维重建的相关概念及基本知识、静态场景三维重建和动态场景三维重建的研究分类及研究现状;全面总结了动态场景三维重建研究最新进展,将动态场景三维重建按照基于RGB数据源的动态三维重建和基于RGB-D数据源的动态三维重建进行分类,其中RGB数据源下又可划分为基于模板的动态三维重建、基于非刚性运动恢复结构的动态三维重建和RGB数据源下基于学习的动态三维重建,RGB-D数据源下主要总结归纳基于学习的动态三维重建,对各类典型重建算法进行了介绍和对比分析;介绍了动态场景三维重建在医学、智能制造、虚拟现实与增强现实、交通等领域的应用;提出了动态场景三维重建的未来研究方向,并对这个快速发展领域中的各个方向研究进行了展望。

基于大语言模型的水工程调度知识图谱的构建与应用

随着水利事业的发展和信息化需求的增加,处理和表示海量水利数据变得复杂而繁琐。特别是调度文本数据通常以自然语言的形式存在,缺乏明确的结构和规范,并且处理和应用这些多样性的数据需要具备广泛的领域知识和专业背景。为此,提出了基于大语言模型的水工程调度知识图谱的构建方法。通过数据层的调度规则数据收集与预处理,再利用大语言模型挖掘和抽取数据中蕴藏的知识,完成概念层本体构建和实例层“三步法”提示策略抽取。在数据层、概念层、实例层的相互作用下,实现了规则文本的高性能抽取,完成了数据集和知识图谱的构建。实验结果表明,大语言模型抽取方法F1值达到85.5%,且通过消融实验验证了模型各模块的有效性和合理性。构建的水工程调度知识图谱整合了分散的水利规则信息,有效处理非结构化文本数据,并提供可视化查询和功能追溯功能。这有助于领域从业人员判断来水情况并选择适当的调度方案,为水利决策和智能推荐等提供了重要支持。

多尺度融合与动态自适应图的公交客流预测模型

公交客流预测是公共交通规划和管理中的重要问题。虽然时空图卷积在地铁客流预测任务中获得了很好的预测效果,但是面对公交更复杂的线路、大规模的节点数据,现有的基于图卷积的空间建模方法将带来巨大的空间内存消耗。同时,公交客流量短时间范围内更可能受到瞬时交通状况的影响。为了解决这些挑战,提出了一种多尺度融合和动态自适应图的公交客流预测模型(MFDAG)。该模型融合客流、时刻和周信息以增加数据的特征维度,用动态自适应图的方法来学习不同站点之间的关系。进一步提出了一种多尺度融合传播的方法来表示复杂的空间依赖关系,同时设计了一种多尺度卷积传播的方法来学习不同尺度的时间依赖关系。在两个真实的客流数据集上进行了实验,并与其他交通预测方法进行了比较。实验结果表明,所提出的多尺度融合和动态自适应图的公交客流预测方法具有更高的预测准确度。

深度学习的自然场景文本识别方法综述

自然场景文本识别在学术研究和实际应用中具有重要价值,已经成为计算机视觉领域的研究热点之一。然而,识别过程存在文本风格多样、背景环境复杂等挑战,导致识别效率和准确率不佳。传统的基于手工设计特征文本识别方法由于其有限的表示能力,不足以有效地应对复杂的自然场景文本识别任务。近年来,采用深度学习方法在自然场景文本识别中取得了重大进展,系统地梳理了近年来相关研究工作。首先,根据是否需要对单字符进行分割,将自然场景文本识别方法分为基于分割与无需分割的方法,再根据其技术实现特点将无需分割的方法进行细分,并对各类最具有代表性的方法工作原理进行了阐述。然后,介绍了当前常用数据集以及评价指标,并在数据集上对各类方法进行了性能对比,从多个方面讨论了各类方法的优势与局限性。最后,指出基于深度学习的自然场景文本识别研究存在的不足和难点,对其未来的发展趋势进行了展望。

领导者引导与支配解进化的多目标矮猫鼬算法

面对现实中日益复杂的多目标优化问题,需要发展新型多目标优化算法应对挑战。提出一种基于领导者引导与支配解动态缩减进化的多目标矮猫鼬优化算法(MODMO)。领导者引导机制通过引入动态权衡因子以调控侦察猫鼬探寻土丘的搜索半径,同时以非劣解集构建外部存档并根据非支配排序层级确定出领导者,进而引导侦察猫鼬向多目标前沿面推进以改善算法的收敛性;支配解动态缩减进化策略是为克服非劣解外部存档维护过程中的解冗余问题而构建,其以支配关系和拥挤距离动态筛选支配解并存入外部存档,以支配解信息融入种群进化实现多目标潜在前沿的挖掘并增强算法的多样性。在ZDT、DTLZ与WFG基准函数上,与5种代表性比较算法的实验结果表明MODMO算法在收敛性与多样性上均具有显著优势。

双路径合作的原型矫正小样本分类模型

基于度量的元学习在学习过程中存在由于稀缺数据分布导致习得的先验知识不足、从样本中提取到的单一视图特征易受弱相关或无关特征的干扰以及因分类造成的代表性特征偏差的问题。针对这些问题,提出了一种双路径合作的原型矫正小样本分类模型。首先,通过双路径合作模块从多视图角度自适应地突出关键特征和弱化弱相关特征,充分利用特征信息获得先验知识来提升特征的表达能力;其次,通过基于查询集样本特征信息的原型矫正分类策略来解决类内原型的偏差问题;最后,通过损失函数反向更新模型参数,模型分类准确率得以提升。在五个公开的数据集上进行了5-way 1-shot和5-way 5-shot对比实验,较基准模型而言,在miniImageNet数据集上,准确率提升了5.57个百分点和3.90个百分点;在tieredImageNet数据集上,准确率提升了5.68个百分点和3.93个百分点;在CUB数据集上,准确率提升了6.93个百分点和3.13个百分点;在CIFAR-FS数据集上,准确率提升了8.03个百分点和1.65个百分点;在FC-100数据集上,准确率提升了4.25个百分点和4.89个百分点。实验结果表明,提出的双路径合作的原型矫正小样本分类模型能在小样本学习领域有良好的性能,且模型中的模块可迁移到其他模型中使用。

采用特征图增强原型的小样本图像分类方法

在基于度量学习的小样本图像分类方法中,由于标注样本的稀缺,仅用支持集样本得到的类原型往往难以代表整个类别的真实分布;同时,同类样本间也可能在多个方面存在较大差异,较大的类内差异可能使样本特征偏离类别中心。针对上述可能严重影响图像分类性能的问题,提出一种采用特征图增强原型的小样本图像分类方法(FMEP)。首先,用余弦相似度从查询集样本特征图中选择部分相似特征加入类原型中,得到更具代表性的特征图增强原型;其次,对相似的查询集样本特征进行聚合,缓解类内差异大导致的问题,使同类样本的特征分布更接近;最后,用在特征空间中与真实类别分布都更接近的特征图增强原型和聚合查询特征进行相似度比较得到更优的分类结果。所提方法在MiniImageNet、TieredImageNet、CUB-200和CIFAR-FS等常用的小样本图像分类数据集上进行了实验,结果表明所提方法获得了比基线模型更优的分类性能,同时也优于同类型的小样本图像分类方法。

U型卷积网络在乳腺医学图像分割中的研究综述

U-Net及其变体模型在乳腺医学图像分割领域展现了卓越的性能,U-Net采用全卷积网络(FCN)结构进行语义分割,U-Net对称结构的高度灵活性和适应性可以通过调整网络深度、引入新的模块来适应不同的图像分割任务和挑战,这种创新结构对后续网络设计产生了深远影响。深入探讨了基于U型卷积网络在乳腺医学图像分割中的应用,并对近年来用于乳腺医学图像分割的U型卷积网络进行了分类与归纳。针对U-Net网络结构改进的乳腺医学图像分割技术进行了如下总结。阐述了目前广泛使用的乳腺医学图像数据集及评价指标,陈述了常用的数据增强方法;详细介绍了U-Net模型的网络结构以及用于乳腺医学图像的传统分割方法;对用于乳腺医学图像分割方法的U型网络结构按照残差结构、多尺度特征、膨胀机制、注意力机制、跳跃连接机制、结合Transformer等方面改进进行归纳总结。讨论了当下乳腺医学图像分割所遇到的问题与挑战,对未来的研究走向做出了展望。

结合密度图回归与检测的密集计数研究

针对基于检测以及基于密度图两种主流的密集计数方法中,基于检测的方法召回率较低、基于密度图的方法缺失目标物体位置信息的问题,将检测任务与回归任务相结合后提出一种基于密度图回归的检测计数方法,可以实现对密集场景中目标物体的计数以及定位,对两种方法进行优势互补,在提高召回率的同时,实现标定所有目标物体的位置信息。为提取出更加丰富的特征信息以面对复杂的数据场景,网络提出特征金字塔优化模块,该模块纵向融合底层高分辨特征与顶层抽象语义特征,横向融合同尺寸的特征,丰富目标物体的语义表达;考虑到密集计数场景中目标物体所占像素比例较低的问题,提出一种针对小目标的注意力机制,通过对输入图像构建掩膜以增强网络对目标物体的注意力,从而提高网络的检测敏感性。实验结果表明,所提出方法在保持准确率基本不变的情况下,大幅度提高了召回率,同时可准确标定目标物体位置,有效提供输入目标图像的计数以及定位信息,在工业以及生态等各种领域具有广泛的应用前景。

改进MADDPG算法的非凸环境下多智能体自组织协同围捕

针对多智能体在非凸环境下的围捕效率问题,提出基于改进经验回放的多智能体强化学习算法。利用残差网络(ResNet)来改善网络退化问题,并与多智能体深度确定性策略梯度算法(MADDPG)相结合,提出了RW-MADDPG算法。为解决多智能体在训练过程中,经验池数据利用率低的问题,提出两种改善经验池数据利用率的方法;为解决多智能体在非凸障碍环境下陷入障碍物内部的情况(如陷入目标不可达等),通过设计合理的围捕奖励函数使得智能体在非凸障碍物环境下完成围捕任务。基于此算法设计仿真实验,实验结果表明,该算法在训练阶段奖励增加得更快,能更快地完成围捕任务,相比MADDPG算法静态围捕环境下训练时间缩短18.5%,动态环境下训练时间缩短49.5%,而且在非凸障碍环境下该算法训练的围捕智能体的全局平均奖励更高。

潜在空间中的策略搜索强化学习方法

策略搜索是深度强化学习领域中一种能够解决大规模连续状态空间和动作空间问题的高效学习方法,被广泛应用在现实问题中。然而,此类方法通常需要花费大量的学习样本和训练时间,且泛化能力较差,学到的策略模型难以泛化至环境中看似微小的变化。为了解决上述问题,提出了一种基于潜在空间的策略搜索强化学习方法。将学习状态表示的思想拓展到动作表示上,即在动作表示的潜在空间中学习策略,再将动作表示映射到真实动作空间中。通过表示学习模型的引入,摒弃端到端的训练方式,将整个强化学习任务划分成大规模的表示模型部分和小规模的策略模型部分,使用无监督的学习方法来学习表示模型,使用策略搜索强化学习方法学习小规模的策略模型。大规模的表示模型能保留应有的泛化性和表达能力,小规模的策略模型有助于减轻策略学习的负担,从而在一定程度上缓解深度强化学习领域中样本利用率低、学习效率低和动作选择泛化性弱的问题。最后,在智能控制任务CarRacing和Cheetah中验证了引入潜在空间中的状态表示和动作表示的有效性。

LEGAN:一种新的暗弱光照图像增强算法

针对暗弱光照图像所存在的亮度、对比度、信噪比低,以及噪声污染大等问题,提出了一种新的暗弱光照图像增强算法LEGAN。该算法将图像输入至所提伽马曲线估计网络求得包含伽马参数的特征图,再经过LEB模块增强亮度,并通过级联LEB的方式迭代增强结果。采用基于PatchGAN的全局-局部判别器结构来提高图像分辨率和恢复图像细节。通过引入感知损失来限制真实标签和输出结果之间的差距,利用照明平滑度损失保持相邻像素之间的单调性关系,同时结合空间一致性损失来增强图像的空间相关性。实验结果表明,相比于现今大多数主流增强算法,该算法的细节还原度相对较高,且能有效避免增强后的图像出现局部亮度不佳等问题。

目标区域引导的RRT^(*)机械臂路径规划算法

针对传统RRT^(*)算法在机械臂路径规划的过程中存在规划效率低、路径质量不佳、机械臂位姿不当等问题,提出一种目标区域引导的RRT^(*)机械臂路径规划算法(TA-RRT^(*))。在传统RRT^(*)算法基础上,引入目标偏向策略并使用球形子集约束采样,缩小采样范围并使新节点朝向目标点扩展,增强目标导向性;对新节点采用直连策略,让算法可以更快地收敛从而提升路径生成速度。对初始规划路径去除冗余点并使用三次B样条曲线转换成平滑路径,优化了路径质量。对机械臂进行位姿约束,通过机械臂逆运动学判断机械臂连杆位姿可达性,并利用包络盒模型判断机械臂是否与障碍物碰撞。实验结果表明,在二维以及三维场景下,TA-RRT^(*)算法在采样次数、规划时间、路径长度以及平滑度等方面的性能均优于RRT^(*)算法,验证了该方法的正确性及可行性。机械臂仿真实验以及在真实环境下的测试结果显示,加入位姿约束后机械臂运行规划好的轨迹时,机械臂各个关节在运行规划路径的过程中并未与障碍物发生碰撞且具有良好的稳定性。

时空邻域感知的时序兴趣点推荐

如何捕捉用户行为的动态变化和依赖关系是当前兴趣点推荐的一个重要问题,主要面临着数据稀疏、时空序列特征提取难以及用户个性化差异不易捕捉等挑战。为了解决这些挑战,提出了一种基于时空邻域感知及隐含状态变化的时序兴趣点推荐方法。该方法将用户行为的学习转换成了潜在状态的学习,并以一种结合距离信息的方式引入空间信息,有效地捕捉了用户的移动特征。首先,利用变分自编码器表征用户的潜在状态,再通过图神经网络学习到潜在状态之间的依赖关系,从而捕捉到用户行为的时序依赖;然后,利用注意力机制和径向基函数来捕捉用户与地点候选集之间的空间依赖,进而评估用户访问每个地点的概率,实现兴趣点推荐。在三个真实数据集上进行了实验比较和分析,显示了该方法相比于现有的基准算法具有更好的时序推荐性能。

基于PathSim的MOOCs知识概念推荐模型

大规模开放在线课程提供大规模开放式在线学习平台,为推进现代教育发挥关键作用。然而,减少用户学习盲区和改善用户体验方面的研究仍具有挑战性:交互数据稀疏;难以扩展到大型推荐任务上;用户需求不单由用户喜好决定,还受到不同教师、课程影响;以统一的方式对课程学习事件中不同类型实体及关系进行建模并不妥靠。基于此,引入相关性度量,依据全图结构信息计算各边权重,提出采用相关性度量算法PathSim进行邻域采样的知识概念推荐模型PathSimSage。各实体间相关性得分可在本地离线计算,将神经网络与传播过程分离,保证神经网络的堆叠层数和传播过程的独立性,大幅减少模型所需训练时间。在公开的MoocCube数据集上进行了综合实验,PathSimSage降低了不相关的信息甚至噪声的影响,解决随机游走采样所引发的高度节点偏差问题,并在一定程度上缓解了过平滑效应。

融合选择注意力的小样本知识图谱补全模型

在面对实体对关系复杂或目标邻域稀疏等情况时,现有的小样本知识图谱补全模型普遍存在关系表示学习能力不足以及忽略实体对相对位置和交互作用的问题。基于此,提出一种基于选择注意力机制和交互感知的小样本知识图谱补全模型(SAIA)。首先,通过在聚合邻域信息过程中引入选择注意机制,帮助邻域编码器聚焦更重要的邻居以减少噪声邻居的不良影响;其次,在关系表示学习阶段,利用背景知识图谱中与任务关系相关的信息学习更加准确的关系表示;最后,为了挖掘知识图谱实体之间的交互信息和位置信息,设计了一个实体对公共交互率指标(CIR)来衡量实体对三阶路径内的关联程度,然后结合实体语义信息共同预测新的事实。实验结果表明该方法优于目前最先进的小样本知识图谱补全模型。与基准模型最优的结果相比,SAIA在NELL-one和Wiki-one数据集上的5-shot链接预测中,平均倒数排名(MRR)、Hits@10、Hits@5以及Hits@1等性能评价指标分别提高了0.038、0.011、0.028和0.052以及0.034、0.037、0.029和0.027,验证了所提模型的有效性和可行性。

随机通道扰动的图像数据增强方法

数据增强中遮挡仿真方法将输入图像随机裁剪的区域像素全部置零,会擦除有效纹理特征,导致网络泛化能力欠佳。因此,提出一种随机通道扰动的图像数据增强方法(ChannelCut)。ChannelCut方法包括Channel-Cut1和ChannelCut2两种方法。在输入图像上随机选取三个方形区域,并且对输入图像进行通道分离,得到三个通道图像;ChannelCut1方法在三个通道图像上分别选取一个方形区域将其像素置零,且三个通道选择的区域互不相同;ChannelCut2方法保留ChannelCut1方法中选取的方形区域像素,并将每个通道中剩余两个方形区域的像素置零;将两种方法处理后的三个通道图像分别进行合并,得到两种随机通道扰动图像。将所提方法融合到Resnet18、ShuffleNet V2、MobileNet V3等CNN模型中,并在CIFAR-10、Imagenette等五个数据集上开展实验。该方法在五个数据集上的分类准确率均优于主流方法,显著提高了基线模型的性能;在细粒度图像分类中更占有优势;在时间性能上优于使用强化学习的自动数据增强类型方法。该方法能够不同程度地保留图像纹理特征,丰富图像多样性,具有较强的通用性和有效性,显著地提高卷积神经网络模型的鲁棒性和泛化性。

基于直觉模糊知识量的图像噪声检测与去除

针对现有依赖于有缺陷的直觉模糊熵(IFE)理论的图像噪声检测算法的不足,引入最新知识测度(KM)理论及模型,提出一种基于直觉模糊知识量(IFAK)的图像噪声检测与去除方法。噪声检测阶段,基于直觉模糊最大知识量确定噪声图前景、背景最佳平均灰度值,据此构建噪声检测参数化模型,实现噪点及疑似噪点的概率标记,表现出优良的噪声检测能力。噪声去除阶段,利用噪声概率矩阵提出一种基于直觉模糊知识量及概率噪声的去噪模型,在有效去噪的同时,更好地保护图像边缘及非噪声极值像素的特征。对比实验针对标准数据集及经典测试图分别进行,实验结果表明,所提方法能够准确识别图像脉冲噪声,有效实现图像去噪,整体性能及表现优于同类其他算法,关键指标值PSNR提升14.81%,SSIM提升11.35%。将知识测度新理论应用于图像去噪中,取得优良的评价指标与视觉效果,同时也实现该理论在其他相关领域的创新应用。