联合线性引导与网格优化的混凝土裂缝分割

针对混凝土表面裂缝分割过程中分割精度低、细微裂缝漏分和背景干扰等问题,提出一种联合线性引导和网格优化的裂缝分割模型。首先,在主干网络中引入多分支线性引导模块,通过自适应单维度池化增强网络对裂缝线性结构的表达能力,让不同区域的裂缝建立联系,增强全局上下文信息感知能力,提高网络分割精度;然后,提出网格细节优化模块,通过分区-优化-合并三步骤,将整个空间域划分为若干个空间网格,提取空间网格中的细微裂缝信息,防止细微裂缝漏分;最后,在主干网络的跳跃连接处嵌入混合注意力模块,在空间和通道双维度突出裂缝特征,减少背景干扰。在Deepcrack537,Crack500和CFD裂缝数据集上,所提模型的IoU值分别达到77.07%,58.96%和56.55%,F1-score值分别达到87.05%,74.19%和72.24%,明显优于大多数现有方法,具有更高的分割精度。

GCN引导模型视点的光学遥感道路提取网络

在光学遥感图像中,道路易受遮挡物、铺装材料以及周围环境等多重因素的影响,导致其特征模糊不清。然而,现有道路提取方法即使增强其特征感知能力,仍在特征模糊区域存在大量误判。为解决上述问题,本文提出基于GCN引导模型视点的道路提取网络(RGGVNet)。RGGVNet采用编解码结构,并设计基于GCN的视点引导模块(GVPG)在编解码器的连接处反复引导模型视点,从而增强对特征模糊区域的关注。GVPG利用GCN信息传播过程具有平均特征权重的特性,将特征图中不同区域道路显著性水平作为拉普拉斯矩阵,参与到GCN信息传播从而实现引导模型视点。同时,提出密集引导视点策略(DGVS),采用密集连接的方式将编码器、GVPG和解码器相互连接,确保有效引导模型视点的同时缓解优化困难。在解码阶段设计多分辨率特征融合(MRFF)模块,最小化不同尺度道路特征在特征融合和上采样过程中的信息偏移和损失。在两个公开遥感道路数据集中,本文方法IoU分别达到65.84%和69.36%,F1-score分别达到79.40%和81.90%。从定量和定性两方面实验结果可以看出,本文所提方法性能优于其他主流方法。

融合分形几何特征Resnet遥感图像建筑物分割

针对遥感图像建筑物易受背景中道路、树木、阴影干扰而导致分割边界不清晰的问题,提出了一种融合分形几何特征的Resnet网络。所提模型基于编码-解码框架,以Resnet网络为主干网络,在编码阶段中引入融合分形先验的空洞空间金字塔池化模块(FD-ASPP),利用分形维数捕获遥感图像的分形特征,增强了Resnet网络的几何特征描述能力。解码阶段提出一种深度可分离卷积注意力融合机制(DSCAF),有效融合高层次特征和低层次特征,获取更加丰富的遥感图像语义信息和位置细节信息。在WHU遥感图像数据集上的实验表明,精确率达到0.9448,召回率达到0.9462,F1分数达到0.9455,平均交并比mIoU达到0.9415。所提模型与FCN、Segnet、Deeplab V3、U-net、SETR和AlignSeg等现有建筑物遥感语义分割模型相比,具有更好的分割精度,有效克服了道路、树木、阴影等因素的干扰,得到了较清晰的建筑物边界。

基于双频域特征聚合的低照度图像增强

针对低照度图像质量较差、噪声多、纹理模糊等问题,提出一种基于双频域特征聚合的低照度增强网络(dual frequency-domain feature aggregation network,DF-DFANet)。首先,构建频谱光照估计模块(frequency domain illumination estimation module,FDIEM)实现跨域特征提取,通过共轭对称约束调整频域特征图抑制噪声信号,并采用逐层融合方式提高多尺度融合效率以扩大特征图感受野范围。其次,设计多谱双注意力模块(multiple spectral attention module,MSAM)聚焦图像局部频率特征,通过小波域空间、通道注意力机制关注图像细节信息。最后,提出双域特征聚合模块(dual domain feature aggregation module,DDFAM)融合傅里叶域和小波域特征信息,利用激活函数计算自适应调整权重实现像素级图像增强,并结合傅里叶域全局信息提高融合效果。实验结果表明,在LOL数据集上所提网络的PSNR达到24.3714,SSIM达到0.8937。与对比网络相比,所提网络增强效果更具自然性。

多尺度区域注意力InfoGAN车牌识别网络

针对车牌图像倾斜、遮挡、失真、模糊导致车牌图像难以识别的问题,提出一种多尺度区域注意力InfoGAN车牌识别网络。基于InfoGAN框架提出一种多尺度区域注意力车牌超分辨率模块,通过引入颜色分布、字符结构特征的互信息约束,提升网络不同特征维度上的判别能力,重构失真、模糊的低分辨率车牌图像中的关键字符特征;在无车牌字符位置标签信息的情况下,使用多尺度区域注意力机制对车牌全局特征图中的车牌字符和背景解耦合,渐进式地对不同尺度特征图进行不同区域加权,提高网络对字符区域显著性的关注能力和背景噪声区域的抗干扰能力;提出多尺度语义车牌字符特征提取模块,对重构后车牌图像中字符特征解码并识别。在自建XAUAT-Parking数据集和公开CCPD数据集上进行车牌识别准确率实验,实验结果表明:所提网络在CCPD公开车牌数据集上的平均识别准确率为99.3%,在自建XAUAT-Parking数据集上的平均识别准确率为99.2%。所提网络在复杂场景下具有准确的车牌识别效果和较强的鲁棒性。

多尺度显著特征双线注意力细粒度分类方法

针对细粒度图像分类任务中存在的区分性特征太过细微难以捕捉、无法有效地定位感兴趣的区域等问题,提出一种多尺度显著特征双线注意力分类方法.首先设计区域显著特征增强模块,通过区域切片操作放大并捕获细微可区分特征,增强特征图表达能力;然后提出多分支双线注意力池化策略,以弱监督方式层次化表征对象的显著部位特征,提高不同尺度局部信息的关注能力;最后利用反事实学习思想量化注意力质量,将真实的注意力和无关注意力对最终预测结果的差异作为衡量指标,通过差异最大化迫使双线注意力池化策略学习更有效特征.在CUB-200-2011,Stanford Cars和Stanford Dogs这3个公开数据集上,所提方法的准确率分别达到89.3%,95.0%和87.6%,相比其他方法的性能有较大幅度的提升.

复杂构件装配数字孪生建模及系统实现

针对复杂构件装配生产过程中虚实交互困难、装配效率低等问题,提出一种面向复杂构件装配的数字孪生模型建模方法。首先设计了复杂构件装配数字孪生系统架构,然后从几何模型、工艺模型、行为逻辑模型和约束规则模型4个维度构建了复杂构件装配数字孪生虚拟模型,实现了对复杂构件装配物理实体全面真实地刻画与描述。设计并开发了复杂构件装配数字孪生系统,以鲁班锁装配为实例验证了建模方法的有效性,为复杂构件的装配提供了解决方案。

一种编解码结构的车牌图像超分辨率网络

针对复杂实际场景中模糊、污损、扭曲、倾斜等车牌图像关键信息缺失以及新能源车牌背景与字符对比度低难以识别的问题,提出了一种编解码结构的车牌图像超分辨率网络。首先,构建一种基于编解码结构的车牌重构生成器网络,利用编码器对车牌图像的纹理、字符等特征进行提取,解码器对车牌特征进行重构;然后,设计一种基于语义监督的判别器网络,在网络损失中引入了对抗损失与CTC(connectionist temporal classification)损失,增强生成器网络对车牌图像语义特征的表征能力;最后,基于VGG16网络提取车牌顶角点特征,利用坐标变换方法对车牌图像进行矫正,进一步提高重构清晰度与识别准确率。采用所提网络在自建XAUAT-Parking数据集和公开CCPD数据集上进行超分辨率重构与识别实验,结果表明:所提网络在CCPD数据集上的平均峰值信噪比可达25.5 dB,结构相似性(SSIM)可达0.989;在XAUAT-Parking数据集上峰值信噪比可达26.6 dB,结构相似性可达0.997。研究结果表明,该网络有较好的车牌图像超分辨率重建效果,而且对车牌关键信息缺失问题具有较强的鲁棒性。

特征引导的多模态聚合低光环境行为识别方法

诸如夜间等低光场景下的行为识别对于安防、自动驾驶等领域具有重要意义,针对现有方法在低光环境下识别效果不佳、鲁棒性较差等问题,提出一种基于特征引导的多模态聚合低光环境行为识别方法(MALNFG).首先,设计分层骨架特征融合网络(HSFIE),利用光照增强算法提升低光场景的骨架提取能力,采用层次化时空特征融合策略获取侧重于人体行为本身表达的动作特征,改善低光场景下因骨架缺失造成的精度下降问题;其次,设计高效表观特征提取模块(EAFEM),采用零参数时间位移模块在2D特征提取网络上高效捕捉包含丰富场景信息的时空特征;接着,设计特征引导多模态聚合网络(MNF),利用特征引导策略执行骨架特征与RGB表观特征的深层信息交互,实现行为特征的全面性表征;最后,采用全连接层进行特征分类,完成行为识别.实验结果表明,所提出方法可以较好地适用于低光环境下的人体行为识别任务.

位姿约束下的双向扩展机械臂路径规划方法

针对机械臂路径规划方法存在的规划效率低、连杆通过性差、路径粗糙等问题,以渐进最优快速随机搜索树RRT*为基础,提出一种位姿约束下的双向扩展机械臂路径规划方法(PCO-BT-RRT*)。首先,设计目标偏置引导的双向扩展RRT*算法(BT-RRT*),改进了RRT*算法的初始化过程,将起始点和目标点分别作为两棵随机树的初始节点,并通过目标偏置策略引导其以一定概率相向生长,加快探索未知区域,在保证路径代价较低的同时提升路径生成速度。其次,提出一种位姿约束路径优化策略(PCO),采用机械臂运动学模型和碰撞检测规则共同约束新节点扩展过程,寻找机械臂可达空间内的避障路径;对生成路径剪枝剔冗,缩短可行路径长度,同时对消冗节点以迭代调整的方式进行平滑优化,提高路径生成质量。通过仿真实验分析,验证了所提方法在路径规划问题上的显著性成效;在自主研发的BIM信息融合下建筑砌筑系统进行真机避障测试,验证了该方法的实用性。

结合实例分割与抓取筛选的堆叠目标抓取方法

为了在种类多样、位姿随机、背景散乱的堆叠场景下得到机器人抓取目标物体的最优次序与抓取位姿,本文提出一种结合实例分割与抓取筛选的堆叠目标抓取方法,包含抓取次序推理与抓取位姿检测两部分.抓取次序推理部分,首先设计基于自注意力与边界细化的实例分割网络,利用自注意力模块提升特征提取能力,并通过边界细化模块提高堆叠场景下物体边界的分割精度;其次提出一种抓取筛选方法,运用判断物体间完整掩码是否重叠与优先抓取分数排序的策略,筛选出目标最上层未被遮挡的物体为待抓取目标,以减少机器人多余抓取动作.抓取位姿检测部分,为适应不同尺度物体的检测,设计融合多尺度密集残差模块的抓取位姿检测网络,以保留物体的多尺度特征,从而适应不同尺度物体的检测.实验结果表明,本方法能够有效推理出堆叠场景下的抓取次序,并准确检测出物体的位姿,以实现目标的抓取.

基于上下文聚合策略的轻量级编/解码抓取位姿检测

针对多样性目标在非结构化环境中的抓取位姿难以估计的问题,提出一种基于上下文聚合策略的轻量级编/解码抓取位姿检测网络。首先,以编/解码网络架构为基础,利用深度可分离卷积层与混洗单元构建目标特征深度分离-融合提取块,减少编码网络参数量,增强网络对抓取区域特征的提取能力;其次,利用双线性插值法和深度可分离卷积层建立深度分离-重构块,在恢复高层特征丢失信息的同时,有效减少解码网络的参数量;最后,针对可抓取区域像素点与目标物体全貌之间的非一致性问题,基于交叉熵辅助损失和自注意力机制,提出一种抓取区域上下文聚合策略,引导网络增强可抓取目标区域特征的表征能力,抑制非抓取像素点的冗余特征。实验结果表明,所提网络在Cornell数据集的图像拆分与对象拆分子集上抓取检测准确率分别可达97.8%与93.8%,单张图像检测速度可达64.93张/秒;在Jacquard数据集上抓取检测准确率可达95.1%,单张图像检测速度可达60.6张/秒。与对比网络相比,所提网络不仅计算量与参数量较小,而且抓取检测的准确率与速度均有明显提升,在真实场景下对9种物体的抓取检测验证中,抓取成功率达到93.3%。