基于多尺度结构嵌入的图像修复方法研究

现有的图像修复方法能够补全图像但是依然存在信息缺失、结构扭曲、边界模糊等问题。针对这些问题,在生成对抗网络的基础上,提出带有多尺度结构嵌入的扩张卷积图像修复算法。生成器使用全局内容修复网络并嵌入多模态结构信息获得初始修复结果,利用带有多尺度注意力机制的局部细节修复网络进行纹理、结构修复。鉴别器使用局部与全局相结合的双重鉴别器模型修复破损区域。在Places2数据集上的实验证明,该算法与其他算法相比修复效果有较大提升,修复图像真实连贯,并提高了网络训练的稳定性。

基于光照权重分配和注意力的红外与可见光图像融合深度学习模型

针对现有红外与可见光图像融合模型在融合过程中忽略光照因素、使用常规的融合策略,导致融合结果存在细节信息丢失、显著信息不明显等问题,提出一种基于光照权重分配和注意力的红外与可见光图像融合深度学习模型。首先,设计光照权重分配网络(IWA-Net)来估计光照分布并计算光照权重;其次,引入CM-L1范式融合策略提高像素之间的依赖关系,完成对显著特征的平滑处理;最后,由全卷积层构成解码网络,完成对融合图像的重构。在公开数据集上的融合实验结果表明,所提模型相较于对比模型,所选六种评价指标均有所提高,其中空间频率(SF)和互信息(MI)指标分别平均提高了45%和41%,有效减少边缘模糊,使融合图像具有较高的清晰度和对比度。该模型的融合结果在主客观方面均优于其他对比模型。

基于高斯-中值的钢轨表面缺陷图像滤波研究

针对传统滤波算法在钢轨表面缺陷检测中噪声滤除效果的缺点,提出一种高斯-中值滤波算法。将图像反转,使缺陷及一些被氧化处与正常的钢轨表面的灰度亮度发生反转。对反转后图像的滤波模板窗口求加权平均值,将图像中的每个点的像素灰度值与其加权平均值进行比较,若该点的像素灰度值大于其加权平均值,则用中值滤波算法进行处理,否则用高斯滤波算法进行处理。将仿真结果与传统的方法相比较表明:该方法去除噪声效果更好,并能很好的保护图像细节和改善缺陷处的边缘细节。

基于特征分析的图像式地铁隧道裂缝检测方法研究

地铁隧道表面裂缝的自动检测技术是当下一个重要的研究方向。通过设计基于机器视觉的隧道裂缝自动检测系统来对裂缝进行识别,针对地铁隧道表面普遍存在的光照不均匀、噪声污染严重、对比度低等问题,依次采用Mask均光与灰度级腐蚀相结合的方法对图像进行增强处理,采用高斯-快速中值滤波算法滤除大量噪声,采用基于边缘信息的二次改进Otsu方法对裂缝图像进行有效分割,最终得到裂缝区域完整且噪声区域较少的二值图像。采用投影和阈值结合的方法判定裂缝种类,获取裂缝的长度、宽度及面积等特征指标来实现对裂缝的检测识别。研究结果表明:所提出的算法对普通裂缝的识别率达93%以上,对于地铁隧道表面裂缝识别准确率可达83%,验证了本文算法的有效性。

一种钢轨裂纹红外图像处理算法研究

针对钢轨裂纹红外图像信噪比低、对比度低和纹理细节模糊的特点,提出了一种涉及降噪、目标细节增强和区域分割等的红外图像综合处理算法。首先,通过自适应均值滤波除去钢轨裂纹红外图像的部分噪声;其次,采用非线性非子采样Contourlet变换(Nonsubsampled Contourlet Transform,NSCT)对裂纹图像进行增强处理;最后,利用改进的最大类间方差法实现图像中目标裂纹区域的分割。实验结果表明,本文算法在有效地抑制噪声,提高图像对比度的基础上,能突显裂纹细节纹理,同时降低细节分割丢失,为后续图像信息处理奠定了必要的基础。

基于改进DCGAN的钢轨表面缺陷图像扩充方法

钢轨表面缺陷样本稀缺使得深度学习检测法在实际场景中表现不佳,针对传统数据增强方法得到的图像类型单一、多样性较低的问题,将注意力机制融入深度卷积生成对抗网络(DCGAN),提出一种Attention-DCGAN用于轨面缺陷图像扩充。具体地,将自我注意力和通道注意力机制融入DCGAN的生成器和判别器,自我注意力可提高图像对全局信息的利用,通道注意力增强了图像中的通道依赖关系。使用Attention-DCGAN在自制轨面缺陷数据集和Type-I RSDDs数据集上进行实验,相比DCGAN,Attention-DCGAN在自制数据集上将IS(inception score)从1.74±0.02增加到1.77±0.04,FID(Fréchet inception distance)从137.75降低到130.64;在Type-I RSDDs上将IS从1.48±0.05增加到1.54±0.02,FID从153.96降低了142.85。结果表明Attention-DCGAN在两种数据集上均提高了生成图像的质量,可用于轨面缺陷图像的扩充,有助于提高有监督深度学习检测法在钢轨检测上的应用。

钢轨表面缺陷检测系统中图像增强预处理方法研究

针对光照条件及轨道环境的变化会造成采集的钢轨图像严重降质,对后续缺陷检测十分不利的情况,提出一种基于Retinex的钢轨表面缺陷图像增强方法。通过分析钢轨表面特征的形成机理和成像特性,设计钢轨图像采集装置。研究单尺度及多尺度Retinex方法并对其用于钢轨图像增强时存在的问题进行分析。在此基础上,引入反射分量z-score标准化环节改进传统的Retinex图像处理框架。通过理论推导和不同条件下的实验验证了改进方法的有效性。研究结果表明:该方法对光照变化具有较强的鲁棒性,能在提高缺陷与背景对比度的同时有效克服阴影的干扰。对不同轨道环境下的钢轨图像增强后,信息熵、对比度和清晰度指标均优于传统方法,为进一步准确提取缺陷特征奠定了基础。

基于RBF神经网络的固定时间滑模控制策略研究

为了实现对机械臂末端的高精度跟踪控制,本文提出了一种基于径向基函数(Radial basis function,RBF)神经网络的固定时间滑模跟踪控制策略。首先,建立机械臂的动力学模型。然后,将RBF神经网络和固定时间滑模面结合,设计RBF固定时间滑模控制器,以实现对机械臂末端轨迹的高精度控制;并利用Lyapunov稳定性理论对所设计控制器的理论可行性进行了证明。最后,以二关节机械臂为研究对象进行仿真实验。结果表明:RBF神经网络的固定时间滑模跟踪控制策略能估计模型中的不确定参数,有效地改善了控制效果;并使控制器具有固定时间收敛特性,提高了机械臂的收敛速度。

基于单幅光栅条纹图像的钢轨表面三维重构研究

针对光栅条纹相位测量法利用相移法提取相位时需要3幅以上的相移光栅条纹图像,使得整个重构过程复杂的问题,提出利用单幅光栅条纹图像提取相位的方法进行钢轨表面的三维重构。通过对单幅光栅条纹图像进行希尔伯特变换的方法实现相位移动。利用推导的相移公式直接求取包裹相位变化量,并解包裹得到连续相位分布。将连续相位代入相位高度映射关系,获得轨面高度分布,重构钢轨表面三维形貌。利用传统Stoilov五步相移法重构钢轨表面。通过对仿真结果的对比分析并结合实际情况,该方法能够很好地实现钢轨表面的三维重构,并且误差小于Stoilov五步相移法,运行速度较快,更适合在线检测。

基于增强现实技术的虚拟气象装备移动可视化与交互方法研究

将气象装备的应用管理与全景增强现实技术深度融合,从增强现实交互、三维全景漫游和音视频讲解三个方面研究虚拟气象装备移动可视化与交互方法。通过改进自适应跟踪注册算法实现虚拟气象装备三维模型的移动交互操作;三维全景漫游可实现对气象装备运行环境可视化和整体结构的认知;音视频讲解可实现对气象装备的讲解和动画观看。实验结果表明,改进的增强现实注册算法误差在2.5 mm以内,并结合全景漫游和音视频讲解有助于实现气象装备的虚拟化、可视化和信息化。

联合核预测和特征推理的渐进式壁画修复算法

针对现存深度模型修复壁画时,未兼顾像素级特征与语义级特征,而导致纹理精细度欠缺、结构扭曲等问题,提出一种联合核预测和特征推理的渐进式壁画修复算法.首先,设计区域渐进模块,通过部分卷积实现壁画特征渐进式映射.然后,提出双分支修复模块,其中核预测卷积分支实现破损区域的像素级修复;而语义特征推理分支中引入门控可变形卷积,并结合语义一致性注意力机制实现特征推理,完成破损壁画的语义级修复.最后,将双分支修复结果融合输出,最大限度地减少重构误差,提升修复精度.通过对敦煌壁画进行数字化修复实验,结果表明所提方法修复后的壁画具备较好的结构纹理特征,在评价指标上优于比较算法.

多层次特征融合与超图卷积的生成对抗壁画修复

针对现有壁画深度学习修复方法,存在上下文信息关注不足及结果欠佳的问题,提出了一种多层次特征融合与超图卷积的生成对抗修复模型。首先,利用金字塔特征分层对壁画进行多尺度层次特征提取,并采用混合空洞卷积单元扩大多层特征提取感受野,以克服单尺度卷积操作对于壁画特征提取能力不足的问题。然后,提出多分支短链融合层及门控机制融合多分支特征方法,将相邻分支间的特征信息进行融合,使融合后的壁画特征图中既有同分支的特征,又有相邻分支的特征,以提高特征信息的利用率;并引入门控机制对特征进行选择融合,以减少细节信息的丢失。接着,将融合特征通过卷积长短期记忆网络(ConvLSTM)特征注意力方法,增强对壁画上下文信息的关注。最后,设计超图卷积壁画长程特征增强模块,通过在编码器和解码器的跳跃连接之间建立超图卷积层,利用超图卷积捕获编码器的空间特征信息,并将其迁移到解码器中,有助于解码器更好地生成壁画图像,以加强特征的长程依赖关系,并与SN-PatchGAN判别器对抗博弈从而完成修复。通过敦煌壁画数字化修复实验,结果表明:所提方法客观评价优于对比算法,对于破损壁画修复结果更加清晰自然。

零速修正辅助的可见光通信列车连续定位方法

精确的列车位置信息是基于通信的列车控制(CBTC)系统实现安全行车、间隔控制的基础。现有的可见光通信列车定位相关研究往往关注列车处于静止或匀速运动的情况,较少考虑惯性测量单元(IMU)的累积误差及列车静止后IMU的零速偏移。为了实现隧道环境下地铁列车连续定位,提出一种借助零速修正的可见光通信列车定位方法。根据可见光通信(VLC)原理,安装在列车头部顶端的相机连续接收隧道壁上发光二极管(LED)光源的光信号,即LED光源闪烁的频率信息,获取LED光源对应的位置信息,进而推算列车的实际位置。同时,根据列车运行的速度、加速度等参数,采用零速修正算法,判断列车处于运动或零速状态;通过无迹卡尔曼滤波,对运动区段内列车恒定速度模型和恒定加速度模型下的列车定位结果进行优化,并对列车停站时IMU的零速偏移进行校正,补偿列车接收端位置和姿态估计精度的发散,实现隧道环境下列车高精度连续定位。实验结果表明:运动区段内,列车以40、60和80 km/h的速度匀速直线运行时,最大定位误差分别为15.27、16.93和19.57 cm;以80 km/h为最大目标速度时,匀加速和匀减速运动的最大定位误差分别为18.48和18.24 cm;利用零速修正和卡尔曼滤波优化列车定位结果,列车停站时的平均定位误差由11.35 cm降低至6.05 cm。所提方法有效抑制了IMU的零速偏移,满足IEEE 1474.1—2004标准对列车定位精度的要求,可为面向车车通信的CBTC系统实现列车定位提供一定的参考。

形态学边缘检测和区域生长相结合的遥感图像水体分割

遥感图像水体区域中因水体自身流动和波动等因素造成图像噪声,利用传统方法直接分割水体容易导致分割精度较低。为此,利用遥感图像中水体区域具有连通性强以及像素灰度值相近等特点,提出了一种利用多结构元素形态学重构边缘检测结合区域生长实现遥感图像水体分割的方法。首先将遥感图像转化为灰度图像,运用多结构元素形态学重构边缘检测,在去除噪声的同时增强水体边缘,保持水体区域边缘的较准确定位;然后利用灰度直方图自动选取种子点,确定水体区域灰度范围,利用该灰度范围内像素的均值和方差、种子点及已生长区域灰度特性作为生长准则,实现对水体区域的分割。实验结果表明,该方法能够对因水体扰动等因素导致的噪声图像进行有效分割,且水体区域分割精度较高。

基于注意力机制的多尺度手部分割方法

针对手部边缘细节信息分割不精确及小面积手部的错检、漏检问题,提出一种基于注意力机制的多尺度手部分割方法。首先,对Transformer模块重新进行设计优化,提出窗口自注意力结构和双分支前馈神经网络(Dual-branch FeedForward Networks,D-FFN)机制,通过窗口自注意力机制整合全局和局部的依赖信息,D-FFN抑制背景信息的干扰;然后,提出一种结合条形池化和级联网络的多尺度特征提取模块增大感受野,提高手部分割模型的准确性和鲁棒性;最后,提出基于Triplet Attention机制的上采样解码器模块,通过调节通道维度与空间维度的注意力权重将目标特征和背景的冗余特征区分开。将所提算法在公开数据集GTEA(Georgia Tech Egocentric Activity)和EYTH(EgoYouTubeHands)上测试,实验结果表明,该算法在两个数据集上的平均交并比(MIoU)值分别达到了95.8%和90.2%,相较于TransUnet算法分别提升了2.5%和2.1%,满足手部图像分割的稳定可靠、精度高、抗干扰能力强等要求。

基于并行混合注意力的复杂背景小尺度手部检测方法

针对复杂背景中手部特征不明显及尺度变化较大,难以满足高精度水平检测,易出现误检、漏检的问题,以YOLOv5为基础结构提出一种小尺度手部检测方法。将并行混合机制的注意力模块(parallel mixed attention mechanism,PMAM)嵌入到主干网络中,提高对手部特征的提取能力;设计一种结合路径聚合网络(path aggregation network,PAN)和加权双向特征金字塔网络(bidirectional feature pyramid network,BiFPN)改进的特征融合网络PB-FPN(path bidirectional-feature pyramid network),引入新的路径参与底部特征融合,提高算法对小尺度手部目标的检测能力;通过将骨干网络中的空间金字塔池化(spatial pyramid pooling-fast,SPPF)引入特征融合网络并与模型预测头连接,进一步提高算法的性能。在此基础上,使用FReLU作为网络模型的激活函数,增强网络的空间敏感度,提高网络鲁棒性。为验证所提方法的有效性,构建了更符合研究背景的新的数据集TV-COCO-Hand,并在此数据集上进行了相关实验,结果表明,改进后的模型在构建的数据集上mAP达到91.4%,比基线网络模型提高了3.8个百分点,且检测效果优于目前主流检测网络模型。在公开数据集上进行了数据集对比实验以及真实场景的检测实验,验证了模型的泛化性。

基于筛选学习网络的六自由度目标位姿估计算法

针对在复杂场景下对弱纹理目标位姿估计的准确性和实时性问题,提出基于筛选学习网络的六自由度(6D)目标位姿估计算法。首先,将标准卷积替换为蓝图可分离卷积(BSConv)以减少模型参数,并使用GeLU(Gaussian error Linear Unit)激活函数,能够更好地逼近正态分布,以提高网络模型的性能;其次,提出上采样筛选编码信息模块(UFAEM),弥补了上采样关键信息丢失的缺陷;最后,提出一种全局注意力机制(GAM),增加上下文信息,更有效地提取输入特征图的信息。在公开数据集LineMOD、YCB-Video和Occlusion LineMOD上测试,实验结果表明,所提算法在网络参数大幅度减少的同时提升了精度。所提算法网络参数量减少近3/4,采用ADD(-S) metric指标,在lineMOD数据集下较Dual-Stream算法精度提升约1.2个百分点,在YCB-Video数据集下较DenseFusion算法精度提升约5.2个百分点,在Occlusion LineMOD数据集下较像素投票网络(PVNet)算法精度提升约6.6个百分点。通过实验结果可知,所提算法对弱纹理目标位姿估计具有较好的效果,对遮挡物体位姿估计具有一定的鲁棒性。

基于图像灰度梯度特征的钢轨表面缺陷检测

利用机器视觉技术检测钢轨表面缺陷时,检测结果的准确性易受光照变化、钢轨表面反射不均和锈迹等因素的影响。为此,提出了基于图像灰度梯度特征的钢轨表面缺陷检测方法。首先,在设计钢轨表面缺陷检测装置的基础上,分析了钢轨图像中不同区域的灰度和梯度特征;然后,基于双边滤波思想设计了背景平滑滤波器,利用局部灰度和梯度变化信息自适应调整不同特征区域的平滑程度,对原图像平滑得到背景图像;最后,将原图像与背景图像差分,通过对差分图像阈值分割并利用连通区域标记法,实现钢轨表面缺陷检测。实验结果表明,该方法可以在凸显图像缺陷部分的同时,有效减弱光照变化、钢轨表面反射不均和锈迹的影响,对不同轨道环境下的疤痕和裂纹缺陷均取得了较好的检测效果,缺陷漏检率和误检率分别为5.79%和6.84%,具有一定的实用价值。

基于复杂背景的多尺度特征融合手-物交互检测方法

针对手与物体在交互过程中不同场景的背景噪声、光照变化等复杂背景,以及手-物相互遮挡、分辨率低等问题对手-物交互检测精度的影响,提出采用一种两阶段的多尺度特征融合手-物交互检测方法。首先,引入基于特征金字塔的残差网络Resnet50作为特征提取主干网络,实现深层语义信息和浅层细节特征的多尺度融合,提高小目标检测的精度;然后,利用检测到的手部区域与物体区域的几何信息来判断是否交互,过滤非交互的物体;最后,在大规模的室内外包括11个类别的手接触物体的人类互动视频帧数据集进行实验,提高网络的泛化性能。实验结果表明,本文所提方法和两阶检测方法相比,在提高检测精度的同时没有增加网络模型复杂度,同时在数据集不同类别的检测精度相对稳定,有效提升了网络的泛化性能。

基于自适应均值的地铁隧道裂缝图像滤波算法

地铁隧道表面光照不均匀、对比度低、噪声干扰严重,采集到的裂缝图片较灰暗且含有大量混合噪声,因而单一的滤波方法不能达到很好的去噪效果。针对该问题,提出一种基于快速中值的自适应均值滤波算法来实现隧道裂缝图像滤波。该算法先对图像进行反转以增强裂缝与背景的对比度,通过快速中值法计算滤波窗口的中值,自适应地选取合适的阈值来对滤波系数加以优化,并将窗口各像素点的灰度值进行加权运算,其结果作为窗口中心点灰度值,并输出。通过与传统中值、均值滤波算法比较,提出的新算法不仅降低了图像噪声,而且有效地保护了裂缝边缘,降低后续对裂缝特征量提取及分割识别的难度。