基于记忆单元与多尺度结构相似性的异常检测

针对基于记忆单元的自编码器模型(Dynamic Prototype Unit Model,DPU)在检测视频异常时没有充分利用多层次特征、未考虑异常与正常事件间的结构性差异的问题,提出融合多尺度记忆模块和多尺度结构相似性的异常检测模型.新模型构建了多尺度记忆模块(Multi Scale Memory Module),利用不同尺度空间的记忆单元对编码层特征进行编码,并将编码结果与解码层特征拼接,既能保留网络的浅层细节信息,又能促进正常模式的多样性.为了约束对正常事件中结构信息的学习,组合多尺度结构相似性(Multi Scale Structure Similarity Index,MS-SSIM)误差与误差作为目标函数,使预测视频中的事件结构更接近正常事件,提高视频中异常事件的预测误差.在标准数据集UCSD Ped1、UCSD Ped2和Avenue数据集上的实验结果表明,提出模型的帧级AUC比原模型分别提高了0.8%、3.4%和1.0%,帧率达到142.9 fps.

基于多尺度结构自相似性的单幅图像超分辨率算法

多尺度结构自相似性是指同一幅图像中存在相同尺度或不同尺度的相似结构,这种多尺度图像结构自相似性广泛存在于遥感图像中.本文提出了一种基于多尺度结构自相似性的单幅图像超分辨率(Super resolution,SR)算法,该算法结合了压缩感知框架与图像结构自相似性,利用非局部方法和基于图像金字塔的K-SVD字典学习方法,将蕴含在相同尺度和不同尺度相似图像块中的附加信息在压缩感知的框架下加入到重构图像中.本文算法的优势在于,它仅借助于单幅低分辨率图像自身所蕴含的信息,实现了空间分辨率的提升.实验表明,与CSSS算法和ASDSAR算法相比,本文算法更有效地提升了遥感图像的空间分辨率.

基于内在生成机制的多尺度结构相似性图像质量评价

该文针对多尺度结构相似性(Multiple-scale Structural SIMilarity,MSSIM)图像质量评价算法对图像信息不确定部分度量能力的不足,结合人类视觉系统(HVS),提出基于内在生成机制(internal generative mechanism)的i MSSIM算法。首先采用基于逐段式自回归(Piecewise Auto Regressive,PAR)模型的内在生成机制将失真图像和原始图像分解成采用MSSIM算法评分的图像内容预测部分和采用PSNR评分的图像信息不确定部分;然后采用均方误差(MSE)进行加权来联合这两部分评分获得最终结果。在基准数据库上完成的对比实验表明:该算法不仅在不同失真类型上性能最好,且在6个公开数据库上的性能优于现有算法。

一种基于多尺度结构自相似性的图像超分辨率重建算法

多尺度结构自相似性是指图像中存在大量相同尺度,以及不同尺度相似结构的性质。提出一种基于多尺度结构自相似性的超分辨率重建算法;该方法通过图像旋转和金字塔分解,将输入图像的先验信息附加到训练库中;并对样本图像块聚类,分别训练针对各类的多个字典。在图像重建阶段,自适应选择最优字典;并利用相似图像块间的关系建立非局部约束项重建图像。最后利用迭代反投影算法进行图像后处理,进一步提升图像的超分辨率重建效果。实验结果表明,与SCSR、SISR和ASDS算法相比,算法能够取得边缘更为清晰的超分辨率重建效果。

基于多尺度结构自相似性的超分辨率算法

多尺度结构自相似性是指同一幅图像中存在相同尺度或不同尺度的相似结构,这种图像结构自相似性广泛存在于自然图像中。提出了一种基于多尺度结构自相似性的单幅图像超分辨率(Super Resolution,SR)算法,该算法不依赖于外界图像,仅在原始图像的多尺度图像中搜索低分辨率(Low Resolution,LR)图像块的最相似子块,并结合脊回归算法获得低分辨率图像块和相应高分辨率(High Resolution,HR)图像块的映射关系。此外,将原始图像进行旋转、翻转等操作,扩大内部图像块的样本空间。大量的对比实验表明,本文所提算法有效地提高了峰值信噪比(Peak Signal to Noise Ratio,PSNR)和图像可视效果。

系列尺度岩石结构面相似表面模型制作的逆向控制技术研究

制作与原岩结构面相似表面形态的模型试样是开展结构面力学模型试验的关键。基于不同尺度岩石结构面模型试样的制作特点,研制上、下盘完全吻合的系列尺度试样模具,并设计上、下盘吻合结构面试样的制作工艺,使得原岩结构面可以多次重复利用,提高原岩结构面的使用效率,降低取样成本和试验周期,实现在同一块结构面上不同尺度结构面模型的制作。利用表面形态相似性评价技术,验证制作工艺的可行性,结果表明,按照该逆向控制技术设计制作的模型试样,能复制出和原岩结构面表面形态一样、上、下盘结构面吻合度高的模型试样,符合制作不同尺度模型结构面的要求,可克服原岩结构面上下盘吻合度差、不能多种尺度取样的缺点,为开展具有真实表面形态的结构面抗剪强度尺寸效应试验研究提供了条件。

结合混合卷积和多尺度注意力的视频异常检测算法

基于U-net风格的无监督视频异常检测模型有着较好的检测效果,但由于普通卷积运算使用固有的局部特性,使U-Net风格的编码器无法有效地提取全局上下文信息,并且使用简单的跳跃连接无法获得有效的特征信息,使用的L2损失函数是仅考虑了像素级别的差异而无法捕捉图像的结构特征。对此提出了结合混合卷积和多尺度注意力的视频异常检测算法,并加入结构相似性损失函数(SSIM)优化模型。具体来说,在编码器最后一层添加混合卷积模块,混合空间和位置的特征来提取全局上下文信息。在编码器和解码器之间的跳跃连接中添加多尺度注意力模块,使模型能提取更有价值的特征,实现有效的跳跃连接。使用参数约束结构相似性损失函数与L2损失函数的权重,从而更准确地优化模型。实验结果表明,所提算法在UCSD-Ped2和CUHK Avenue公开数据集上的AUC指标达到96.7%和86.1%,与改进前的模型相比提高了1.6%和1.4%,证明了所提模型的有效性。

基于多尺度Scale-Unet的单样本图像翻译

随着生成对抗网络(GAN)的发展,基于单样本的无监督图像到图像翻译(UI2I)取得了重大进展。然而,以前方法无法捕获图像中的复杂纹理并保留原始内容信息。为解决这个问题,提出了一种基于尺度可变U-Net结构(Scale—Unet)的新型单样本图像翻译结构SUGAN。所提出的SUGAN使用Scale—Unet作为生成器,利用多尺度结构和渐进方法不断改进网络结构,以从粗到细地学习图像特征。同时,提出了尺度像素损失scale-pixel来更好地约束保留原始内容信息,防止信息丢失。实验表明,与SinGAN、TuiGAN、TSIT、StyTR2等公共数据集Summer■Winter、Horse■Zebra上的方法相比,该方法生成图像的SIFID值平均降低了30%。所提方法可更好地保留图像内容信息,同时生成详细逼真的高质量图像。

基于结构化损失的单目深度估计算法研究

为了提高单目图像深度估计的精度,针对图像中几何形状无法准确预测以及边缘模糊的问题,该文提出了一种基于多尺度结构相似度和梯度匹配的单目深度估计算法,利用多尺度结构相似度损失和尺度不变梯度匹配损失组成联合结构化损失,对相对深度点对进行排序来实现单目深度估计,实现了对图像中几何形状的准确预测,减小了边缘模糊,提高了深度预测精度。在Ibims、NYUDv2、DIODE、Sintel 4个不同类型的数据集进行了数值实验和主观评测,结果表明该算法降低了深度预测误差,有效提高了预测的准确性,并具有一定的泛化性能。

基于多尺度特征提取的单目图像深度估计

在目前基于深度学习的单目图像深度估计方法中,由于网络提取特征不够充分、边缘信息丢失从而导致深度图整体精度不足。因此提出了一种基于多尺度特征提取的单目图像深度估计方法。该方法首先使用Res2Net101作为编码器,通过在单个残差块中进行通道分组,使用阶梯型卷积方式来提取更细粒度的多尺度特征,加强特征提取能力;其次使用高通滤波器提取图像中的物体边缘来保留边缘信息;最后引入结构相似性损失函数,使得网络在训练过程中更加关注图像局部区域,提高网络的特征提取能力。在NYU Depth V2室内场景深度数据集上对本文方法进行验证,实验结果表明所提方法是有效的,提升了深度图的整体精度,其均方根误差(RMSE)达到0.508,并且在阈值为1.25时的准确率达到0.875。

一种结构感知损失的域适应深度估计方法

针对域适应深度估计方法中域图像间结构差异较大问题,文中提出一种结构感知损失的域适应深度估计方法。该方法通过预训练的卷积神经网络对图像进行特征提取,在特征上进行结构相似性度量,减小了域图像之间的差异性,提高了转换模块的稳定性。该方法使用合成图像深度对和真实图像训练,不需要真实图像的深度标签和物理几何信息。在KITTI数据集上进行实验,深度准确率达到了96.6%,证明该方法可有效提高深度准确率。

视觉传达约束下模糊人脸图像多尺度特征重建模型

模糊人脸图像细节不清,导致相关领域人脸识别过程中出现错误识别或无法识别的问题。为提高人脸识别的准确性,文中在视觉传达约束下构建模糊人脸图像多尺度特征重建模型。首先,对模糊人脸图像进行灰度处理和去噪处理,并利用高斯金字塔将人脸图像分解为三个尺度;然后分别提取三个尺度图像的人脸特征,利用自编码超分网络建立模糊图像和高分辨率图像之间的对应关系,构建重建模型;最后,将多尺度特征作为模型的输入,通过求解模型实现模糊人脸图像多尺度特征重建。结果表明,重建模型的平均峰值信噪比和平均结构相似性达到相对极大值,分别为9和0.87,说明所构建模型重建的人脸图像质量较高。

有监督深度学习的地震资料提高分辨率处理方法

地震资料分辨率直接影响后续处理和解释成果精度,因此备受关注。深度学习方法具备自动提取深层特征和出色的非线性逼近能力,在反问题求解中广泛应用。在地震勘探领域,深度卷积网络中的卷积算子与地震数据的褶积模型相吻合,因而有望通过智能化手段显著提升地震资料的分辨率。目前,针对卷积神经网络提高地震资料分辨率方面的研究发展迅速,但问题的核心在于设计适合、有效的网络结构和损失函数。为此,提出一种基于强监督学习的地震资料高分辨率处理方法。该方法充分利用地下结构的空间连续性,借鉴图像超分辨率重建的思想,设计了一种生成对抗网络结构,用以提高地震资料的纵向分辨率;同时,采用L1损失和多尺度结构相似性(MS-SSIM)损失相结合的损失函数提高感知质量,以提高网络的高分辨率处理效果。合成数据和实际地震数据的应用结果显示,相较于常规损失函数,文中采用的损失函数可以显著提升智能算法的处理效果,明显改善地震数据同相轴的连续性,且高频细节信息更丰富,验证了该方法的可行性和有效性。

遥感影像空间尺度上推方法的评价

首先分析了几种常用的影像质量评价指标在遥感数据空间尺度上推方法评价中的不足,同时提出了已有的关于空间尺度上推方法在评价思路上的不妥之处。引入了空间分辨率和SSIM(structural SIMilarity)2个遥感影像质量评价指标,给出了新的评价思路,并在此基础上对5种遥感数据空间尺度转换方法进行了评价。在本实验中,空间分辨率和SSIM2个遥感影像质量评价指标一致表明,Bilinear和Bicubic方法的结果影像能够更好地接近目标空间尺度下的影像特征。实验表明,依据新的评价思路,采用空间分辨率和SSIM2个评价指标进行空间尺度上推方法表现出较强的有效性和优越性。

基于多尺度非局部约束的单幅图像超分辨率算法

多尺度结构自相似性是指图像中的大量物体具有相同尺度以及不同尺度相似结构的性质.本文提出了一种基于多尺度非局部约束的单幅图像超分辨率算法,结合多尺度非局部方法和多尺度字典学习方法将蕴含在图像多尺度自相似结构中的附加信息加入到重建图像中.多尺度非局部方法在图像金字塔的不同层中搜索相似图像块,并利用多尺度相似图像块间的关系建立非局部约束项,通过正则化约束获取多尺度自相似结构中的附加信息;多尺度字典学习方法将图像金字塔作为字典学习的样本,通过字典学习使样本中的多尺度相似图像块在字典下具有稀疏表示形式,从而获取多尺度自相似结构中的附加信息.实验表明,与ScSR、SISR、NLIBP、CSSS、ASDSAR和mSSIM等算法相比,本文的算法取得了更好的超分辨率重建效果.

编码-解码多尺度卷积神经网络人群计数方法

针对基于多列卷积神经网络的人群计数方法存在的多尺度特征信息丢失、融合不佳以及密度图质量不高等问题,提出了一种编码-解码结构的多尺度卷积神经网络人群计数方法。编码器采用多列卷积捕获多尺度特征,通过空洞空间金字塔池化扩大感受野并减少参数量,保留尺度特征和图像的上下文信息;解码器对编码器输出进行上采样,实现高层语义信息和编码器前端低层特征信息有效融合,从而提升了密度图的输出质量。为增强网络对计数的敏感性,在以往像素空间损失的基础上考虑了计数误差,提出了一种新型损失函数。采用Shanghai Tech、Mall以及自建数据集进行了对比实验,结果表明:与之前最优方法相比,所提方法在Shanghai Tech数据集Part_A部分的平均绝对误差和均方误差分别降低了8.3%和21.3%,Part_B部分分别降低了12.9%和12.0%,Mall数据集分别降低了15.1%和23.8%,自建数据集分别降低了13.5%和7.1%;在不同人群场景下,所提方法的人群计数准确性和鲁棒性均优于其他对比方法的。

基于无人船的双分支解码轻量型分割网络研究

为保证水面无人艇(USVs)进行水上任务时能够顺利航行,需要对河道信息进行精确的提取,因此,对河道语义分割的网络模型进行了研究。针对河道图像分割中类间不一致和类内不一致的问题,文中提出了分割网络DBDL-Net,网络中设计双分支解码结构和双重损失函数,分别把握语义信息和空间信息;同时在编码部分设计了多尺度残差的轻量模块,一方面减少参数,一方面以不同的比例捕捉特征信息。最后在USVIn-land数据集上对模型进行消融和对比实验,实验结果表明:DBDL-Net的精确度和平均交并比最终达到了93.619%和87.682%,与其他先进分割网络相比,DBDL-Net也具有更佳的综合表现。

基于水下场景先验的水下图像增强方法研究

针对水体光线吸收与散射作用引起的图像模糊、低对比度和颜色失真等问题,提出一种基于水下场景先验的水下图像增强方法。首先利用水下场景的先验知识,结合水下成像物理模型和水下场景的光学特性,利用10种预定义衰减系数合成涵盖不同类型和退化水平的水下图像数据集;然后利用初始残差和密集级联,设计一类轻量级卷积神经网络(convolutional neural networks,CNN)模型增强水下图像,结合基于轻量级的网络结构和有效的训练数据,可减少增强模型的计算量并有效改善水下退化图像的视觉质量;最后采用归一化的后处理过程进一步提升图像增强的效果。仿真实验结果表明,所提方法可行有效,可应用到不同的真实水下场景,具有较强的鲁棒性与有效性。

基于改进生成对抗网络的图像风格迁移方法研究

为了解决传统GAN(Generative Adversarial Network)进行图像风格迁移受到成对数据集的限制,以及CycleGAN学习高级特征时表现不佳和训练过慢的问题,本文采用ModileNetV2-CycleGAN模型进行图像风格迁移,并引入多尺度结构相似性指数(multi-scale structural similarity,MS-SSIM)作为惩罚项保留风格图片的特征,来提高特征学习的效果,从而提高风格化图片质量。采用客观结构相似性SSIM与峰值信噪比PSNR和主观投票作为评估指标,对迁移后的效果进行评估,实验结果表明了本文改进算法的有效性。

结合粒子滤波的判别尺度空间目标跟踪算法

为了解决目前跟踪算法在运动目标被遮挡和尺度变换时跟踪效果不佳的问题,提出了一种结合粒子滤波的判别尺度空间跟踪算法。提取相邻两帧的目标区域,计算目标区域的结构相似性并与更新阈值进行比较,从而判断目标是否发生遮挡;其次,若发生遮挡,启用基于颜色分布的粒子滤波算法跟踪目标,反之,用判别尺度空间跟踪算法(DSST)中的位置滤波器确定目标位置;最后,利用尺度滤波器确定目标尺度并根据目标尺度更新粒子滤波的目标模型。经过在OTB2015测试集上进行实验,与判别尺度空间跟踪算法(DSST)、核相关滤波算法(KCF)等主流算法相比该算法的精确度和成功率均有所提高,尤其在发生遮挡后的跟踪效果表现最优。