边缘异常识别下视频图像篡改细节检测

视频图像不同栅格位置或不同压缩区域被合成为篡改图像时会出现特征块效应的差异,改变原视频的关键信息。为了准确识别图像中被篡改的像素点,提出基于边缘异常识别的视频图像篡改检测方法。通过离散余弦变换,将能量全部集中到图像的低频系数内,描述出视频的边缘等细节。利用能量比与频域熵间关系得出图像中能量的可疑度,结合预测掩膜概率图划分出发生篡改的位置区域。利用Sobel边缘检测边缘点,量化边缘点特征判断出边缘是否异常,当出现异常对其跟踪直至目标消失,检测出视频图像中的篡改位置区域。实验结果表明,所提方法能够精准检测出视频图像被篡改位置,且耗时低于1ms,应用优势显著。

融合全局多层次特征的跨尺度河流精准识别方法

高分辨率遥感影像中河流自动化精准识别,在河湖环境监测和流域变化研究等方面具有重要意义和研究价值。然而,因河流在影像中面积占比较小,易造成数据集正负样本不平衡。此外,河流具有形态多变和尺度变换复杂等特点,导致河流识别易出现边界不连续和格网效应等问题。基于此,提出一种融合全局多层次特征的跨尺度河流精准识别方法。首先,选取全球具有明显特征的曲流河和辫状河,创建多特征河流数据集,以此增加数据多样性。其次,以轻量级语义分割模型Segformer为主干网络搭建R-Seg模型,设计全局多层次特征提取GASPP模块,通过各阶段与Transformer级联提取多尺度特征,使得模型能更好捕捉河流影像上下文特征信息,减少信息损失并放大全局维度交互特征。最后,提出基于掩膜加权投票的跨尺度河流影像预测方法,通过对大场景河流影像进行滑窗裁剪,将各单元预测块与特定掩膜加权相乘得到子预测结果,并按照重叠投票方式依次拼接组成最终结果,实现不同尺度河流影像精准识别。实验证明,在所构建包含曲流河和辫状河的多特征数据集中,通过与其他方法对比可发现:在定性方面,R-Seg整体网络结构既能确保主干河流的识别精度,又能缓解细小河流断流现象,有效平滑河流边界,对500×500小尺度河流影像识别具有较好的鲁棒性;此外,采用掩膜加权投票方法,能有效减少格网效应造成的单元图块边缘缺失问题,充分利用单元图块预测结果,提升对更大场景遥感影像的适应能力和河流预测精度,实现不同尺度河流影像精准识别。从定量角度,方法各类精度评价指标相对最优,总体精度可达99.49%;其次,对单张影像识别时间不到1 s,效率可满足大多数实际要求。此外,相比于纯粹重叠预测策略,掩膜加权投票预测策略的河流识别总体精度高约0.28%~6.93%;通过调整重叠度参数可发现,重叠度与精度并非正相关,大约在12.5%精度能达到相对最优。方法通过设计R-Seg网络模型和提出掩膜加权投票预测方法,能一定程度上减少河流边界识别不连续和格网效应等问题,有效提升不同场景下遥感影像河流识别精度,具有较好的鲁棒性和目视效果,识别结果对河流地质勘探及流域变化等有重要应用价值。

单阶段实例分割——从局部到整体的网络结构研究综述

单阶段实例分割是近年来深度学习领域的研究热点,其通过将目标检测和目标分割并行的方式实现图像的实例级分割,该方法目前已被广泛应用于图像目标分割领域。首先,阐述了单阶段实例分割基本原理。然后,从局部和整体2个方面对单阶段实例分割的网络结构进行梳理,在局部网络结构方面,从特征提取、特征融合、特征预测3个方面进行归纳,其中,在特征预测部分,按照有锚框到无锚框的思路对目标边界框的生成方式进行分类,按照全局掩膜到局部掩膜的思路对目标掩膜的表示方式进行分类,全局掩膜包括原型系数方法、目标位置方法和目标边界方法,局部掩膜包括目标轮廓方法、目标位置方法和目标特征方法;在整体网络结构方面,对22个主流的网络结构进行总结。接着,归纳了单阶段实例分割在医学图像分割、视频图像分割、遥感图像分割等应用领域的发展现状。最后,对单阶段实例分割的发展方向进行展望。

基于掩码预测和多尺度上下文聚合的人脸图像修复算法

针对现有图像修复算法存在生成不合理的内容和修复后纹理不清晰等问题,在生成对抗网络(Generative Adversarial Network,GAN)的框架下,提出了一种基于掩码预测和多尺度上下文聚合的人脸图像修复算法。算法通过堆叠多层的多尺度上下文聚合模块(Multi-Scale Context Aggregation Module,MSCAM)构造的生成器进行特征提取,MSCAM融合了来自不同感受野的特征,可以捕捉遥远距离的上下文信息和感兴趣的模式进行上下文推理。使用掩码预测的PatchGAN(Mask Prediction-PatchGAN,MP-PatchGAN)判别器,迫使判别器区分真实和生成的Patch的纹理细节。使用跳跃连接将编码器中每一层卷积层的输出与解码器对应位置的输入在通道维度上拼接,使图像的上下文信息向更高层分辨率特征图传播。使用对抗损失对判别器训练,使用L 1损失、对抗损失、感知损失和风格损失的加权联合损失函数对生成器进行训练,并在公开数据集CelebA-HQ下进行实验。实验结果表明,所提修复算法在破损比例为20%~30%掩码下的L 1损失为0.0152,峰值信嗓比(Peak Signal to Noise Ratio,PSNR)为28.57,结构相似性(Structural Similarity,SSIM)为0.905,弗雷歇初始距离(Frechet Inception Distance,FID)为4.48,该算法能够有效修复人脸图像且修复结果语义一致性高、纹理细节清晰。

基于改进Pix2Pix网络的去口罩遮挡修复研究

针对人脸去口罩遮挡修复难题,提出一种由SVR模型预测被遮挡的面部特征点,引导改进后的Pix2Pix网络进行图像修复的算法。训练了一个高精度SVR回归器,解决了现有模型因遮挡区域特征丢失而修复失败的问题。采用16层U-Net生成器,提高模型对深层特征的提取和还原能力;采用联合PatchGan判别器抑制噪声,提高图像的整体性;引入Smooth L1损失函数加强模型在训练后期的学习能力,提高了Pix2Pix模型的修复能力。实验表明模型修复效果接近真实图像,在PSNR和SSIM两项指标上分别提升了6.0%和9.2%。

基于联合注意与特征关联的实例分割算法

针对现有实例分割算法因目标特征表示不充分、模型捕获信息不完整等因素导致分割精度较低的问题,提出一种基于联合注意和特征关联的实例分割算法。该算法采用联合注意力机制,沿通道和空间两个不同维度对感兴趣区域特征进行权重优化,聚焦关键对象位置,实现目标特征表示,抑制冗余信息对实例检测和分割结果干扰。在此基础上,在分割阶段建立特征关联关系,充分挖掘实例内部各像素点相似性,加强网络对实例部分的细节特征感知,实现高质量的掩膜预测。此外,通过引入协调损失函数监督检测中分类和回归任务产生一致预测,提高目标对象检测的准确性,进一步提升分割性能。在MS COCO 2017和Cityscapes两个数据集上进行实验验证,结果表明:该算法能够有效提高各现实场景下实例的检测和分割质量。当主干网络为ResNet-50/101时,该算法在COCO数据集上的掩膜平均精度分别达到37.5%和38.6%,较基线方法Mask R-CNN分别提高1.9和2.4个百分点;在Cityscapes验证集和测试集上,该算法较Mask R-CNN在主干网络为ResNet-50时分别提高2.4和2.5个百分点。

MP-CMLMs模型的藏汉机器翻译研究

论文使用mask-predict解码扩展CMLMs模型,研究了藏汉神经机器翻译方法。并且针对该模型进行改进。在不同领域藏汉数据集上,经过实验,与非自回归模型NAT和标准的Transformer模型进行比较,在不降低解码速度的情况下,与非自回归模型相比提升了4个BLEU以上;与标准的Transformer模型相比能够达到甚至超过Transformer模型性能,同时解码速度更快。

基于MPT方法的遥感蚀异常信息提取和成矿预测——以青海大格勒沟地区为例

MPT方法是基于“掩膜技术+主成分分析+门限化分级”数据处理流程的蚀变信息提取方法,其能够在有效排除植被、冰雪、水体等干扰信息基础上,定量提取主成分中弱蚀变信息并进行等级划分。本文以landsat8 OLI数据为基础,基于MPT方法提取了大格勒沟地区的铁染和羟基蚀变信息,并与已知地质背景进行了分析比较。结果表明,区内现有金多金属矿详查区内铁染和羟基综合蚀变异常信息与水系沉积物Au、Cu和Mo元素异常、铜金矿体以及断裂破碎蚀变带分布吻合程度高,遥感蚀变异常信息能够有效指示矿化部位。基于综合蚀变异常信息、异常验证分析结果和区域地质背景,圈定了5个成矿远景区,为该区下一步找矿工作提供了参考。

预测滤波器在空域盲加性水印系统中的应用

为了提高空域图像水印算法的性能,提出将一种基于载体图像最小平方的预测滤波器用于空域加性水印的嵌入与检测。在嵌入端,用预测滤波器构造空域掩蔽函数,这种用预测残差作为控制嵌入强度的掩蔽函数与人类视觉的感知特性相吻合,在相同的视觉质量下大大提高了水印的嵌入强度。在水印检测时,为了有效抑制载体信号对相关检测器的干扰,采用预测滤波器对遭受攻击的水印作品进行预测滤波,得到的预测残差是对图像中水印信号的估计值,再与扩频序列共同送入相关检测器提取水印。实验证明,这种方法对一般信号处理及中轻度几何攻击具有较好的鲁棒性。

云天背景下单帧红外图像的点目标检测

针对云天背景下红外图像中不同的背景成分所具有的不同特性以及它们之间的差异,本文从基于背景预测模型的红外点目标检测方法出发,重点分析和对比了三种背景预测模板在背景预测、背景消除和阈值分割三个检测过程中,对不同的背景成分表现出的不同处理性能。实验结果表明,三种背景预测模板对云天背景中的各种不同背景成分具有不同的处理效果,实际应用时应充分分析红外图像云天背景中的各种不同成分的比重和差异,选择合理的背景预测模板。

基于叠前AVA同步反演和地质统计学反演的高分辨率流体预测方法

针对薄层流体的精细预测问题,提出一种高分辨率流体预测方法。该方法在进行叠前AVA同步反演的基础上,同时对含水饱和度进行带岩性遮挡的地质统计学反演,然后将两者的结果进行交会,根据流体的门槛值在交会图中选择相应的部分,生成最终的高分辨率流体预测结果,可精细预测薄层流体。通过不同宽度泥岩墙的多层水平层状模型试算和实际资料的应用,结果表明:叠前AVA同步反演的横向分辨率高、纵向分辨率低;带岩性遮挡的地质统计学反演的纵向分辨率高且有一定的横向分辨率,但横向分辨率不如叠前AVA同步反演高;基于两者的高分辨率流体预测方法的纵、横向分辨率都高,对薄层流体的预测效果较好。

反馈时间、反馈类型和掩蔽类型对概率类别学习的影响

通过操纵反馈时间(即时,延迟)、反馈类型(简单,丰富)和掩蔽类型(塔罗牌,空白矩形),考察概率类别学习的学习机制。结果发现:(1)被试的学习成绩在即时反馈条件下显著优于在延迟反馈条件下;(2)在即时反馈条件下,仅给予简单反馈,被试虽能出色地完成天气预报任务,但是不能正确地判断卡片预测晴天的概率,倾向内隐学习;(3)在其他条件下,被试能正确地判断卡片预测晴天的概率以及各卡片在天气预报任务中预测天气的重要程度,表明被试能外显地意识到这些线索的作用。综上,概率类别学习采用的是双系统学习机制,既依赖内隐学习,又依赖外显学习。

早期检出适合于面罩无创正压通气治疗慢性阻塞性肺病急性发作患者的临床研究

目的 寻找早期预测面罩无创正压通气治疗慢性阻塞性肺病急性发作期患者有效的指标。方法 动态观察面罩无创正压通气(NIPPV)治疗前后的血气指标变化,分析有效组与无效组患者临床特征及辅助检查结果异同,寻找早期判断NIPPV治疗慢性阻塞性肺病(COPD)急性发作期患者是否成功的指标。结果 58名COPD急性发作患者进入该研究。NIPPV最终治疗成功率达414%。综合患者血浆白蛋白浓度、SAPSⅡ积分、NIPPV治疗PaCO2改善程度三项指标,进行预测NIPPV治疗最终效果。其特异性及敏感性分别为100%及53%。结论 COPD急性发作期患者,三项预测指标前二项阳性者,则不适于NIPPV治疗;仅一项阳性则可试验性NIPPV治疗,PaCO2改善不显著者提示NIPPV治疗对病程无逆转作用。

基于改进Mask R-CNN的交通监控视频车辆检测算法

针对交通监控视频车辆检测常易受到遮挡导致目标车辆出现漏检或误检的问题,提出一种基于改进Mask R-CNN的交通监控视频车辆检测算法.采用基于bottleneck结构的主干网络,提高主干网络提取特征的能力;通过基于预测mask分数的掩码分支,融合目标的类别分数和掩码质量分数,提高车辆的掩码质量;通过基于Arcface Loss的目标检测损失函数设计,提高不同特征之间的可判别性,提高目标的检测精度.实验结果表明,改进的Mask R-CNN模型可更好地检测到被遮挡的车辆,目标车辆的检测精度超过Faster R-CNN、YOLO v3和Mask R-CNN模型,可解决目标车辆漏检或误检问题.

一种多维信源衰减延时混合的欠定盲源分离方法

为解决衰减延时混合信号的欠定盲源分离问题,该文研究了一种基于信源数估计的欠定盲源分离方法。首先,采用对时频域观测信号求能量来构造稀疏域;其次,在能量域中利用势函数估计信源数;再次,根据信源数将能量和峰值对应的频点筛选出来预测时频掩码从而获得估计信源的短时频谱;最后,填充线用来解决时域分离信号的边界效应问题。实验表明,所提方法可以有效分离衰减延时混合的模拟信号,并且在不同信噪比下优于稀疏聚类算法和子空间法;此外,在对实测悬臂梁锤击测试的过程中可以估计出模态阶数并且准确识别出结构的各阶模态固有频率。

无监督的领域自适应机器阅读理解方法

受益于面向大规模语言学资源的深度学习,预训练语言模型有着较强的语义表示学习能力.其能够借助特定任务场景下的迁移学习,在优化模型性能方面提供重要的支持.目前,预训练语言模型已被引入机器阅读理解研究领域,并展现了较好的优化能力.然而,针对特定领域的数据,微调后的预训练模型仍存在领域适应性问题,即无法解决未知领域中新颖的语言现象.为此,本文提出了一种融合迁移自训练和多任务学习机制的无监督领域自适应模型.具体而言,本文结合生成式阅读理解网络和掩码预测机制形成了多任务学习框架,并利用该框架实现跨领域(源领域至目标领域)的无监督模型迁移技术.此外,本文设计了文本规范化和迁移自训练模式,以此促进目标领域的数据分布适应源领域的数据分布,从而提高模型迁移学习的质量.本文将TweetQA作为目标领域数据集,将SQuAD、CoQA和NarrativeQA作为源领域数据集进行实验.实验证明,本文所提方法相较于基线模型有显著提升,在BLEU-1、METEOR和ROUGE-L指标上分别提升了至少2.5、2.7和2.0个百分点,验证了其优化领域适应性的能力.

融合空间掩膜预测与点云投影的多目标跟踪

针对自动驾驶目标跟踪领域中,目标遮挡引起特征点损失,从而导致丢失跟踪目标的问题,本文提出了一种融合空间掩膜预测与点云投影的多目标跟踪算法,以减少遮挡产生的不利影响。首先,通过实例分割掩膜提取模型处理时序图像数据,获得基掩膜数据。其次,将获取掩膜数据输入跟踪器,通过预测模型获取后续序列图像掩膜输出,并利用验证器进行对比分析,以获得准确的目标跟踪输出。最后,将获取的二维目标跟踪数据投影到对应的点云图像中,获得最终的三维目标跟踪点云图像。本文在多个数据集上进行仿真实验,实验结果表明本文算法的跟踪效果优于其他同类算法。此外,在实际道路上进行测试,对于车辆的检测精度达到81.63%,验证了本文算法也可以满足实际路况下目标跟踪的实时性需求。

基于改进Mask-RCNN算法的车位检测研究

车位检测是自动泊车至关重要的环节,在复杂情况下,为同时实现自动泊车视觉系统对车位识别和车位状态分类,提出一种基于改进掩模区域卷积神经网络(Mask Region Convolutional Neural Network,Mask-RCNN)算法的C-Mask-RCNN车位检测算法。C-Mask-RCNN车位检测算法通过在Mask-RCNN算法的ResNet50特征提取网络中增加卷积块注意力模块(Convolutional Block Attention Module,CBAM),使模型更加关注车位相关的语义信息。利用C-Mask-RCNN车位检测算法中的区域卷积神经网络(Regions with Convolution Neural Network,RCNN)分支网络进行车位检测,实现Keypiont分支进行车位8个关键点的预测。实验结果表明,改进后的C-Mask-RCNN车位检测算法较Mask-RCNN算法在车位类型识别平均精确率上提升7.4%,在车位状态识别平均精确率上提升11.1%,并且车位线关键点预测的平均像素误差减少15.1 px。

基于多任务学习的猪只体重和体况评分预测

基于目标检测网络技术(Mask R-CNN)提取特征分割猪只图像,提出了用多任务学习回归网络预测猪只体重和体况评分的方法。在Mask R-CNN分割网络基础上,结合ResNet101-FPN特征提取网络,对站立和侧卧趴下姿态的猪只图像识别检测和分割。设计了两种硬共享的多任务学习网络,研究了任务关联性对卷积神经网络的影响,并针对不同学习任务设计了一种动态权重调节方法,平衡了不同任务的网络训练,提高了预测的准确性。验证了多任务学习下,猪只体重预测和体况评分预测共用一个模型的有效性,结果表明,加入动态权重调节后体重预测提高了5%准确率,体况评分预测提高了3%准确率。

基于Mask R-CNN的舌体分割方法

舌体分割是计算机辅助中医舌象诊断的第一步,但其易受舌附近人体组织的影响,从而使分割难度增大。如何使用机器学习优化舌体图像的分析流程是当前研究的热点之一。针对此问题,应用卷积神经网络MaskR-CNN进行分割获得的舌体边缘比较准确,能提高舌体图像分割的准确性。基于Mask R-CNN的舌体分割首先收集舌体图像数据,对信息进行数据清洗,构建出舌体图像数据平台。然后,采用Mask R-CNN训练得到舌体分割模型,最后分别使用训练好的模型和GrabCut算法分割4种特征舌体图像,对两种方法的分割效果进行对比及分析。实验结果表明,该方法在分割效果等方面均优于GrabCut算法,在评价指标中评估结果准确率均高于90%,可以为舌体图像分割、中医舌象诊断提供技术支持。