基于全局与局部特征的二阶段文档图像可见水印去除模型

可见水印是一种常用的数字图像版权保护手段。分析可见水印去除结果可以验证图像上水印的有效性,并为水印设计者提供设计或添加水印的参考和启发。目前,大多数的水印去除方法都是基于自然图像的研究,而文档图像在生活中也被广泛使用,但由于缺乏公开的文档图像去水印数据集,相关文档图像的水印去除研究较少。为了探究水印去除方法在文档图像上的水印去除效果,构建了一个文档图像水印去除数据集(SDIWRD)。在对文档图像可见水印去除的研究中发现,使用已有的水印去除方法得到的水印去除结果中容易留下水印主体伪影或者轮廓伪影。为了解决这个问题,提出了一种基于全局与局部特征的二阶段文档图像可见水印去除模型(RWRNet),该模型采用由粗到细的二阶段的半实例归一化编解码器架构。在粗略阶段,使用全局与局部特征提取模块增强对全局空间特征的捕捉能力,同时保留对局部细节信息的提取能力,从而帮助进行水印去除;在细化阶段,细化网络共享粗略阶段权重,并构建循环特征融合模块来充分挖掘粗略阶段编解码器的重要特征,为细化阶段提供丰富的上下文信息,帮助进行细致的水印去除。此外,还结合了结构相似性损失来帮助获取更好的视觉质量。所提方法在SDIWRD数据集上进行了实验,实验结果显示PSNR达到了41.21 dB,SSIM达到了99.07%,RMSE降低至3.64,优于现有水印去除方法。另外也在公开的CLWD彩色水印去除数据集进行了实验,实验结果显示PNSR达到了39.31dB,SSIM达到98.81%,RMSE降低至3.50,也优于现有水印去除方法。实验结果证明了所提方法具有良好的泛化性和去水印的能力,能有效减轻水印伪影。最后还提出了一些防止水印去除的建议,在相关网站1)可公开访问所提出的方法和数据集。

基于全局与局部融合的相关性对齐跨模态检索

哈希算法因其低存储和高效率而被广泛应用于跨模式检索深度哈希能够很好地提取多模态数据的特征,近年来受到越来越多的关注。然而,大多数用于跨模态检索的深度哈希方法没有充分利用使用所有信息,也没有充分挖掘异构数据的相关性。提出一种基于全局和局部特征的深度跨模态哈希与相关性对齐方法在该方法中,分别为图像和文本模态设计两个深度神经网络来分别提取图像和文本的全局和局部的特征,并学习两个哈希函数同时,保留异构数据特征的模态间相似性,这可以利用语义相关性其次,对异源数据的分布进行对齐,以便更好地挖掘模态间相关性。实验结果表明,该方法优于最先进的方法。

基于Swin Transformer和图形推理的结直肠息肉分割方法

针对结直肠息肉图像分割中病灶区域尺度变化大、边缘模糊以及息肉与正常组织对比度低等问题,导致病变区域分割精度低和分割边界存在伪影,提出一种基于Swin Transformer和图形推理的自适应网络.该网络一是利用Swin Transformer编码器逐层提取输入图像的全局上下文信息,弱化背景信息干扰,多尺度分析病变区域的显著性特点.二是提出全局与局部特征交互模块增强网络对复杂病灶的空间感知能力,突出待分割目标的关键位置信息,精准定位目标.三是通过区域引导图推理模块以图循环递推的方式挖掘先验信息之间的高阶显性关系,促进图间信息传递.四是设计面向边缘细节的边缘约束图推理模块,整合边缘细节,改善分割效果,提高分割精度.在CVC-ClinicDB、Kvasir、CVC-ColonDB和ETIS数据集上进行实验,其Dice系数分别为0.939,0.926,0.810和0.788,平均交并比分别为0.889,0.879,0.731和0.710,分割性能优于现有方法.仿真实验结果表明,对于形态结构复杂、对比度低和边缘模糊的结直肠息肉图像均有较高的分割精度.