图像本身就是历史:图-文关系不对应的四个案例

本文拟以图-文关系不对应的四个案例出发,指出为了建立一部真正的“历史图像学”,不能忽略艺术或图像本身的历史。

基于图像处理技术的棚室番茄果实识别

我国番茄的产量居世界前列,种植的主要方式为棚室种植,大多采用人工采摘,成本高、效率低,不利于种植产业的发展。为此,提出了一种基于A-ENet模型的图像处理技术,用于棚室番茄果实的识别。A-ENet模型在EfficientNet运行时引入注意力机制,用于优化深度网络运算结果。EfficientNet通过调整、完善网络的宽度、深度等网络参数提升网络的识别准确率,同时在网络提取输入信号特征时引入注意力机制用于捕捉输入信号特征的权重信息,主动忽略环境因素对目标信号的干扰。A-ENet模型能够解决由于识别目标之间的细微差异产生的识别错误的问题,且能够减少随机环境因素对识别过程的干扰,提高识别成功率,对棚室番茄果实识别问题起到积极的影响作用。实验结果表明:所提出的基于图像处理技术的A-ENet模型能够构建出效率更高、鲁棒性更强的目标识别系统。

基于图像处理和BP神经网络的森林防火无人机系统

对无人机设计方案、图像处理和火焰分割算法的技术原理进行了介绍,并利用BP神经网络对图像中的火焰面积变化率和火焰尖角等特征进行识别,实现了对森林火灾的快速监测。实验结果表明:系统的准确率为98.5%,比普通神经网络的84.5%更高;耗时仅22 s,比普通神经网络159 s缩短很多。这表明,BP神经网络是更可靠且更有效率的火灾识别方案。

如何向国际期刊提交未经裁剪的Western blot原始图像?

蛋白免疫印迹(western blot,WB)检测技术相对于ELISA和其他基于抗体的检测方案而言,更易于操作,并且可以提供有关蛋白质大小的信息,因而其广泛用于样本蛋白表达水平的定量检测。然而,随着WB技术应用的日渐普及,近来科学家们对提交给同行评审期刊的WB数据的重复性和可靠性产生了担忧。2014年,美国国立卫生研究院与《科学》和《自然》期刊以所发表科学数据的重复性和透明度为主题,携同其他出版商和科学家组织了一次会议。通过这次合作,制定出了一系列指南文件。会议聚焦的特定领域之一涉及基于图像的数据,如蛋白免疫印迹,并就此提出了许多改进建议。会议结束后,许多期刊针对WB数据制定了更严格的审查指南,修订了它们关于提交WB数据的说明。

如何向国际期刊提交未经裁剪的Western blot原始图像?

蛋白免疫印迹(western blot,WB)检测技术相对于ELISA和其他基于抗体的检测方案而言,更易于操作,并且可以提供有关蛋白质大小的信息,因而其广泛用于样本蛋白表达水平的定量检测。然而,随着WB技术应用的日渐普及,近来科学家们对提交给同行评审期刊的WB数据的重复性和可靠性产生了担忧。2014年,美国国立卫生研究院与《科学》和《自然》期刊以所发表科学数据的重复性和透明度为主题,携同其他出版商和科学家组织了一次会议。通过这次合作,制定出了一系列指南文件。会议聚焦的特定领域之一涉及基于图像的数据,如蛋白免疫印迹,并就此提出了许多改进建议。会议结束后,许多期刊针对WB数据制定了更严格的审查指南,修订了它们关于提交WB数据的说明。

如何向国际期刊提交未经裁剪的Western blot 原始图像?

蛋白免疫印迹(western blot,WB)检测技术相对于ELISA和其他基于抗体的检测方案而言,更易于操作,并且可以提供有关蛋白质大小的信息,因而其广泛用于样本蛋白表达水平的定量检测。然而,随着WB技术应用的日渐普及,近来科学家们对提交给同行评审期刊的WB数据的重复性和可靠性产生了担忧。2014年,美国国立卫生研究院与《科学》和《自然》期刊以所发表科学数据的重复性和透明度为主题,携同其他出版商和科学家组织了一次会议。通过这次合作,制定出了一系列指南文件。会议聚焦的特定领域之一涉及基于图像的数据,如蛋白免疫印迹,并就此提出了许多改进建议。会议结束后,许多期刊针对WB数据制定了更严格的审查指南,修订了它们关于提交WB数据的说明。

基于全局与序列混合变分Transformer的多样化图像描述生成方法

多样化图像描述生成已成为图像描述领域研究热点.然而,现有方法忽视了全局和序列隐向量之间的依赖关系,严重限制了图像描述性能的提升.针对该问题,本文提出了基于混合变分Transformer的多样化图像描述生成框架.具体地,首先构建全局与序列混合条件变分自编码模型,解决全局与序列隐向量之间依赖关系表示的问题.其次,通过最大化条件似然推导混合模型的变分证据下界,解决多样化图像描述目标函数设计问题.最后,无缝融合Transformer和混合变分自编码模型,通过联合优化提升多样化图像描述的泛化性能.在MSCOCO数据集上实验结果表明,与当前最优基准方法相比,在随机生成20和100个描述语句时,多样性指标m-BLEU(mutual overlap-BiLingual Evaluation Understudy)分别提升了4.2%和4.7%,同时准确性指标CIDEr(Consensus-based Image Description Evaluation)分别提升了4.4%和15.2%.

基于Depth-wise卷积和视觉Transformer的图像分类模型

图像分类作为一种常见的视觉识别任务,有着广阔的应用场景。在处理图像分类问题时,传统的方法通常使用卷积神经网络,然而,卷积网络的感受野有限,难以建模图像的全局关系表示,导致分类精度低,难以处理复杂多样的图像数据。为了对全局关系进行建模,一些研究者将Transformer应用于图像分类任务,但为了满足Transformer的序列化和并行化要求,需要将图像分割成大小相等、互不重叠的图像块,破坏了相邻图像数据块之间的局部信息。此外,由于Transformer具有较少的先验知识,模型往往需要在大规模数据集上进行预训练,因此计算复杂度较高。为了同时建模图像相邻块之间的局部信息并充分利用图像的全局信息,提出了一种基于Depth-wise卷积的视觉Transformer(Efficient Pyramid Vision Transformer,EPVT)模型。EPVT模型可以实现以较低的计算成本提取相邻图像块之间的局部和全局信息。EPVT模型主要包含3个关键组件:局部感知模块(Local Perceptron Module,LPM)、空间信息融合模块(Spatial Information Fusion,SIF)和“+卷积前馈神经网络(Convolution Feed-forward Network,CFFN)。LPM模块用于捕获图像的局部相关性;SIF模块用于融合相邻图像块之间的局部信息,并利用不同图像块之间的远距离依赖关系,提升模型的特征表达能力,使模型学习到输出特征在不同维度下的语义信息;CFFN模块用于编码位置信息和重塑张量。在图像分类数据集ImageNet-1K上,所提模型优于现有的同等规模的视觉Transformer分类模型,取得了82.6%的分类准确度,证明了该模型在大规模数据集上具有竞争力。

基于改进卷积注意力机制的触觉图像识别

为了改善传统轻量化网络对触觉图像全局特征提取能力差的问题,提出一种基于轻量化网络提高触觉图像感知分类的新算法,通过将卷积块注意力模块(CBAM)引入坐标注意力机制(CA)来增强特征信息表达能力.利用CA采取空间全局信息并嵌入通道注意中,使卷积网络能够在较全面的区域捕获注意力权重.结果表明:所提算法优于现有轻量化网络算法;该算法对GelSight数据集、多模态传感器数据集2种触觉图像进行分类识别测试,在分类表现中分辨正确率分别达到了88.2%和94.4%;相比于传统的CBAM注意力模型、自注意力模型(SENet)和仅有LeNet的神经网络,该算法对触觉图像的识别能力在GelSight数据集上分别提高了8.7%、8.7%和3.0%,在多模态传感器数据集上分别提高了13.3%、13.4%和4.8%.

基于Transformer和自适应特征融合的矿井低照度图像亮度提升和细节增强方法

高质量矿井影像为矿山安全生产提供保障,也有利于提高后续图像分析技术的性能。矿井影像受低照度环境的影响,易出现亮度低,照度不均,颜色失真,细节信息丢失严重等问题。针对上述问题,提出一种基于Transformer和自适应特征融合的矿井低照度图像亮度提升和细节增强方法。基于生成对抗思想搭建生成对抗式主体模型框架,使用目标图像域而非单一参考图像驱动判别器监督生成器的训练,实现对低照度图像的充分增强;基于特征表示学习理论搭建特征编码器,将图像解耦为亮度分量和反射分量,避免图像增强过程中亮度与颜色特征相互影响从而导致颜色失真问题;设计CEM-Transformer Encoder通过捕获全局上下文关系和提取局部区域特征,能够充分提升整体图像亮度并消除局部区域照度不均;在反射分量增强过程中,使用结合CEM-Cross-Transformer Encoder的跳跃连接将低级特征与深层网络处特征进行自适应融合,能够有效避免细节特征丢失,并在编码网络中添加ECA-Net,提高浅层网络的特征提取效率。制作矿井低照度图像数据集为矿井低照度图像增强任务提供数据资源。试验显示,在矿井低照度图像数据集和公共数据集中,与5种先进的低照度图像增强算法相比,该算法增强图像的质量指标PSNR、SSIM、VIF平均提高了16.564%,10.998%,16.226%和14.438%,10.888%,14.948%,证明该算法能够有效提升整体图像亮度,消除照度不均,避免颜色失真和细节丢失,实现矿井低照度图像增强。

应用高光谱图像技术对林下作物质量等级鉴别方法——以黄芪为例

黄芪作为一种林下多年生草本,具有极高的经济和药用价值。黄芪粉是黄芪的重要消费形式,不同质量等级的黄芪粉由于内部成分差异,在近红外光谱下具有不同的特性,而肉眼却难以区分。针对不同质量等级间黄芪粉难以鉴别的问题,利用高光谱成像技术对312组黄芪粉样本进行数据采集,再对光谱信息采用标准正态变化(SNV)、多元散射校正(MSC)和卷积平滑(SG)3种预处理,再利用竞争性自适应重加权采样(CARS)、变量组合集群分析(VCPA)和区间变量迭代空间收缩法(IVISSA)对全波段光谱进行特征提取,以优选的特征波长作为输入,建立K-近邻判别(KNN)和支持向量机(SVM)分类模型。结果表明:经过竞争性自适应重加权采样的支持向量机模型分类效果最好,训练集和测试集准确率分别达到100.00%和98.94%,能够实现黄芪粉的准确分类,为林下作物的等级鉴别提供了新的研究思路。

一种基于暗亮通道分割融合的低照度环境图像去尘雾及增强方法

受煤矿井下粉尘、水雾和低照度环境影响,对皮带运输系统的监测图像精准识别极为困难。针对现有去尘雾方法的图像处理结果和效率欠佳的问题,提出一种基于暗亮通道分割融合的低照度环境图像去尘雾及增强方法。首先利用阈值分割结合伽马变换修正通道差,解决因低照度环境影响导致的尘雾浓度较大区域与其他区域间像素值差异不明显的问题,修正后通过引导尘雾图像做引导滤波得到更加符合实际情况的全局大气光强;然后为解决暗通道先验在尘雾浓度较大区域失效问题,引入亮通道先验进行补充,使用通道分量来辅助暗通道及亮通道透射率融合,避免因多次分割而导致的边缘像素归属问题;最后将去雾后RGB图像转至HSV空间,对亮度分量进行直方图均衡化并将均衡化前后的亮度分量进行加权融合,采用客观指标评价,选择最优聚合权值进行聚合,同时考虑去雾过程中饱和度损失和亮度分量与饱和度分量间的相关性提出饱和度自适应矫正函数,对图像饱和度进行矫正,色调分量保持不变,随后将图像转回至RGB空间,得到亮度适中、信息保留丰富和色彩鲜艳的图像;为验证所提方法的有效性,采用主观视觉、客观指标和目标检测精度及置信度进行算法对比,实验结果表明所提方法在上述4个指标上均优于被对比算法,其图像细节保留丰富,图像视觉观感更佳。

基于改进Deformable-DETR的水下图像目标检测方法

针对由于水下复杂环境造成的目标检测效果较差、检测精度较低的问题,基于Deformable-DETR算法提出一种改进的水下目标检测算法Deformable-DETR-DA。使用空间注意力模块结合标准Transformer块设计了一个用于增加模型深度的深度特征金字塔(deep feature pyramid networks,DFPN)模块,将其嵌入到模型中提高模型对深层纹理信息的提取能力。使用注意力引导的方式对原模型中编码器部分进行改进,加强了对特征信息的聚合能力,提高了模型在复杂环境下的检测能力。针对URPC数据集,模型各交并比尺度的平均准确度(average precision,AP)为39.5%,相比原模型提升1%,与一些DETR(detection transformer)类的模型相比,不同目标尺度的平均准确度均有1%~4%左右的提高,表明改进的模型能够很好解决复杂环境的水下目标检测的问题。本文提出的模型可作为其他水下目标检测模型设计的参考。

双能量CT非线性融合和噪声优化的虚拟单能量图像技术在喉鳞状细胞癌中的应用

目的:探讨双能量CT线性融合图像(linear blending imaging,LBI)、非线性融合图像(nonlinear blending image,NBI)和噪声优化的虚拟单能量图像(noise-optimized virtual monoenergetic image,VMI+)技术在喉鳞状细胞癌中的应用价值。方法:回顾性分析2019年6月至2022年3月61例经病理证实为喉鳞状细胞癌患者的双能量CT资料。双能量图像采用LBI[融合系数为1(80 kV)和0.6(M0.6)]、NBI和VMI+(40 keV、55 keV)技术重建。比较5组图像的客观图像质量[对比噪声比(contrast-tonoise ratio,CNR)、肿瘤CT值、噪声]和主观图像质量(肿瘤边界评分和整体图像质量评分)。结果:40 keV的CNR、肿瘤CT值和肿瘤边界评分均明显高于80 kV、M0.6、NBI和55 keV,差异均有统计学意义(均P<0.05)。NBI的整体图像质量评分明显高于80 kV、M0.6、40 keV和55 keV,差异均有统计学意义(均P<0.05)。NBI的噪声明显低于80 kV、40 keV和55 keV,差异均有统计学意义(均P<0.05)。结论:在喉鳞状细胞癌的双能量CT中,采用VMI+技术(40 keV)能提供更好的CNR、肿瘤CT值和肿瘤边界,采用NBI技术能提供更低的噪声和更好的整体图像质量。

基于FE-P2Pnet的无人机小麦图像麦穗计数方法

针对无人机图像背景复杂、小麦密集、麦穗目标较小以及麦穗尺寸不一等问题,提出了一种基于FE-P2Pnet(Feature enhance-point to point)的无人机小麦图像麦穗自动计数方法。对无人机图像进行亮度和对比度增强,增大麦穗目标与背景之间的差异度,减少叶、秆等复杂背景因素的影响。引入了基于点标注的网络P2Pnet作为基线网络,以解决麦穗密集的问题。同时,针对麦穗目标小引起的特征信息较少的问题,在P2Pnet的主干网络VGG16中添加了Triplet模块,将C(通道)、H(高度)和W(宽度)3个维度的信息交互,使得主干网络可以提取更多与目标相关的特征信息;针对麦穗尺寸不一的问题,在FPN(Feature pyramid networks)上增加了FEM(Feature enhancement module)和SE(Squeeze excitation)模块,使得该模块能够更好地处理特征信息和融合多尺度信息;为了更好地对目标进行分类,使用Focal Loss损失函数代替交叉熵损失函数,该损失函数可以对背景和目标的特征信息进行不同的权重加权,进一步突出特征。实验结果表明,在本文所构建的无人机小麦图像数据集(Wheat-ZWF)上,麦穗计数的平均绝对误差(MAE)、均方误差(MSE)和平均精确度(ACC)分别达到3.77、5.13和90.87%,相较于其他目标计数回归方法如MCNN(Multi-column convolutional neural network)、CSRnet(Congested scene recognition network)和WHCNETs (Wheat head counting networks)等,表现最佳。与基线网络P2Pnet相比,MAE和MSE分别降低23.2%和16.6%,ACC提高2.67个百分点。为了进一步验证本文算法的有效性,对采集的其它4种不同品种的小麦(AK1009、AK1401、AK1706和YKM222)进行了实验,实验结果显示,麦穗计数MAE和MSE平均为5.10和6.17,ACC也达到89.69%,表明本文提出的模型具有较好的泛化性能。

智能行车记录仪图像去雾系统的FPGA设计

雾霾天气下,交通道路能见度低,导致所采集到的视频画面退化、图像信息模糊,同时考虑传统系统处理实时性不高等问题,基于ZYNQ平台设计了一种图像去雾系统,并应用于智能行车记录仪系统中.首先,针对传统暗通道去雾算法在天空区域存在失真等问题,提出了一种分割天空区域的策略来修正图像复原参数;然后,针对计算全局大气光值时,需对整幅图像的像素排序消耗大量资源的问题,利用现场可编程门阵列(FPGA)并行运算的优势,提出一种帧迭代方法优化求取大气光值,同时优化了引导滤波的硬件设计;最后,将双路高清多媒体接口(HDMI)资源中,一路作为视频输入,另一路作为视频处理输出,搭建实时交通图像视频处理试验平台.试验结果表明,系统针对雾霾天气下的交通视频具有较好的去雾效果,尤其是可以解决天空区域去雾的失真问题.在对分辨率为1280像素×720像素的交通视频去雾时,可以达到30帧/s的处理速度,满足实时性要求.

基于双重注意力机制生成对抗网络的偏振图像融合

针对单一强度图像缺少偏振信息,在恶劣天气条件下无法提供充足场景信息的问题,本文提出了一种基于双重注意力机制生成对抗网络用于强度图像和偏振度图像进行融合。算法网络由一个包含编码器、融合模块和解码器的生成器和一个鉴别器组成。首先源图像输入到生成器的编码器中,经过一个卷积层和密集块进行特征提取,然后通过含有注意力机制的纹理增强融合模块中进行特征融合,最后通过解码器得到融合图像。鉴别器主要由两个卷积模块和两个注意力模块组成,在网络训练过程中,通过不断博弈,迭代优化生成器网络参数,使生成器输出既保留偏振度图像的稀疏特征又不损失强度图像信息的高质量融合图像。实验表明,该方法得到的融合图像在主观上纹理信息更丰富,更符合人眼的视觉感受,并且在客观评价指标中SD提升约18.5%,VIF提升约22.4%。

多区域注意力的细粒度图像分类网络

目前细粒度图像分类的难点在于如何精准定位图像中高度可辨的局部区域以及其他辅助判别特征。提出一种多区域注意力的细粒度图像分类网络来解决这个问题。首先使用Inception-V3对图像特征进行提取,通过重复使用注意力擦除的方法使模型关注次要特征;然后通过背景去除以及上采样的方法获取图像更精准的局部图像,对提取到的局部特征进行位置统计,并以矩形框的方式获取图像整体,减少细节信息丢失;最后对局部与整体图像进行更加细致的学习。此外,设计联合损失函数,通过动态平衡难易样本和缩小类内差距的方法改善模型的识别效果。实验结果表明,该方法在公开的细粒度图像数据集CUB-200-2011、Stanford-Cars和FGVC-Aircraft上的准确率分别达到89.2%、94.8%、94.0%,相较于对比方法性能更优。

胸部CT图像质量评价与辐射剂量的临床应用研究

目的:归纳和分析影响胸部CT图像质量的因素,进一步对照分析常规剂量组和低剂量组两组图像质量有无差异,以论证胸部CT低剂量检查的可行性。方法:选取150例胸部CT查体的患者,A组为常规剂量组,管电压120kV,管电流自动调节;B组为低剂量组,管电压100kV,管电流自动调节。参照胸部CT的图像质量评价标准对常规剂量组和低剂量组图像质量进一步作出主观评价。对辐射剂量、信噪比等客观数据进行统计学处理,以P<0.05为差异有统计学意义。并与主观评价相比较。结果:主、客观评价两组图像质量均无统计学意义,A组辐射剂量与B组辐射剂量有统计学意义。结论:影响图像质量的因素包括患者的因素、设备的因素以及操作者的因素,胸部CT采用100kV低剂量检查可以作为常规扫描方案,获得的图像可以满足影像诊断的要求,具有可行性。

数字图像多功能水印综述

数字图像多功能水印技术通过将多种类型的水印嵌入到同一图像,以实现2种及以上的图像保护功能(版权保护、内容认证、篡改恢复等).当前,数字图像多功能水印算法仍面临着性能和应用场景等方面的挑战.为促进图像多功能水印的进一步发展,首先系统地梳理了数字图像水印技术,包括其系统特性、常见分类、关键技术与成果,以及其可实现的功能与应用场景;在此基础上,对近10年来不同类别的多功能水印嵌入模型(融合水印嵌入、零水印嵌入、水印串行嵌入、水印并行嵌入)的相关工作进行归纳与分析;最后,总结了当前数字图像多功能水印技术的不足,展望了后续研究与发展趋势.综合分析发现,多水印的嵌入难免对水印综合性能造成损失,且多功能水印在真实应用场景中的效果仍待改善.人工智能等新技术在数字图像多功能水印中的应用有望提升算法性能.