高级语义修复策略的跨模态融合RGB-D显著性检测

针对显著区域定位不完整以及边缘模糊问题,提出一种RGB-D显著性目标检测方法。该方法首先设计了一个跨模态特征融合模块来逐层融合RGB和Depth信息,并得到六个模态融合特征输出。该模块降低了RGB和Depth信息之间存在的差异性,为后续的高级语义修复提供更具共性和互补性的深层特征;基于上述模块获得的多层次信息,利用后三层特征,联合提取更丰富的高级语义信息,并得到初始显著图。之后,采用UNet的网络结构,从网络的顶层向下融合,每一层经过上采样之后与下一层进行通道维度上的融合,前三层底层特征在融合前后采用高级语义特征进行指导,以完成对底层特征的修复。最后,得到最终的显著图。提出的跨模态特征融合模块能够自适应地融合多模态特征,突出融合特征的共性和互补性,降低融合的模糊度。提出的高级语义修复策略有助于准确检测出显著区域并提高边缘清晰度。实验结果表明,该算法在NJU2K、NLPR、STERE、DES、SIP五个数据集上均超过大部分优秀的方法,达到了较为先进的性能。

基于底层特征和高级语义的真实失真图像质量评价

目的由于现有无参考质量评价方法无法准确判断真实失真图像的质量,提出一种基于图像底层特征和高级语义提取的真实失真图像质量评价方法。方法首先根据真实失真图像的底层特征指标进行k-means聚类,在每一类图像中利用深度卷积神经网络(Deep Convolutional Neural Network, DCNN)的方法提取图像的一级高级语义特征,采用多种特征函数对一级高级语义特征进行聚合,得到图像的二级高级语义特征,并建立了高级语义特征与平均意见主观分(Mean Opinion Score, MOS)的高容量回归器。结果提出的算法在KonIQ-10k图像库预测出的质量分数与对应MOS值能达到很高的一致性,Spearman秩序相关系数(SROCC)和Pearson线性相关系数(PLCC)分别能达到0.95和0.97。结论提出的算法能够快速且准确地对真实失真图像质量作出评价。

基于多种高级语义特征的图像检索技术

基于语义内容的图像检索已成为解决图像低层特征与人类高级语义之间"语义鸿沟"的关键.笔者以性能优越的回归型支持向量机(SVR)理论为基础,结合重要的图像边缘信息及人眼视觉特性,提出了一种基于多种高级语义特征的图像检索新方法.该方法首先利用Canny检测算子提取原始图像的边缘信息,并据此得到低层纹理特征与颜色特征,同时利用SVR将低层特征映射到高级语义,以获得图像的高级对象语义.然后结合图像边缘线条方向,利用SVR将线条方向映射为高级语义,以获得图像的线条情感语义.再结合人眼视觉系统感知特性,给出基于全局主要颜色的高级颜色语义.最后根据上述多种高级语义特征进行图像检索.实验结果表明,该方法能够有效地对图像高级语义进行刻画,不仅图像匹配检索效果良好,而且具有稳定的检索性能,其对于缩小低层视觉特征与高级语义概念之间的"语义鸿沟"具有重要意义.

融合高级语义特征的色纺织物图像快速检索

为提高色纺织物图像检索系统的有效性与执行效率,建立了融合高级语义特征的色纺织物图像检索系统。该系统利用深度卷积神经网络对色纺织物图像的风格等高级语义特征进行提取,并融合图像的局部二值模式与方向梯度直方图等浅层纹理特征构建层次化检索系统。与此同时,采用二进制哈希编码对提取的高维特征向量进行降维。采用该系统对具有9种不同纹理风格的色纺织物样本图像进行检索,结果表明,该系统的Top-10查全率与平均准确率分别达到了97.37%和87.54%,具有理想的有效性与鲁棒性;相较于直接利用高级语义特征进行检索,提出的检索方法执行效率提升约750倍。

面向高级工程语义的特征造型技术

特征造型技术包含高级工程语义，应用于机械制造业产品造型过程中，是近年来在 ＣＡＤ／ＣＡＰＰ／ＣＡＭ集成领域的研究热点。总结国内外二十年的研究成果，归纳了三种特征造型方法：特征识别、基于特征设计和特征映射。这里全面阐述了各方法的内容、特点及其工程应用，对特征造型中存在的问题进行分析并提出相应的解决意见。

基于多语义特征的彩色图像检索技术研究

基于语义内容的图像检索已成为解决图像低层特征与人类高级语义之间"语义鸿沟"的关键。以性能优越的回归型支持向量机(SVR)理论为基础,结合重要的图像边缘信息及人眼视觉特性,提出了一种基于多语义特征的彩色图像检索新算法。该算法首先利用Canny检测算子提取原始图像的边缘信息,并得到低层纹理特征,同时利用SVR将低层特征映射到高级语义,以获得图像的高级纹理语义。然后结合人眼视觉系统感知特性,给出基于重要区域主要颜色的高级颜色语义。最后根据上述高级语义特征(纹理语义和颜色语义)进行图像检索。实验结果表明,该算法能够有效地对图像高级语义进行刻画,不仅图像匹配检索效果良好,而且具有稳定的检索性能,其对于缩小低层视觉特征与高级语义概念之间的"语义鸿沟"具有重要意义。

基于多尺度transformer的伪造人脸检测方法

考虑到目前大多数伪造人脸分类方法存在分类精度低、泛化能力差的问题,提出一种结合多尺度transformer和卷积块注意力模块的伪造人脸分类方法。多尺度transformer用来学习卷积层所提取特征图的高级语义特征,卷积块注意力模块用来增强此高级语义特征,使其更具有区分性,使用增强后的特征来进行分类。实验结果表明,该方法可以显著提高伪造人脸分类的准确性和泛化能力。

基于图理论学习模型的胃窥镜图像自动标注

为了解决目前医学图像检索领域不能有效缓解"语义鸿沟"的问题,提出基于图理论学习模型的图像自动标注方法.首先讨论了医学图像的标注问题,总结了现有关医学图像标注的研究工作.以胃窥镜图像为具体研究对象,针对图学习模型中的图像-标注词间的关系提取以及图像相似度计算进行了详细分析,并有效地融合进医生的诊断信息作为图像的高级语义特征,更有效地计算出图像间相似度.最后,在Toy data数据集和临床胃窥镜图像集上进行了一系列的实验,结果表明本文方法优越于传统图像标注方法.

特征信息增强的无人机车辆实时检测算法

针对无人机视角下车辆由于尺度小分辨率低等问题而难以精确分类定位,本文设计了一个轻量级特征提取网络用于提供车辆的多尺度中低层信息,并分别将其融入到主干神经网络中,实现中低层特征信息的传递;同时利用主干网络提取有利于车辆与背景或其他类别分类的高级语义信息,然后将深层高级语义特征与浅层特征进行融合实现高级语义信息的传递,因此类似引入双向网络能够有效地传递不同层次的信息,增强车辆的特征信息表示。此外,采用多路空洞卷积进行特征提取,使得中低层信息更加丰富多样性;并设计了一种灵活有效的融合模块,能够将中低层信息较好地融入到主干网络中增强目标车辆的判别性特征。实验结果表明,该算法能够在无人机数据集上取得很好的检测效果,同样满足实时的应用需求。

一种改进的深度卷积神经网络图像去噪算法

为了更好地去除图像中的噪声,提出了一种改进的深度卷积神经网络(Dncnn)图像去噪算法。针对现有的Dncnn网络参数量大,对Dncnn网络的第2~16层进行了改进,使网络参数量降低1/3后,仍能保持和Dncnn一样的训练效果。在此基础上,对网络底层的低级语义信息和高层的高级语义信息进行了特征融合,使得网络训练更平稳,并能达到更好的训练效果。实验结果表明无论与图像去噪领域公认最好的去噪算法BM3D相比,还是与深度学习领域先进的图像去噪算法Dncnn相比,改进的Dncnn都有更好的表现。

基于PP-YOLOv2的烟雾检测方法分析

在烟雾检测任务中,当烟雾区域小或者运动缓慢时,烟雾检测将十分困难。针对烟雾检测任务中存在的样本干扰大,检测困难的问题,本文提出了一种基于PP-YOLOv2的烟雾检测方法。该方法采用检测Neck来构建所有尺度的高级语义特征Map,并采用PAN来聚类自顶向下的深层和浅层的复杂信息,使得模型能够在多种干扰样本存在的情况下,有效检测出烟雾目标,从而有效提高了烟雾的检测率。该方法在烟雾检测数据中检测准确率达到了91.5%,模型具有较高的鲁棒性,在实际的烟雾检测中满足了企业的应用要求。

基于优化随机森林的肝脏病变识别应用研究

针对肝病早期的病理特征不够明显容易出现漏诊的问题以及引入噪声的肝脏CT图像容易导致疾病的误诊,提出了一种基于优化的随机森林的肝脏病变识别方法。首先通过PNet图像增强网络,实现噪声伪影抑制和细节对比度提升。将增强后的肝脏CT图像输入基于SENet与ResNeXt-152结合双通道重标定机制的网络提取二维特征并突出重要特征,使用改进的类C3D网络进行三维空间特征的提取,然后进行多维特征融合,实现肝脏CT图像的高级语义特征的提取。最后使用随机森林进行肝脏病变识别,使用3D断层扫描肝脏CT图像进行实验,达到较好的病变识别效果。