基于深度学习的高分辨率遥感影像目标检测

传统的目标检测识别方法难以适应海量高分辨率遥感影像数据,需要寻求一种能够自动从海量影像数据中学习最有效特征的方法,充分复挖掘数据之间的关联。本文针对海量高分辨率遥感影像数据下典型目标的检测识别,提出一种分层的深度学习模型,通过设定特定意义的分层方法建立目标语义表征及上下文约束表征,以实现高精度目标检测。通过对高分遥感影像目标检测的试验,证明了该方法的有效性。

整合局部特征和滤波器特征的空间金字塔匹配模型

本文提出一种场景分类方法,通过整合局部特征和滤波器特征获得丰富的表征信息,并利用空间金字塔匹配模型提取空间上下文信息.该方法有如下四个特点:(1)通过转换将滤波器很好地嵌入空间金字塔匹配模型中;(2)在滤波器特征转换的过程中,采用降采样和平均操作,在空间密度和空间范围两者之间取得了很好的折衷;(3)将滤波器特征和局部特征组合起来,获得了更强的描述能力;(4)捕获了像素域和调制域的互补信息.同时,在三个数据库上的实验证明了该方法的有效性.

大学本科开设计算机视觉课程教学的探讨

计算机视觉课程是模式识别与智能系统方向的一门重要课程,然而目前在大学本科阶段开设较少。华中科技大学自动化学院在这方面进行了尝试。根据近两年的实践,本文从课程设置、教学内容、教学方法、教学方式四个方面论述了在信息学科本科阶段开展计算机视觉课程教学的措施与成果。

计算机视觉课程的国际化教学模式

计算机视觉作为图像处理的进阶课程,既要教给学生一些视觉计算方面的基本概念和方法,同时也要为学生讲述当前的研究热点、新方法、新思路。文章从教学内容国际化、教学方式国际化、教学成果国际化3个方面论述计算机视觉课程在国际化建设中改革措施与成果。

基于深度神经网络的图像风格化方法综述

图像风格化旨在通过风格化模型,将一幅图像在保持语义内容不变的同时从一种风格转换到另一种风格.鉴于深度神经网络强大的特征提取和表达能力,学者们先后提出各种基于深度神经网络的图像风格化方法.文中根据风格的定义方式,将基于深度神经网络的图像风格化方法划分为基于参考的图像风格化方法和基于域的图像风格化方法,并对相关文献进行归纳梳理.与已有相关综述不同,文中只研究基于深度神经网络的图像风格化方法,从风格定义的角度进行详尽全面的分类.最后总结目前代表性工作在图像风格化任务常用数据集上的实验结果,分析现有方法存在的问题,并基于这些问题展望未来工作.

深度学习实时语义分割综述

语义分割是计算机视觉领域的一项像素级别的感知任务,目的是为图像中的每个像素分配相应类别标签,具有广泛应用。许多语义分割网络结构复杂,计算量和参数量较大,在对高分辨率图像进行像素层次的理解时具有较大的延迟,这极大限制了其在资源受限环境下的应用,如自动驾驶、辅助医疗和移动设备等。因此,实时推理的语义分割网络得到了广泛关注。本文对深度学习中实时语义分割算法进行了全面论述和分析。1)介绍了语义分割和实时语义分割任务的基本概念、应用场景和面临问题;2)详细介绍了实时语义分割算法中常用的技术和设计,包括模型压缩技术、高效卷积神经网络(convolutional neural network,CNN)模块和高效Transformer模块;3)全面整理和归纳了现阶段的实时语义分割算法,包括单分支网络、双分支网络、多分支网络、U型网络和神经架构搜索网络5种类别的实时语义分割方法,涵盖基于CNN、基于Transformer和基于混合框架的分割网络,并分析了各类实时语义分割算法的特点和局限性;4)提供了完整的实时语义分割评价体系,包括相关数据集和评价指标、现有方法性能汇总以及领域主流方法的同设备比较,为后续研究者提供统一的比较标准;5)给出结论并分析了实时语义分割领域仍存在的挑战,对实时语义分割领域未来可能的研究方向提出了相应见解。本文提及的算法、数据集和评估指标已汇总至https://github.com/xzz777/Awesome-Real-time-Semantic-Segmentation,以便后续研究者使用。

面向行为边界框生成的端到端时间全局相关网络

时序行为边界框生成任务的目的是定位未剪辑视频中行为的开始和结束时间.现有的生成行为边界框的方法存在两个缺点:所使用的特征不具有足够的时间全局信息,导致了边界框的不准确;特征提取和边界框生成的过程是分开的,导致生成的特征不完全适合边界框生成任务.为了解决上述问题,本文提出了时间全局相关网络(Temporal Global Correlation Network,TGCNet),利用时间全局相关(Temporal Global Correlation,TGC)模块获取全局信息.TGC模块主要包含动态相关结构和静态相关结构,分别编码动态和静态全局信息.TGCNet网络可以以端到端的方式训练,使得所学习到的特征更适合时序行为边界框生成任务.本文在两个具有挑战性的数据集THUMOS14和ActivityNet1.3上进行了实验,结果表明,所提出的TGCNet网络在这两个数据集上均达到了最好的时序行为边界框生成性能.

基于少量样本学习的多目标检测跟踪方法

视频目标检测跟踪算法一直是计算机视觉领域的研究热点,目前大部分方法均需人工采集样本训练检测模型,搭建目标检测跟踪系统.当目标成像条件发生变化时,需重新采集样本,训练模型,调试整个检测跟踪系统,耗费大量人力、物力.本文提出一种基于少量样本学习的多目标检测跟踪算法,只需在监控视频第一帧指定待检测目标,即可自主生成混合分类模型,进行目标检测.采用在线渐进学习算法学习目标姿态变化,更新该模型.结合基于颜色的目标跟踪算法,自动构建高精度目标检测跟踪系统.整个过程无需手工采集、标注训练样本.因此,易于扩展到其它监控场景,通过自主学习形成该场景专用的检测跟踪系统,实现不同监控环境下,不同成像条件下都有较好的检测跟踪效果.实验表明,本方法能自主学习多种监控场景下的目标姿态,无需手工标注训练样本,在基于在线学习的算法中有最佳的检测精度,此外也取得了和离线目标检测跟踪系统相似的性能.

自然场景图像中的文本检测综述

本文对自然场景文本检测问题及其方法的研究进展进行了综述.首先,论述了自然场景文本的特点、自然场景文本检测技术的研究背景、现状以及主要技术路线.其次,从传统文本检测以及深度学习文本检测的视角出发,梳理、分析并比较了各类自然场景文本检测方法的优缺点,并介绍了端对端文本识别技术.再次,论述了自然场景文本检测技术所面临的挑战,探讨了相应的解决方案.最后,本文列举了测试基准数据集、评估方法,将最具代表性的自然场景文本检测方法的性能进行了比较,本文还展望了本领域的发展趋势.

基于深度学习的单图像三维人体重建研究综述

对近年来基于深度学习的单图像三维人体重建的研究现状和发展趋势进行了总结.首先,从模型表示和计算方法两个方面梳理了当前主要的单图像三维人体重建算法.在模型表示上详细介绍了四种常见表示方式及它们之间的相互转化关系,包括深度图像与点云表示、参数化人体模型表示、体素及语义体素表示及隐式曲面函数表示.在计算方法上深入描述了基于上述四种表示方式所提出的算法,并分析了其优缺点;接着,介绍了单图像三维人体重建常用的公共数据集和客观评价指标;然后,在公共数据集上从客观指标和可视化两个角度对当前先进方法进行了评价和对比;最后,在实验结果的基础上总结了当前方法存在的问题和挑战,并展望了单图像三维人体重建未来潜在的研究方向.

《中国图象图形学报》图像/视频语义分割专栏简介

语义分割是计算机视觉领域的基础问题,对分析和理解图像/视频场景数据有着重要的作用和意义,可广泛应用于安防监控、自动驾驶、工业质检、辅助医疗、遥感分析、图片视频编辑等实际应用。同时,图像/视频语义分割在智慧城市、智慧教育、智慧医疗及智慧制造等领域起到关键作用,符合国家“四个面向”重大需求。2017年国务院印发的《新一代人工智能发展规划》一文中也提到要重点突破“复杂动态场景感知与理解”等技术。

基于姿态对齐的行人重识别方法（英文）

行人重识别是指根据输入的某个行人图片,在视频监控网络中对该行人目标进行检索.行人的姿态变化和监控场景的亮度变化是该任务的两个主要挑战.针对行人的姿态变化问题,本文首先对训练集中行人图片进行稠密图像块采样获得图像块集合,然后对每一个图像块提取其局部表观空间特征,最后在此特征集上聚类得到通用的行人部件字典.由于该部件字典编码了行人的部件信息,因此通过该字典内的每一个码元可以建立两幅行人图像中特定图像块之间的对应关系.将两幅行人图片的图像块集合分别向部件字典投影,可以获得2幅行人图片姿态对齐后的图像块序列.针对监控场景的亮度变化问题,本文在姿态对齐后的图像块上分别提取4种颜色描述子,并将不同颜色描述子下的图像块相似性进行分数级组合以获得更好的亮度不变性.其中不同颜色描述子之间的组合系数通过结构化输出支持向量机学习得到.在常用的视点不变行人重识别(viewpoint invariant pedestrian recognition,VIPe R)数据集上的实验结果表明,该方法在存在行人姿态变化和场景亮度变化干扰时获得了较好的行人重识别效果.

多特征融合的实时人手跟踪算法（英文）

由于复杂背景、形变以及运动造成的模糊等因素,导致在自然场景下的人手跟踪仍然是一个具有挑战性的问题.本文中,结合运动、颜色和Haar-like特征来构造一个具有鲁棒性的实时人手检测算法.尽管不能运用于所有的情形,但Haar-like特征成功地去除了类似肤色的运动背景区域.利用三个特征构造三个弱分类器,然后将其结合成一个强分类器.如果一个分类器已经确定了人手的位置,其他分类器将不会执行,否则将会为下一个分类器提供一个可能的区域.文中实现了提出的算法,并且在几个具有挑战性的视频序列上进行了实验.

改进的基于区域合并的纹理图像分割方法

针对自然纹理图像的特点,提出了一种改进的基于区域合并的纹理图像分割方法.首先选择符合人类视觉对颜色的感知区分能力的L*a*b*颜色特征;然后提取图像的Gabor能量作为纹理特征;接着由颜色相似度和纹理相似度的概率加权平均获得2个相邻区域的相似度;最后利用基于最大相似度的区域合并算法交互式地完成图像分割任务.实验结果表明:该方法比仅使用红绿蓝(RGB)颜色特征的相似度测量获得了更加精确的分割效果,并且在相同的初始过分割以及人工交互条件下,优于Lazy Snapping.