基于光流估计的“珠海一号”高光谱卫星遥感数据的固体废弃物识别方法——以河南省济源示范区为例

本文提出了一种基于光流估计的高光谱卫星遥感数据的固体废弃物识别方法。首先,从序列数据的角度看待高光谱数据,引入DeepFlow光流估计技术提取光谱维度的亮度变化信息,作为更具判别性的光谱运动特征;然后,将提取的光谱运动特征与原始光谱特征相结合后输入至常用的支持向量机进行固废识别;最后,进一步提出固废识别后处理方法改善识别效果,并利用“珠海一号”高光谱卫星遥感数据,以河南省济源示范区为研究区展开试验。试验结果表明,本文方法能够对露天堆放的工业固体废弃物进行大范围的快速精准识别,初步锁定济源示范区内存在固废遗留和违规堆放行为的11个地域风险点,且识别精度优于传统的光谱特征提取和分类方法,为后期人工现地勘察固废和“清废”行动显著节省了时间和工作量。

利用局部特征匹配的运动小目标光流估计

基于深度光流估计的动态背景运动小目标检测,为了保证小目标的检测性能,一般采用较少的下采样次数以维持较高的分辨率,但由此带来了较大的计算耗时。特征匹配是深度光流估计的一个核心处理环节,其耗时在光流估计整体耗时中的占比较大,且对下采样次数非常敏感。据此,提出一种基于局部特征匹配的快速光流估计算法:引入目标运动信息,缩小特征匹配的空间范围,减少待处理的数据量;设计分块局部匹配策略,引入批处理机制,避免出现逐点局部匹配策略数据处理耗时过大问题,实现算法加速。在此基础上,在光流估计获取的光流场上,采用CenterNet网络检测运动目标对应的光流异常区域。从光流估计耗时、检测精度等方面开展了实验验证,结果表明:针对运动小目标检测,分块特征匹配光流估计比全局特征匹配光流估计耗时减少约25%,目标检测性能相当。

结合卷积和轴注意力的光流估计网络

现有的光流估计网络为了获得更高的精度,往往使用相关性成本量和门控循环单元(gate recurrent unit,GRU)来进行迭代优化,但是这样会导致计算量大并限制了在边缘设备上的部署性能。为了实现更轻量的光流估计方法,本文提出局部约束与局部扩张模块(local constraint and local dilation module,LC-LD module),通过结合卷积和一次轴注意力来替代自注意力,以较低的计算量对每个匹配特征点周边区域内不同重要程度的关注,生成更准确的相关性成本量,进而降低迭代次数,达到更轻量化的目的。其次,提出了混洗凸优化上采样,通过将分组卷积、混洗操作与凸优化上采样相结合,在实现其参数数量降低的同时进一步提高精度。实验结果证明了该方法在保证高精度的同时,运行效率显著提升,具有较高的应用前景。

基于反向残差注意力的光流估计

光流估计是视频理解和分析的一项基本任务。现有的许多方法直接将遮挡作为异常点剔除,从而提高模型计算光流的能力,但这也容易引起图像灰度不连续,导致光流估计失败。此外,物体高速运动造成的大位移问题一直是光流估计的难点。为了解决上述问题,本文提出一种用于光流估计的基于反向残差注意力的生成对抗学习框架(FlowTran-GAN,FTGAN)。该框架通过设计一个反向残差注意力模块增强特征的空间信息,提高像素之间的匹配程度;并且利用基于U-Net的鉴别器来约束生成器,减少光流估计的误差和不连续性,提高模型的泛化能力。通过在KITTI-2015数据集和MPI-Sintel数据集上进行的实验,实验结果表明本文所提出FTGAN的有效性和优越性。

基于改进LiteFlowNet3网络的轻量化光流估计方法

现有的光流估计方法参数量大,计算耗时,难以满足实时性需求。为此,提出一种基于改进LiteFlowNet3网络的轻量化光流估计方法。使用池化和深度可分离卷积替换LiteFlowNet3网络中的常规卷积层,大幅减少网络模型参数量。在损失函数中增加了光流梯度的损失,强调训练中对光流边界的监督,在不增加参数的前提下提升性能。改进的LiteFlowNet3网络参数量仅为0.78 M。实验结果表明,改进的LiteFlowNet3光流估计方法在Sintel数据集的Clean和Final序列上的端点误差分别为2.69和4.12,单次推理时间仅为25 ms,性能优于其他的轻量级光流方法。

基于遮挡优化的金字塔块匹配光流估计方法

针对现有光流计算方法在大位移和运动遮挡等场景下光流估计的准确性与鲁棒性问题,提出一种基于遮挡优化的金字塔块匹配光流估计方法.首先利用金字塔块匹配模型得到初始匹配运动场,构造遮挡检测模型优化匹配运动场,去除初始匹配运动场包含的误匹配点以获取鲁棒稀疏运动场;然后设计边缘约束的鲁棒插值算法获取稠密光流场,并构建全局能量泛函解决局部最优问题,得到最终的鲁棒稠密光流场.最后分别利用Middlebury、MPI-Sintel和KITTI数据集提供的测试图像序列对本文方法和具有代表性的变分光流估计方法、匹配插值光流估计方法、卷积神经网络光流估计方法进行对比分析.实验结果表明本文方法对大位移和运动遮挡场景光流估计的准确性与鲁棒性具有明显的提升效果.

基于事件相机的连续光流估计

事件相机对场景的亮度变化进行成像,输出异步事件流,具有极低的延时,受运动模糊问题影响较少.因此,可以利用事件相机解决高速运动场景下的光流(Optical flow,OF)估计问题.基于亮度恒定假设和事件产生模型,利用事件相机输出事件流的低延时性质,融合存在运动模糊的亮度图像帧,提出基于事件相机的连续光流估计算法,提升了高速运动场景下的光流估计精度.实验结果表明,相比于现有的基于事件相机的光流估计算法,该算法在平均端点误差、平均角度误差和均方误差3个指标上,分别提升11%、45%和8%.在高速运动场景下,该算法能够准确重建出高速运动目标的连续光流,保证了存在运动模糊情况时,光流估计的精度.

基于双重注意力和光流估计的人脸替换方法

视频人脸替换中的关键问题是如何更好地重建人脸图像、融合图像和保证视频的连续性,为了提升重建图像和人脸掩模质量,解决视频播放不自然问题,提出一种基于双重注意力机制和光流估计的自动人脸替换方法。人脸重建网络以生成对抗网络为主体,为了提升网络的特征提取能力,在人脸重建网络中引入双重注意力模块,并使用深度可分离卷积替代模块中部分卷积,降低引入模块增加的网络计算量。针对人脸重建后前后帧时间域关系丢失的现象,添加一种基于光流估计的视频帧处理模块和平滑视频帧方法。实验结果表明,该方法相比FaceSwap、DeepFakes和FaceShifter替换方法能够更好地保持目标视频人脸的颜色、姿态和表情,使视频具有更好的连续性,提升人脸替换视频质量。

基于光流估计和自适应背景抑制的弱小目标检测

针对复杂云背景下的弱小目标探测,提出了一种基于光流估计和自适应背景抑制相结合的弱小目标检测算法.首先根据红外图像中云的移动规律,对云背景下的红外图像进行光流分析,提取运动云区.在光流场的计算中结合了云运动的特点以及光流方程的两个约束条件,对传统的基于梯度的光流法予以改进.同时发现移动云区对目标探测的影响较大,为了抑制移动云区对弱小目标的干扰,提出了自适应抑制复杂背景的算法,在光流场分析提取的移动云区中,利用代表背景复杂程度的背景因子,自适应调整分割阈值,抑制复杂背景的干扰.这样只在容易引起虚警的移动云区进行背景抑制处理,简化了计算量,降低了云区对弱小目标的干扰,减少了虚警和误判.实验结果表明该算法可以显著减少云区造成的虚警,并且能够探测出弱小目标.

基于可变元胞传输模型的城市道路交通流估计方法

城市道路交通流预测的可靠性、实时性是城市交通管理与控制的基础.为提高城市道路交通流的预测能力,提出了可变元胞传输模型(VCTM模型).在分析元胞传输模型(CTM模型)在城市道路交通流预测方面应用不足的基础上,根据流量守恒定律,将元胞的交通流密度和元胞的长度两个参数引入CTM模型,建立了VCTM模型.VCTM模型根据路段连接、汇聚、分流等三种形式的不同特点,分别建立了元胞连接、汇聚、分流的交通流传输公式.虽然VCTM模型引入了元胞的交通流密度和元胞的长度两个参数,增加了模型求解的运算量,但克服了元胞长度必须相等的局限性,确保VCTM模型可以应用于城市路网中的不同道路.仿真结果表明,VCTM模型能够满足城市道路交通流预测的要求.

一种自适应的光流估计方法

本文通过对光流基本约束项和平滑约束项加以改进,提出一种自适应的光流估计算法。这种算法能够较精确进行光流运动估计,减轻Horn方法中全局平滑约束对运动边界的影响,提高估计的峰值信噪比。实验结果表明:这种算法是有效的。

基于光流估计的整帧恢复算法

探讨了在无线环境中可能出现的整帧丢失情况,并利用光流估计的思想,提出了一种有效的双向估计恢复算法。实验结果证明,提出的改进优化算法能较好地提高恢复图像性能,并具有一定的实用价值。

融合颜色不变量的彩色图像光流估计算法

为了克服彩色图像光流估计中的光照影响,提高光流估计的准确性,该文提出一种在颜色不变量空间求解光流,再与RGB空间光流进行融合的光流估计算法。首先提取视频序列中相邻两帧图像的颜色不变量边缘,再计算使用颜色不变量边缘构建的三通道彩色图像的光流,最后使用L$范数融合颜色不变量光流与RGB图像光流。文中还讨论了颜色不变量边缘的选取和组合对融合光流结果的影响。实验结果表明,提出的方法能够获取更加准确的目标区域,对阴影和光照变化更加鲁棒,与经典算法相比具有更好的性能。

基于光流估计的运动目标检测系统设计实现

光流场计算是计算机视觉及视频图像压缩中的重要领域,它的实时实现又是该领域的一个重要研究课题。考虑到硬件实现的实时性,综合分析了现有的各种光流算法,重点对基于区域相关匹配的光流估计算法的运算进行改进;同时研究了改进算法的体系结构,并进行了设计实现。设计中总体采用了并行流水线结构方式,在某些流水线段上采用了SIMD结构,提高了系统处理速度。验证结果表明,系统处理时钟的速度可以达到80 MHz。对于256×256的图像序列,如果系统实际工作时钟频率为50 MHz,每处理一帧仅需要16 ms。

基于纹理约束和参数化运动模型的光流估计

提出了一种基于局部小平面运动的光流估计新方法。目的是获得精确致密的光流估计结果。与以往采用亮度一致性区域作为假设平面的算法不同 ,本算法利用序列图像的纹理信息 ,在纹理分割区域的基础上 ,进行运动估计。该算法首先通过微分法计算粗光流 ,可以得到参数化光流模型的初始估计 ,然后通过区域迭代算法 ,调整初始估计 ,从而得到精细的平面分割及其对应的参数化光流模型。基于纹理信息的部分拟合算法被用于算法的每一步当中 ,保证了纹理边缘位置的光流估计值的准确性。实验采用了标准图像序列 ,结果表明 ,可以得到更为精细的光流估计结果 ,特别是对于那些有着丰富纹理信息的室外环境的图像序列 ,而且在运动边界处的结果改善尤为明显。

全局运动多分辨率光流估计算法的改进与实现

为了提高低分辨率图像之间的位移估计精度,在传统光流算法的基础上,提出了全局运动的多分辨率光流估计算法.实验结果表明:该算法能够快速实现小位移和准确的实现大位移的运动估计,通过对互有亚像素位移的多帧低分辨率图像对比相位相关法进行运动估计,改进的多分辨率光流估计算法实现的高精度亚像素位移误差精度为0.05pi.

基于小波滤波器组的光流估计

为了解决光流估计时存在的孔径问题和时域混叠 ,在 Bernard的理论基础上 ,给出了基于快速滤波器组的方法 :小波函数在频域可以表示为滤波器组的乘积 ,所以时域的小波系数由傅里叶变换转换到频域 ,通过滤波器组快速求解。由于解析小波具有实小波所没有的优点 ,采用解析小波计算光流。文中给出该方法的结果 ,还给出了 Horn-Schunck的正则化方法的结果。比较后可知 ,本文的方法能较好地对运动物体进行光流估计。

基于本征和非本征正则项的光流估计

针对光流约束的孔径问题,结合本征和非本征两种正则化处理提出一种自适应光流估计方法。详细讨论了光流估计模型、Euler-Lagrange方程和时空导数的计算等问题。实验结果表明了这种方法的有效性,与经典的Horn-Schunck和Nagel-Enkelmann方法相比,能够更好地保持光流场的不连续边缘,同时在图像平滑或少纹理区域自适应地减弱光流约束作用。

一种基于SVD协方差加权技术的光流估计算法

本文以经典的L-K光流方程为出发点,提出了一种高效的基于SVD协方差加权的光流估计算法,并成功应用到柔性目标点跟踪中,有效地解决了传统L-K算法的孔径问题、深度不连续点的估计和长序列视频的漂移问题。基于标准测试序列的试验结果,证明该算法能有效地跟踪较长视频序列中具有2D和1D甚至基本没有纹理的具有退化结构的柔性目标点,同时结果还可以作为半稠密的点对应来解决SFM问题中的一个关键难题correspondence。

X波段导航雷达最小二乘海表面流估计性能分析

在海浪波数测量无误差的假设下,证明了最小二乘法是高斯白噪声背景下海表面流的最大似然估计和最小方差无偏估计的有效方法;推导了估计误差克拉美-罗限的闭式解。在此基础上,分析了影响估计质量的相关因素,结果表明:海表面流估计误差由反演所用真实海浪谱值点数、频率测量误差、海浪波数波向及其分布特性等决定;为提高海表面流估计精度,需要尽可能多地获取具有一定波数和波向扩展性的真实海浪回波谱值点。