采用类内迁移学习的红外/可见光异源图像匹配

为解决异源图像匹配中样本量过少和成像原理不同导致成像差异的问题,提出了一种采用类内迁移学习的异源图像匹配网络(PairsNet)。该网络由特征提取子网络和匹配度量子网络两部分组成。特征提取子网络中存在4条卷积神经网络分支,其通过卷积神经网络分支提取出红外图像和可见光图像的特征。将可见光图像作为源域、红外图像作为目标域进行迁移学习,通过减小两个域中样本特征的类内最大均值差异距离,实现了源域和目标域对应图像类别上精准的样本特征分布对齐。匹配度量子网络使用2个全连接层和1个softmax层进行串联,评估出异源图像特征的匹配度。构建了红外和可见光图像数据集,进行端到端的训练和测试。结果表明:与当前使用预训练模型微调的方法相比,PairsNet的准确率提升了10.54%,可见光图像匹配网络的能力可以有效迁移到异源图像匹配网络。

面向嵌入式FPGA的智能目标检测算法

随着识别率和实时性的提高,卷积神经网络目标检测算法的计算复杂度和内存需求急剧增加,难以应用在小尺寸和低功耗的嵌入式平台上.本文在分析现有目标检测神经网络模型结构的基础上,根据FPGA高实时性、低功耗以及并行处理的特点,提出了一种在FPGA上高速运算的神经网络模型规整化方法.在此方法指导下设计改进了一款目标检测神经网络模型结构,包括删除LRN层、Scale层的融合和替换Leaky-ReLU为ReLU.通过在voc2007数据集上的对比实验验证了算法结构的有效性,在PC上其速度相比传统YOLO-V1算法提升了11.5%.在Xilinx ZCU102开发板上的仿真表明:该改进的目标检测算法速度达到29 FPS(Frames Per Second),精度达到62.3 mAP.

基于线性核函数的高速核化相关跟踪算法

现有的视觉目标跟踪研究主要集中在跟踪性能的提升,计算量普遍过大,难以在计算资源有限的嵌入式计算平台上实时运行,严重影响了跟踪算法的实际应用.对现有的跟踪算法进行了分析,提出了一种改进的高速核化相关跟踪算法.一方面,采用线性核函数解决相关运算中核函数计算量大的问题,另一方面,对算法流程进行优化,将多个傅里叶变换计算放在算法初始化阶段,从而避免在跟踪过程中进行运算量较大的傅里叶变换计算.综合上述措施,将原来的每次跟踪主循环需要计算十次傅里叶变换(FFT)减少到三次FFT.并通过定量实验分析验证,在跟踪性能基本不变的情况下,将速度提升到原来的4-5倍.提出的方法大幅降低了高性能跟踪算法的计算量,在计算性能有限的嵌入式计算平台上有着良好的应用前景.