Infrared image simulation of ground maneuver target and scene

Infrared scene simulation has extensive applications in military and civil fields. Based on a certain experimental environment,object-oriented graphics rendering engine（ OGRE） is utilized to simulate a real three-dimensional infrared complex scene. First,the target radiation of each part is calculated based on our experimental data. Then through the analysis of the radiation characteristics of targets and related material,an infrared texture library is established and the 3ds Max software is applied to establish an infrared radiation model.Finally,a real complex infrared scene is created by using the OGRE engine image rendering technology and graphic processing unit（ GPU） programmable pipeline technology. The results show that the simulation images are very similar to real images and are good supplements to real data.

Research on Motion Attention Fusion Model-Based Video Target Detection and Extraction of Global Motion Scene

For target detection algorithm under global motion scene, this paper suggests a target detection algorithm based on motion attention fusion model. Firstly, the motion vector field is pre-processed by accumulation and median filter;Then, according to the temporal and spatial character of motion vector, the attention fusion model is defined, which is used to detect moving target;Lastly, the edge of video moving target is made exactly by morphologic operation and edge tracking algorithm. The experimental results of different global motion video sequences show the proposed algorithm has a better veracity and speedup than other algorithm.

基于维度交互和跨层尺度级联的雾天目标检测算法

针对雾天场景下目标检测过程中由于图像模糊导致模型检测精度低、鲁棒性不佳等问题,结合数据增强对YOLOv5算法进行了优化改进,提出一种基于维度交互和跨层尺度级联的目标检测方法。首先,将三重注意力嵌入特征提取结构,捕捉不同维度间的依赖关系,增强空间和通道间信息的融合交互,提高对重要特征的关注能力。其次,提出多尺度感受野增强模块(MREM)。采用多次重复池化采样融合残差连接思想,有效扩大目标感受野获取多尺度特征,增强模型对细节信息的提取能力。再次,提出跨层级联路径聚合网络(CLC-PAN)结构。采用跨层连接的方式促进不同尺度特征信息融合,提高浅层细节信息和深层语义信息的交互,并通过加深特征金字塔采样层数捕获更丰富的语义特征,使各种锚框的铺设间隔更加合理,提高模型检测能力。最后,使用SIoU损失函数作为目标边界框回归损失函数,提高目标框定位准确度和样本训练速度。实验结果表明,改进后检测方法模型大小为15.8 MB,mAP达到71.3%,相较于YOLOv5s提升了7%,能够满足雾天场景下的快速准确地实时目标检测。

复杂场景下一种改进的单目标跟踪算法研究

针对部分复杂场景下目标跟踪存在跟踪框漂移问题,基于孪生候选区域生成网络(SiamRPN),融合通道注意力模块和选择核心模块(SK Module),提出一种单目标跟踪算法CAKSiamRPN。特征提取部分引入高效通道注意模块(ECAM)和基于标准化的通道注意力模块(NCAM),在不降低通道维度的情况下,摒弃相似信息,突出显著特征,关注并提取特定信息;在候选区域生成网络(RPN)嵌入SK Module,增强全局信息嵌入,减少填充操作的影响。将改进算法与SiamRPN及其它经典单目标跟踪算法在OTB100和UAV123数据集上进行实验对比。实验结果表明:跟踪精度和成功率明显提高,能更好地适应复杂场景,具有更强的鲁棒性。

动态环境下基于深度学习的视觉SLAM

传统的视觉同时定位与建图(SLAM)技术都是根据对静态环境条件的假设而设计,在动态环境中,运动目标的移动会导致特征匹配失败,进而影响位姿的估计。基于此提出了一种结合卷积神经网络的视觉SLAM算法,通过对ORB-SLAM2算法RGB-D模式前端添加结合注意力机制的卷积神经网络动态目标检测线程,在提取图像特征点时剔除动态目标区域,使用静态特征点完成对相机位姿精确的估计。仿真实验在TUM动态数据集下测试,通过多次测试后结果显示改进后的算法的位姿精度比原始算法提高90%以上,并且算法能满足实时性要求。

三维交互式场景虚拟现实建模仿真研究

三维交互式场景构建精度过低会影响人机交互时的体验效果,为有效提升场景的真实性与场景构建效率,提出三维交互式场景虚拟现实建模方法。从前进后退、左右平移、左右旋转抬头与低头四个角度出发,运用虚拟现实技术对场景构建时用户动作的影响因素展开具体分析;根据分析结果对虚拟交互场景内的相机实施标定处理,通过相机的标定结果获取场景影像,并使用图像分割方法对影像目标实施分割处理;基于影像的目标分割结果结合用户动作影响参数,制定模型约束条件与目标函数,构建三维交互式场景构建模型,通过上述模型实现三维交互式场景的构建。实验结果表明,使用上述方法开展三维交互式场景构建时,场景构建的效果较好,分辨率较高,达到了预期目标。

基于改进YOLOv3的自然场景中未成熟青苹果识别研究

为研究适合当前生产实际的苹果自动套袋技术,实现真实环境中未成熟青苹果的精准识别,提出一种基于改进YOLOv3的自然场景中未成熟青苹果图像识别方法。首先,为提高含干扰因素图像中未成熟青苹果识别准确率,基于YOLOv3算法利用残差网络和多尺度特征融合检测小目标的思想,对YOLOv3特征提取网络进行改进与试验验证,利用尺寸为(104,104,128)的特征图代替原尺寸为(13,13,1024)的特征图作为输出,提出改进YOLOv3的未成熟青苹果目标检测模型,通过增大特征提取网络输出特征图尺寸,减小感受野尺寸,提高算法网络对图像中未成熟青苹果的捕捉能力与识别准确率。其次,设计不同算法、不同品种和不同环境下的识别对比试验并对结果进行对比分析。改进YOLOv3在整体数据集上的检测均值平均精确率mAP值和召回率R值分别为92.46%、87.6%,较原YOLOv3分别提高3.22%、14.57%,改进模型性能提升主要体现在检测正确目标数量的能力上;在含光照影响、重叠和遮挡影响图像测试集上改进YOLOv3的mAP值较原YOLOv3分别提高3.58%、2.74%。改进YOLOv3模型对整体数据集和含干扰因素图像测试集的检测准确率较高,检测正确目标的数量较多,抗干扰能力较强。

动态场景下基于YOLOv5和几何约束的视觉SLAM算法

目的移动智能体在执行同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)的复杂任务时,动态物体的干扰会导致特征点间的关联减弱,系统定位精度下降,为此提出一种面向室内动态场景下基于YOLOv5和几何约束的视觉SLAM算法。方法首先,以YOLOv5s为基础,将原有的CSPDarknet主干网络替换成轻量级的MobileNetV3网络,可以减少参数、加快运行速度,同时与ORB-SLAM2系统相结合,在提取ORB特征点的同时获取语义信息,并剔除先验的动态特征点。然后,结合光流法和对极几何约束对可能残存的动态特征点进一步剔除。最后,仅用静态特征点对相机位姿进行估计。结果在TUM数据集上的实验结果表明,与ORB-SLAM2相比,在高动态序列下的ATE和RPE都减少了90%以上,与DS-SLAM、Dyna-SLAM同类型系统相比,在保证定位精度和鲁棒性的同时,跟踪线程中处理一帧图像平均只需28.26 ms。结论该算法能够有效降低动态物体对实时SLAM过程造成的干扰,为实现更加智能化、自动化的包装流程提供了可能。

随机数据丢包情况下组网雷达功率分配算法

在组网雷达系统中,由于节点间通信信号传播存在路径衰落等问题,雷达量测数据与资源调度数据的传输接收存在随机性。引入随机丢包变量,用以表征数据接收的随机性,建立丢包状态下组网雷达多目标跟踪功率分配模型,推导了该模型多目标跟踪误差期望下界,最终建立了总功率一定条件下,以最小化目标威胁度加权期望跟踪误差下界的数学优化模型,并通过凸优化算法求解。仿真结果表明,与不考虑随机丢包变量的功率分配算法相比,所提算法在多种场景下均能有效提高目标跟踪精度。

基于迭代多项式插值的雷达高精度距离估计方法

为解决由于受频谱间干扰影响而导致毫米波雷达对多目标场景下测距精度不足的问题,提出了一种迭代多项式插值的雷达高精度距离参数估计方法。首先,采用快速傅里叶变换(FFT)与单元平均恒虚警率(CA-CFAR)融合算法估计不同距离下的目标数目和相应频谱位置;其次,对所求目标频谱位置的信息进行迭代处理,在每次处理过程中,降低多目标间的频谱干扰;最后,通过多项式插值求得真实频率的估计偏差,从而得到精度高的目标距离估计。仿真与实测结果表明:该方法在多目标场景与信噪比(SNR)小于20dB条件下,与汉明窗(Hamming-Window)算法相比,其距离估计精度提升到0.05m以内。

基于深度迁移学习的复杂机场场景飞机目标检测方法

提出了一种改进的深度学习模型,旨在解决检测问题。首先基于迁移学习,微调预训练模型,提高了模型在有限的飞机数据集中的特征提取能力。其次,融入调整模块以增加深层特征图的感受野,提升模型的鲁棒性。引入特征金字塔网络,融合不同尺度的特征信息,进一步增强多尺度特征提取能力。最后,优化了检测头,融合轻量化的分类和回归并行分支,平衡了目标检测的准确性和实时性。构建了易于拓展的Aeroplane数据集,并对所提方法进行了实验验证。结果表明,所提模型在单架飞机、相互遮挡的飞机和小飞机的检测中平均精度分别提高了4.9%、4.0%和4.4%。所提方法在不同环境下表现优于其他经典方法,包括各类遮挡和夜间、雾天等复杂场景,具有良好的场景鲁棒性。

联合目标检测与深度信息的动态特征点去除方法

针对在动态环境中,视觉定位系统的定位精度和鲁棒性容易受到动态特征点影响的问题,提出了一种联合目标检测与深度信息的动态特征点去除方法.引入YOLOv7目标检测网络快速获得当前图像帧的目标类别及位置信息,加入坐标注意力(coordinate attention,CA)机制优化深度学习模型,提升网络目标检测精度.此外,提出了一种利用深度信息和对极几何约束的动态特征点优化策略.有效剔除了动态特征点,同时保留了尽量多的静态点,从而降低了动态点对系统定位精度和鲁棒性的影响.在公开的数据集TUM上进行实验验证.结果表明:与ORBSLAM2(oriented fast and rotated brief-SLAM)相比,所提方案在定位精度和鲁棒性上有明显优势.同时与动态同步定位和地图构建(dyna simultaneous localization and mapping,DynaSLAM)相比,定位精度基本持平,但在运行速度上实现了显著提升.

基于深度学习的场景文字识别技术研究

基于深度学习的场景文字识别技术(Scene Text Recognition,STR)应用广泛但性能尚需提升。针对现有的STR技术对小目标文字识别不准确和中文、中英文混合准确率低的问题,通过改进模型增加104×104的特征尺度,用Focal Loss和GIOU Loss作为损失函数来优化目标检测框,将卷积块注意力模块(Convolutional Block Attention Module,CBAM)嵌入到卷积层中,使网络在特定位置和通道上更加关注目标,抑制其余复杂背景信息以此来提高模型的文字检测能力;分析中文的文字特征,对CRNN的特征提取网络改进优化,提高了原有模型对中文、中英文混合识别的准确性。实验结果表明,通过对文字检测与识别模型和算法的改进优化,大大提高了场景文字识别技术的准确性和鲁棒性。

无人机输电线路巡检照片号牌文字识别方法

针对无人机巡检拍摄的高像素电力杆塔照片中杆塔号牌文字识别成功率低的问题,提出了一种改进连接文本区域网络(Connectionist Text Proposal Network,CTPN)算法。利用二维重叠滑动切割方法对输入图像进行切割,将主干网络Vgg16改为MobilenetV2对切割后图片进行卷积处理,同时在其中加入深度适配网络(Deep Adaptation Network,DAN)的注意力机制得到特征图;将卷积得到的特征图转化成序列输入至双向长短期记忆神经(Bi-directional Long Short-Term Memory,Bi-LSTM)网络学习序列特征,并通过全连接层得到建议框;加入重映射方法将建议框映射回原图,筛选整合映射到原图的建议框后,得到号牌文本框。将得到的文本框内的图像截取输入到卷积循环神经网络(Convolutional Recurrent Neural Network,CRNN)进行文字识别。实验结果表明,当切割框为456 pixel×256 pixel、横向重叠率为9%、纵向重叠率为8%时,识别精度可以达到87%。

PyTorch框架下的复杂场景目标识别方法研究

人工智能框架(PyTorch+OneDNN)在复杂场景目标识别上,易陷入网络参数梯度超规模的问题。为此,提出一种基于PyTorch框架的复杂场景目标识别方法。引入MPI中的RingAllreduce算法,优化PyTorch框架,以此实现复杂场景特征迭代提取过程中的超规模数据同步和规约处理。以优化后的PyTorch框架为基础,考虑到复杂场景目标特征与背景特征之间的交叉性,构建增强多尺度特征层输出的目标特征之间的关联。借助反卷积特征融合操作和残差融合操作的优势,依据上述关联性,实现目标自动识别。测试结果表明:所提方法的整体错误识别数量为113个,整体未识别数量为107个,证明了所提方法具有较优的自动化识别效果。

基于轻量化YOLOv4机场场面遥感图像目标检测方法

针对现有遥感图像目标检测方法存在深层CNN丢失局部特征信息、复杂场景检测精度低的问题,提出一种基于轻量化YOLOv4的目标检测方法。首先,采用轻量级神经网络Ghostnet替代YOLOv4中作为主干特征提取的CSPdarknet53网络;其次,为改善复杂环境检测能力,采用CycleGAN仿真夜间场景;再次,融合Transformer模块,使模型易于采集网络特征间关系和局部信息;最后,采用Adam优化器和K-means++筛选锚框的方式加速收敛速度,并以RSOD航空遥感数据集进行实例验证。实验结果表明本文算法较原YOLOv4的MAP值提高了6.65个百分点,参数量减小了84.7%,可以满足复杂场景下的机场场面航空器实时目标检测。

改进YOLOv8的道路交通标志目标检测算法

虽然,当前检测技术日趋成熟,但对于复杂环境下的小目标检测仍然是研究的重难点。针对道路交通场景中普遍存在的交通标志小目标比例较高,环境干扰因素较大的问题,提出了一种基于YOLOv8改进的道路交通标志目标检测算法。由于小目标检测中容易出现漏检的现象,利用BRA(bi-level routing attention)注意力机制提高网络对小目标的感知能力。此外,还利用可形变卷积模块DCNv3(deformable convolution v3),针对特征图中的不规则形状具有更好的特征提取能力,使骨干网络更好地适应不规则的空间结构,更精准地关注重要目标,从而提高模型对遮挡重叠目标的检测能力。DCNv3和BRA模块均在基本不增加模型权重大小的情况下提高模型准确性。同时引入基于辅助边框的Inner-IOU损失函数。在RoadSign、CCTSDB、TSDD、GTSDB四个数据集上,分别进行了小样本训练、大样本训练、单目标检测和多目标检测,实验结果均有所提高。其中,在RoadSign数据集上的实验结果最佳,YOLOv8改进模型的均值平均精度mAP50与mAP50:95分别达到了90.7%和75.1%,相较于基线模型,mAP50与mAP50:95分别提升了5.9和4.8个百分点。实验结果表明,YOLOv8改进模型有效地实现了在复杂道路场景下的交通标志检测。

地面LIDAR在滑坡灾害三维实景建模中的应用

为快速获取邻近铁路滑坡体表面的三维坐标,实现对滑坡灾害快速响应和及时治理。以宝兰高铁上庄隧道出口滑坡为例,采用地面LIDAR技术,通过优化布设扫描站点,实现最大扫描范围并保证相邻站间的重叠度,以无靶标扫描方式获取滑坡体及周围地物的点云数据。在RiSCAN PRO软件中利用相邻扫描站间重叠点云进行拼接处理,点云拼接精度为6.9 mm,满足三维建模和地形图制作的精度要求。利用扫描站点坐标、测站全景影像,经过配准、坐标转换、纹理贴附、多边形拟合、曲面光滑等,建立可量测的三维实景模型,为辅助地形图制作和铁路滑坡灾害整治提供便利。研究表明,采用地面LIDAR技术以无靶标扫描方式快速建立铁路滑坡体三维实景模型,具有全天时、全天候、高精度、高密度、无接触的优势,打破了传统人工测量的局限性,提高作业效率,降低外业测量风险,可为同类型地质灾害数据获取及整治积累经验。

基于Faster-RCNN的智能机器人自动抓取系统研究

为实现复杂场景、多模态目标物体的自适应定位、抓取,文章设计一种基于改进Faster-RCNN算法的智能机器人自动抓取系统。首先,以DSFPN算法改进Faster-RCNN的特征提取方法,通过低、高层次语义信息融合,改进小尺寸目标特征提取精度;并采用CDN通过可变形卷积的逐层叠加,提升复杂环境下多模态目标体检测精度,而后,引人NP层对训练进行自适应反馈调节,以控制候选区数量,优化目标检测的效率,由此,基于ROS机器人操作系统,利用Kinect相机获取目标物体的位姿,通过手眼标定数据完成目标物体位姿转换,实现自适应抓取。最后,通过对比实验,验证基于改进Faster-RCNN算法的抓取系统,目标检准率、检全率、综合检测率分别达到93.68、92.71%、93.06%,尤其对小尺寸目标的检测准确性更优,可满足多变环境下不同目标物体的抓取需求。

基于融合采样策略的轻量级RGB-D场景3D目标检测

针对室内RGB-D场景中3D目标检测对复杂背景的适应性较差、难以进行有效采样,以及场景推断时间较长等问题,本文提出一种基于融合采样策略的轻量级RGB-D场景3D目标检测方法。该方法以场景RGB-D数据作为输入,首先通过深度相机投影将其转化为三维点云场景;然后利用一种结合距离最远点采样和特征最远点采样的融合采样策略对场景点云进行采样,有效保留了场景各实例代表点,将所有特征代表点汇集在一起形成场景的特征代表点云;最后在代表点云中利用深度霍夫投票机制投票出场景各物体的中心,并对各物体周围的相关特征进行聚类,从而实现场景的3D目标检测。实验结果表明,与传统方法相比,所提框架的目标检测准确率得到有效提升,同一评估指标下的检测准确率平均提升2.1%,且同一环境下每个场景的推断速度仅需要57 ms,远快于传统方法2倍多,从而保证了室内场景3D目标检测的准确性和高效性。