Infrared image simulation of ground maneuver target and scene

Infrared scene simulation has extensive applications in military and civil fields. Based on a certain experimental environment,object-oriented graphics rendering engine（ OGRE） is utilized to simulate a real three-dimensional infrared complex scene. First,the target radiation of each part is calculated based on our experimental data. Then through the analysis of the radiation characteristics of targets and related material,an infrared texture library is established and the 3ds Max software is applied to establish an infrared radiation model.Finally,a real complex infrared scene is created by using the OGRE engine image rendering technology and graphic processing unit（ GPU） programmable pipeline technology. The results show that the simulation images are very similar to real images and are good supplements to real data.

Research on Motion Attention Fusion Model-Based Video Target Detection and Extraction of Global Motion Scene

For target detection algorithm under global motion scene, this paper suggests a target detection algorithm based on motion attention fusion model. Firstly, the motion vector field is pre-processed by accumulation and median filter;Then, according to the temporal and spatial character of motion vector, the attention fusion model is defined, which is used to detect moving target;Lastly, the edge of video moving target is made exactly by morphologic operation and edge tracking algorithm. The experimental results of different global motion video sequences show the proposed algorithm has a better veracity and speedup than other algorithm.

基于维度交互和跨层尺度级联的雾天目标检测算法

针对雾天场景下目标检测过程中由于图像模糊导致模型检测精度低、鲁棒性不佳等问题,结合数据增强对YOLOv5算法进行了优化改进,提出一种基于维度交互和跨层尺度级联的目标检测方法。首先,将三重注意力嵌入特征提取结构,捕捉不同维度间的依赖关系,增强空间和通道间信息的融合交互,提高对重要特征的关注能力。其次,提出多尺度感受野增强模块(MREM)。采用多次重复池化采样融合残差连接思想,有效扩大目标感受野获取多尺度特征,增强模型对细节信息的提取能力。再次,提出跨层级联路径聚合网络(CLC-PAN)结构。采用跨层连接的方式促进不同尺度特征信息融合,提高浅层细节信息和深层语义信息的交互,并通过加深特征金字塔采样层数捕获更丰富的语义特征,使各种锚框的铺设间隔更加合理,提高模型检测能力。最后,使用SIoU损失函数作为目标边界框回归损失函数,提高目标框定位准确度和样本训练速度。实验结果表明,改进后检测方法模型大小为15.8 MB,mAP达到71.3%,相较于YOLOv5s提升了7%,能够满足雾天场景下的快速准确地实时目标检测。

动态环境下基于深度学习的视觉SLAM

传统的视觉同时定位与建图(SLAM)技术都是根据对静态环境条件的假设而设计,在动态环境中,运动目标的移动会导致特征匹配失败,进而影响位姿的估计。基于此提出了一种结合卷积神经网络的视觉SLAM算法,通过对ORB-SLAM2算法RGB-D模式前端添加结合注意力机制的卷积神经网络动态目标检测线程,在提取图像特征点时剔除动态目标区域,使用静态特征点完成对相机位姿精确的估计。仿真实验在TUM动态数据集下测试,通过多次测试后结果显示改进后的算法的位姿精度比原始算法提高90%以上,并且算法能满足实时性要求。

一种针对室内关键目标检测的改进YOLOv8算法

随着社会服务型机器人的发展,室内目标检测成为机器人识别场景的重要任务。针对现有网络在室内目标检测任务中存在的检测精度低、检测速度慢、难以应用在嵌入式设备上的问题,提出了一种基于YOLOv8的轻量化改进网络。针对场景中存在难以识别的小目标的问题,增加一个检测头以提高对小目标的检测精度;引入Ghost Bottleneck替换网络Neck部分中C2f模块中的bottlencek,将网络中后半部分卷积中的SiLu激活函数替换为H-swish激活函数,减少网络的参数量和计算量,提高检测速度,降低网络的移植难度;在Neck部分中添加MRLA注意力机制,加强不同层之间的联系,增加特征提取能力,提高整体识别精度。实验结果表明:在室内场景数据集上,改进后的算法较原算法平均精度提升了3.6%,检测速度为72 frame/s,同时网络参数量较原网络减少约11%,能满足检测的准确性和实时性,优于目前主流算法。

复杂场景下一种改进的单目标跟踪算法研究

针对部分复杂场景下目标跟踪存在跟踪框漂移问题,基于孪生候选区域生成网络(SiamRPN),融合通道注意力模块和选择核心模块(SK Module),提出一种单目标跟踪算法CAKSiamRPN。特征提取部分引入高效通道注意模块(ECAM)和基于标准化的通道注意力模块(NCAM),在不降低通道维度的情况下,摒弃相似信息,突出显著特征,关注并提取特定信息;在候选区域生成网络(RPN)嵌入SK Module,增强全局信息嵌入,减少填充操作的影响。将改进算法与SiamRPN及其它经典单目标跟踪算法在OTB100和UAV123数据集上进行实验对比。实验结果表明:跟踪精度和成功率明显提高,能更好地适应复杂场景,具有更强的鲁棒性。

面向密集场景的多目标车辆检测算法

目标检测可为自动驾驶车辆提供附近目标的位置、大小和类别,但是密集场景中多目标检测仍然存在漏检、误检问题,为此该文提出了一种AD-YOLOv5车辆检测模型。首先,利用轻量型结构CBAM注意力机制对特征提取网络中的C3模块进行了优化得到C-C3模块,提高了对特征信息的获取能力,降低了对其他特征的关注度;其次,在检测头部分对分类和回归任务进行解耦,以实现更强的特征表达;然后,利用广义幂变换对IoU进行转换操作,提出鲁棒性更好的Alpha-IoU损失函数,提升了模型的检测精度并加快模型的收敛速度;最后,采用GridMask数据增强技术,增加了样本的复杂性,并在处理后的数据集上进行了实验。实验结果表明,改进后的目标检测模型的平均精度均值达到72.72%,与原YOLOv5模型相比提高了2.25%,且模型具有较高的收敛速度,通过可视化对比实验,直观展示了本文模型在密集场景能有效避免误检、漏检现象。

三维交互式场景虚拟现实建模仿真研究

三维交互式场景构建精度过低会影响人机交互时的体验效果,为有效提升场景的真实性与场景构建效率,提出三维交互式场景虚拟现实建模方法。从前进后退、左右平移、左右旋转抬头与低头四个角度出发,运用虚拟现实技术对场景构建时用户动作的影响因素展开具体分析;根据分析结果对虚拟交互场景内的相机实施标定处理,通过相机的标定结果获取场景影像,并使用图像分割方法对影像目标实施分割处理;基于影像的目标分割结果结合用户动作影响参数,制定模型约束条件与目标函数,构建三维交互式场景构建模型,通过上述模型实现三维交互式场景的构建。实验结果表明,使用上述方法开展三维交互式场景构建时,场景构建的效果较好,分辨率较高,达到了预期目标。

动态场景下基于YOLOv5和几何约束的视觉SLAM算法

目的移动智能体在执行同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)的复杂任务时,动态物体的干扰会导致特征点间的关联减弱,系统定位精度下降,为此提出一种面向室内动态场景下基于YOLOv5和几何约束的视觉SLAM算法。方法首先,以YOLOv5s为基础,将原有的CSPDarknet主干网络替换成轻量级的MobileNetV3网络,可以减少参数、加快运行速度,同时与ORB-SLAM2系统相结合,在提取ORB特征点的同时获取语义信息,并剔除先验的动态特征点。然后,结合光流法和对极几何约束对可能残存的动态特征点进一步剔除。最后,仅用静态特征点对相机位姿进行估计。结果在TUM数据集上的实验结果表明,与ORB-SLAM2相比,在高动态序列下的ATE和RPE都减少了90%以上,与DS-SLAM、Dyna-SLAM同类型系统相比,在保证定位精度和鲁棒性的同时,跟踪线程中处理一帧图像平均只需28.26 ms。结论该算法能够有效降低动态物体对实时SLAM过程造成的干扰,为实现更加智能化、自动化的包装流程提供了可能。

基于深度迁移学习的复杂机场场景飞机目标检测方法

提出了一种改进的深度学习模型,旨在解决检测问题。首先基于迁移学习,微调预训练模型,提高了模型在有限的飞机数据集中的特征提取能力。其次,融入调整模块以增加深层特征图的感受野,提升模型的鲁棒性。引入特征金字塔网络,融合不同尺度的特征信息,进一步增强多尺度特征提取能力。最后,优化了检测头,融合轻量化的分类和回归并行分支,平衡了目标检测的准确性和实时性。构建了易于拓展的Aeroplane数据集,并对所提方法进行了实验验证。结果表明,所提模型在单架飞机、相互遮挡的飞机和小飞机的检测中平均精度分别提高了4.9%、4.0%和4.4%。所提方法在不同环境下表现优于其他经典方法,包括各类遮挡和夜间、雾天等复杂场景,具有良好的场景鲁棒性。

基于改进YOLOv3的自然场景中未成熟青苹果识别研究

为研究适合当前生产实际的苹果自动套袋技术,实现真实环境中未成熟青苹果的精准识别,提出一种基于改进YOLOv3的自然场景中未成熟青苹果图像识别方法。首先,为提高含干扰因素图像中未成熟青苹果识别准确率,基于YOLOv3算法利用残差网络和多尺度特征融合检测小目标的思想,对YOLOv3特征提取网络进行改进与试验验证,利用尺寸为(104,104,128)的特征图代替原尺寸为(13,13,1024)的特征图作为输出,提出改进YOLOv3的未成熟青苹果目标检测模型,通过增大特征提取网络输出特征图尺寸,减小感受野尺寸,提高算法网络对图像中未成熟青苹果的捕捉能力与识别准确率。其次,设计不同算法、不同品种和不同环境下的识别对比试验并对结果进行对比分析。改进YOLOv3在整体数据集上的检测均值平均精确率mAP值和召回率R值分别为92.46%、87.6%,较原YOLOv3分别提高3.22%、14.57%,改进模型性能提升主要体现在检测正确目标数量的能力上;在含光照影响、重叠和遮挡影响图像测试集上改进YOLOv3的mAP值较原YOLOv3分别提高3.58%、2.74%。改进YOLOv3模型对整体数据集和含干扰因素图像测试集的检测准确率较高,检测正确目标的数量较多,抗干扰能力较强。

随机数据丢包情况下组网雷达功率分配算法

在组网雷达系统中,由于节点间通信信号传播存在路径衰落等问题,雷达量测数据与资源调度数据的传输接收存在随机性。引入随机丢包变量,用以表征数据接收的随机性,建立丢包状态下组网雷达多目标跟踪功率分配模型,推导了该模型多目标跟踪误差期望下界,最终建立了总功率一定条件下,以最小化目标威胁度加权期望跟踪误差下界的数学优化模型,并通过凸优化算法求解。仿真结果表明,与不考虑随机丢包变量的功率分配算法相比,所提算法在多种场景下均能有效提高目标跟踪精度。

基于TomBERT的local-global社交平台多模态情感分类

随着自媒体时代的兴起,社交媒体上用户表达的情感和态度成为反映社会公众情感的重要信息源。然而,现有多模态情感分类方法在处理文字和图片融合时往往忽略了目标外的场景因素,影响了情感分类的准确性。针对此问题,提出基于TomBERT的local-global社交平台多模态情感分类模型,该模型以TomBERT模型为基础架构,将输入信息分为主体(local)和场景(global)两部分,分别进行图文匹配,通过多模态编码器获得最终的多模态隐藏表示后进行分类,充分考虑了主体信息与场景信息的关联,使用场景因素对主体进行特征增强,辅助情感分类。实验证明,基于TomBERT的local-global社交平台多模态情感分类模型较于传统方法,在捕捉模态间关系的同时,更全面地考虑了主体与场景的影响,提高了情感分类的准确性。

基于迭代多项式插值的雷达高精度距离估计方法

为解决由于受频谱间干扰影响而导致毫米波雷达对多目标场景下测距精度不足的问题,提出了一种迭代多项式插值的雷达高精度距离参数估计方法。首先,采用快速傅里叶变换(FFT)与单元平均恒虚警率(CA-CFAR)融合算法估计不同距离下的目标数目和相应频谱位置;其次,对所求目标频谱位置的信息进行迭代处理,在每次处理过程中,降低多目标间的频谱干扰;最后,通过多项式插值求得真实频率的估计偏差,从而得到精度高的目标距离估计。仿真与实测结果表明:该方法在多目标场景与信噪比(SNR)小于20dB条件下,与汉明窗(Hamming-Window)算法相比,其距离估计精度提升到0.05m以内。

基于雷视融合的ADB灯控系统设计与实现

针对传统基于相机的ADB灯控系统单目摄像头在雨、雪、雾天气存在识别不清和检测率低的问题,文章设计一种基于雷视融合的车载ADB灯控系统。该系统可以实现夜晚自适应控制远光灯的开闭,减少交通事故的发生,并且雷达数据的引入增强了数据源的可靠性,使得该系统在雨、雪、雾等不良天气下亦可正常工作,增强了系统的鲁棒性。

基于深度学习的场景文字识别技术研究

基于深度学习的场景文字识别技术(Scene Text Recognition,STR)应用广泛但性能尚需提升。针对现有的STR技术对小目标文字识别不准确和中文、中英文混合准确率低的问题,通过改进模型增加104×104的特征尺度,用Focal Loss和GIOU Loss作为损失函数来优化目标检测框,将卷积块注意力模块(Convolutional Block Attention Module,CBAM)嵌入到卷积层中,使网络在特定位置和通道上更加关注目标,抑制其余复杂背景信息以此来提高模型的文字检测能力;分析中文的文字特征,对CRNN的特征提取网络改进优化,提高了原有模型对中文、中英文混合识别的准确性。实验结果表明,通过对文字检测与识别模型和算法的改进优化,大大提高了场景文字识别技术的准确性和鲁棒性。

改进YOLOv8的道路交通标志目标检测算法

虽然,当前检测技术日趋成熟,但对于复杂环境下的小目标检测仍然是研究的重难点。针对道路交通场景中普遍存在的交通标志小目标比例较高,环境干扰因素较大的问题,提出了一种基于YOLOv8改进的道路交通标志目标检测算法。由于小目标检测中容易出现漏检的现象,利用BRA(bi-level routing attention)注意力机制提高网络对小目标的感知能力。此外,还利用可形变卷积模块DCNv3(deformable convolution v3),针对特征图中的不规则形状具有更好的特征提取能力,使骨干网络更好地适应不规则的空间结构,更精准地关注重要目标,从而提高模型对遮挡重叠目标的检测能力。DCNv3和BRA模块均在基本不增加模型权重大小的情况下提高模型准确性。同时引入基于辅助边框的Inner-IOU损失函数。在RoadSign、CCTSDB、TSDD、GTSDB四个数据集上,分别进行了小样本训练、大样本训练、单目标检测和多目标检测,实验结果均有所提高。其中,在RoadSign数据集上的实验结果最佳,YOLOv8改进模型的均值平均精度mAP50与mAP50:95分别达到了90.7%和75.1%,相较于基线模型,mAP50与mAP50:95分别提升了5.9和4.8个百分点。实验结果表明,YOLOv8改进模型有效地实现了在复杂道路场景下的交通标志检测。

PyTorch框架下的复杂场景目标识别方法研究

人工智能框架(PyTorch+OneDNN)在复杂场景目标识别上,易陷入网络参数梯度超规模的问题。为此,提出一种基于PyTorch框架的复杂场景目标识别方法。引入MPI中的RingAllreduce算法,优化PyTorch框架,以此实现复杂场景特征迭代提取过程中的超规模数据同步和规约处理。以优化后的PyTorch框架为基础,考虑到复杂场景目标特征与背景特征之间的交叉性,构建增强多尺度特征层输出的目标特征之间的关联。借助反卷积特征融合操作和残差融合操作的优势,依据上述关联性,实现目标自动识别。测试结果表明:所提方法的整体错误识别数量为113个,整体未识别数量为107个,证明了所提方法具有较优的自动化识别效果。

联合目标检测与深度信息的动态特征点去除方法

针对在动态环境中,视觉定位系统的定位精度和鲁棒性容易受到动态特征点影响的问题,提出了一种联合目标检测与深度信息的动态特征点去除方法.引入YOLOv7目标检测网络快速获得当前图像帧的目标类别及位置信息,加入坐标注意力(coordinate attention,CA)机制优化深度学习模型,提升网络目标检测精度.此外,提出了一种利用深度信息和对极几何约束的动态特征点优化策略.有效剔除了动态特征点,同时保留了尽量多的静态点,从而降低了动态点对系统定位精度和鲁棒性的影响.在公开的数据集TUM上进行实验验证.结果表明:与ORBSLAM2(oriented fast and rotated brief-SLAM)相比,所提方案在定位精度和鲁棒性上有明显优势.同时与动态同步定位和地图构建(dyna simultaneous localization and mapping,DynaSLAM)相比,定位精度基本持平,但在运行速度上实现了显著提升.

无人机输电线路巡检照片号牌文字识别方法

针对无人机巡检拍摄的高像素电力杆塔照片中杆塔号牌文字识别成功率低的问题,提出了一种改进连接文本区域网络(Connectionist Text Proposal Network,CTPN)算法。利用二维重叠滑动切割方法对输入图像进行切割,将主干网络Vgg16改为MobilenetV2对切割后图片进行卷积处理,同时在其中加入深度适配网络(Deep Adaptation Network,DAN)的注意力机制得到特征图;将卷积得到的特征图转化成序列输入至双向长短期记忆神经(Bi-directional Long Short-Term Memory,Bi-LSTM)网络学习序列特征,并通过全连接层得到建议框;加入重映射方法将建议框映射回原图,筛选整合映射到原图的建议框后,得到号牌文本框。将得到的文本框内的图像截取输入到卷积循环神经网络(Convolutional Recurrent Neural Network,CRNN)进行文字识别。实验结果表明,当切割框为456 pixel×256 pixel、横向重叠率为9%、纵向重叠率为8%时,识别精度可以达到87%。