基于跨模态近邻损失的可视-红外行人重识别

可视-红外跨模态行人重识别任务的目标是给定一个模态的特定人员图像,在其他不同模态摄像机所拍摄的图像集中进行检索,找出相同人员对应的图像。由于成像方式不同,不同模态的图像之间存在明显的模态差异。为此,从度量学习的角度出发,对损失函数进行改进以获取具有更加辨别性的信息。对图像特征内聚性进行理论分析,并在此基础上提出一种基于内聚性分析和跨模态近邻损失函数的重识别方法,以加强不同模态样本的内聚性。将跨模态困难样本的相似性度量问题转化为跨模态最近邻样本对和同模态样本对的相似性度量,使得网络对模态内聚性的优化更加高效和稳定。对所提方法在全局特征表示的基线网络和部分特征表示的基线网络上进行实验验证结果表明:所提方法对可视-红外行人重识别的预测结果相较于基线方法,平均准确度最高可提升8.44%,证明了方法在不同网络架构中的通用性;同时,以较小的模型复杂度和较低的计算量为代价,实现了可靠的跨模态行人重识别结果。

基于双注意力机制的可见光-红外行人重识别

【目的】由于可见光图像和红外图像之间的巨大模态差异,导致可见光-红外行人重识别是一项非常具有挑战性的图像检索问题。【方法】为了进一步减小两种模态之间的差异,重点关注行人信息,提出一种基于双注意力机制的网络结构用于可见光-红外行人重识别。一方面通过双注意力机制挖掘不同尺度的行人空间信息和增强局部特征的通道交互能力,另一方面利用全局分支和局部分支,学习多粒度的特征信息,使不同粒度信息可以相互补充,形成一个更具辨别性的特征。【结果】在两个公共数据集上的实验结果表明,该方法相较于基线有明显的提升,在RegDB数据集和SYSU-MM01数据集上均表现出理想的性能。【结论】该方法可为以后解决可见光-红外行人重识别的模态差异问题提供有效的参考。

基于特征融合的可视-红外行人重识别算法

由于智能监控设备的快速发展和部署,产生的海量监控数据难以通过传统人力处理.加之近年来RGB-IR双模相机的广泛应用,红外监控视频数据得以利用来辅助相关视觉任务.为了更准确地在可视-红外两种模态监控视频中检索相同行人,提出了基于特征融合的可视-红外行人重识别算法.该算法首先设计了基于Transformer方法的特征提取器,从两种模态数据中生成具有判别力的特征.然后考虑对两种模态互补信息的使用,提出双向多模态注意力方法对齐不同模态的特征,并同时融合互补的语义信息,最终通过分类器进行分类识别.在公开数据集进行实验表明,所提算法相对于目前大多数已有算法具有更好的泛化能力和鲁棒性,在SYSU-MM01数据集上的预测精度达到99.86%,在LLCM数据集上的预测准确率达到94.13%.

基于注意力及特征融合的红外行人检测算法

针对红外图像行人检测算法中复杂背景行人误检率高、密集行人检测精度低以及远景小目标行人漏检等问题,提出了一种基于注意力及特征融合的红外行人检测算法(attention and feature fusion-you only look once, AFFM-YOLO)。提出了一种注意力特征提取模块(attention feature extraction module, AFEM),融入网络主干部分,抑制无关背景信息,加强关键特征信息的提取。设计了一种多尺度特征融合模块(Multi-scale feature fusion module, MFFM),嵌入网络颈部部分,实现不同尺度间特征信息的有效融合,增加大尺度检测层,加强目标检测器对远景小目标行人的特征提取能力。在FLIR数据集做验证实验,结果表明:AFFM-YOLO取得了89.1%的平均精度,相比于基线算法YOLOv5提高了2.4%,AFFM-YOLO具有更好的表现,对红外图像行人的检测效果有明显提升。

基于双阶段轻量YOLO的红外行人伪影检测算法

由于镜面回波效应,红外图像采集过程中行人不可避免出现反射倒影(本文简称“伪影”)区域,此时对后续行人检测会造成一定程度影响,对上述情况,本文提出一种基于轻量YOLO(You Only Look Once)的双阶段网络检测框架,先检测“行人-伪影”联合区域再精准定位伪影位置。首先,针对YOLOv5s轻量检测算法进行改进,使用LSM(Light Sample Module)双分支结构替换原下采样部分,并嵌入注意力机制来提高模型的特征整合能力,实现红外图像的背景过滤和联合区域提取。其次,对联合区域进行无失真矩形填充保持原始特征,设计轻量级行人伪影定位网络LS YOLO(Light Structur YOLO)检测联合区域获得最终的伪影位置坐标。实验结果表明,本文算法能够满足实时检测要求,在数据集中,相比其他算法获得更好的检测效果,行人伪影的检测正确率达到9545%。

动态特征优化机制下的跨尺度红外行人检测

针对红外行人图像中待检测目标存在多尺度及部分遮挡导致传统算法难以准确检测的问题,提出一种动态特征优化机制下的跨尺度红外行人检测算法。为解决复杂环境中行人目标特征难以有效表达进而造成目标检测精度低的问题,提出一种动态特征优化机制,通过设计亮度感知模块及EG-Chimp优化模型在增强输入图像局部对比度的同时抑制背景信息;搭建了CSPDarkNet特征提取网络,并在其基础上构建CSFF-BiFPN特征金字塔结构以及跨尺度特征融合模块,以提高检测网络对多尺度及部分遮挡行人目标的检测精度;为进一步精确定位行人目标,引入CIOU损失函数加速网络收敛,从而提升检测性能。选取9种经典检测算法在KAIST数据集上进行对比测试,实验结果表明,本文算法能够对复杂环境中的多尺度及部分遮挡红外行人目标进行准确检测,检测精度可达90.7%,验证了所提出检测网络的优势。

基于边缘分割的车载单目远红外行人检测方法

基于机器学习的车载单目远红外行人检测方法存在实时性较差和检测精度较低的问题.为此,文中提出了基于边缘分割的头部-方向梯度直方图-支持向量机(Head-HOGSVM)行人检测方法,引入加权Sobel算子强化行人的垂直边缘以分割行人候选区域;根据不同距离行人的外观模式选择行人检测方法:使用头部特征检测中、近距离行人以改善系统的实时性,使用头部识别级联基于方向梯度直方图特征的支持向量机(HOG-SVM)分类器检测成像模糊的远距离行人.在多个郊区场景视频数据集上的实验结果表明,与基于双阈值分割的HOG-SVM分类方法相比,文中方法的检测精度和检测速度分别提高了约33%和200%.

基于跨尺度特征聚合与分层注意力映射的红外行人检测

针对红外行人图像中受多尺度、部分遮挡以及环境干扰导致传统算法难以准确检测问题,提出一种红外图像行人检测算法。以CSPdarknet53作为主干特征提取网络,在输入端引入Focus模块以减少主干网络下采样过程中小尺度目标特征信息丢失;通过构建跨尺度特征聚合模块来融合主干网络不同残差层输出的全局特征和多尺度局部特征,提高网络多尺度特征聚合能力,提升网络检测精度;针对红外图像受自身成像机理以及复杂背景影响造成行人目标特征难以有效表达的问题,通过构建分层注意力映射模块来增强行人特征表达能力。为了验证所提出算法的优势,选取4种经典对比算法,并在3种公共数据集上进行测试验证。实验结果表明,该算法可以实现复杂环境下多尺度红外行人的准确检测,其平均准确率和召回率分别可达95.37%和92.99%。

一个外行人对孟氏观点的看法

我是纯粹的外行，本来没有资格来讨论这种专门的问题。只是从昭连先生自有他这个想法起，就跟我多次谈起，甚至这两三年来他跟我没谈过别的，三句话不离“之乎者也”，所以我也“被产生”了兴趣。最初他提及这个观点的时候，我没有认真去听，甚至觉得他不过是一个感觉而已。没想到他专心致志用了几年的时间来做这个事，而且我读了他的论文以后，心里好生感佩。

基于全局多粒度池化的可见光红外行人重识别

可见光红外行人重新识别是一种跨模态检索的问题。由于可见光和红外图像模态差异较大,能够精确的匹配行人仍然具有很大的挑战。最近的研究表明,利用池化描述身体部位的局部特征以及人图像本身的全局特征,即使在身体部位缺失的情况下,也能给出鲁棒的特征表示,但是简单的全局平均池化很难获取行人的细节特征。针对这个问题,提出一种新的全局多粒度池化的方法,利用全局平均池化和全局最大池化结合的方法,提取行人更多的背景和纹理信息。此外,传统的三元组损失在跨模态行人重识别上效果并不好。设计了一种新的跨模态三元损失,以优化类内和类间距离,并监督网络学习有区别的特征表示。通过实验证明了所提方法的有效性,并在RegDB和SYSU-MM01数据集上分别取得了88.01%Rank-1,79.26%mAP,和60.24%Rank-1,57.50%mAP的结果。

一种轻量级网络模型的多尺度热红外行人检测方法

现有热红外行人检测算法存在网络参数众多、计算量大和小目标检测效果不佳的问题,针对这些问题,提出了一种轻量级行人目标检测算法。首先,该算法利用轻量级网络Resnext50作为骨干网络,实现检测网络的参数削减以及初始特征提取。其次,在模型中引入特征金字塔模块实现多尺度语义信息融合,并结合多尺度训练策略有效地提高了多尺度目标的检测效果。最后,在数据预处理部分引入图像原色填充策略,该策略有效地防止图像变换尺寸过程中出现的目标失真情况。在自建数据集和公开数据集上实验结果表明,此方法在速度和精度上均取得较好的性能,在自建数据集上mAP达到94.49%,比原SSD高出0.53%,而参数量少了近39%。

显著性背景感知的多尺度红外行人检测方法

超大视场(U-FOV)红外成像系统探测范围大、不受光照限制,但存在尺度多样、小目标丰富的特点。为此该文提出一种具备背景感知能力的多尺度红外行人检测方法,在提高小目标检测性能的同时,减少冗余计算。首先,构建了4尺度的特征金字塔网络分别独立预测目标,补充高分辨率细节特征。其次,在特征金字塔结构的横向连接中融入注意力模块,产生显著性特征,抑制不相关区域的特征响应、突出图像局部目标特征。最后,在显著性系数的基础上构建了锚框掩膜生成子网络,约束锚框位置,排除平坦背景,提高处理效率。实验结果表明,显著性生成子网络仅增加5.94%的处理时间,具备轻量特性;超大视场(U-FOV)红外行人数据集上的识别准确率达到了93.20%,比YOLOv3高了26.49%;锚框约束策略能节约处理时间18.05%。重构模型具有轻量性和高准确性,适合于检测超大视场中的多尺度红外目标。

基于多任务学习框架的红外行人检测算法

与高质量可见光图像相比,红外图像在行人检测任务中往往存在较高的虚警率。其主要原因在于红外图像受成像分辨率及光谱特性限制,缺乏清晰的纹理特征,同时部分样本的特征质量较差,干扰网络的正常学习。本文提出基于多任务学习框架的红外行人检测算法,其在多尺度检测框架的基础上,做出以下改进:1)引入显著性检测任务作为协同分支与目标检测网络构成多任务学习框架,以共同学习的方式侧面强化检测器对强显著区域及其边缘信息的关注。2)通过将样本显著性强度引入分类损失函数,抑制噪声样本的学习权重。在公开KAIST数据集上的检测结果证实,本文的算法相较于基准算法RetinaNet能够降低对数平均丢失率(MR^(-2))4.43%。

兰州市车外行人道路交通事故中损伤形式及死因初探

目的 探讨车外行人道路交通事故的损伤形式及其死因。方法 对 1 0 0例车外行人道路交通事故中死亡进行检验 ,分析讨论损伤形式及死亡原因。结果 交通事故中孤立的单纯性损伤发生的死亡率较低 ;交通事故的死亡原因主要是复合性损伤 ;死亡人员男性明显多于女性。结论 复合性损伤。

基于候选区域列举的红外行人检测研究

针对红外图像中人体成像往往不均匀的问题,提出一类基于图分割和先验知识层级合并的红外行人检测算法.该方法将图像看作一个无向图,图中边的权值则对应所连接连个像素的灰度差异,通过求解最小生成树的方式得到图像中的连通区域.在分析红外行人成像区域特点的基础上,以先验知识为基础对连通区域进行层次合并,得到图像中目标的列举窗口.构建列举区域的积分通道特征进行分类完成行人检测任务.实验结果表明,所研究的方法可以稳健地对各种成像条件下的红外序列进行行人检测.

外行人也能创奇迹

随着科学知识的分门别类,专业范围的划分圈定,一个人想在不同专业之间横跨一步,并有所作为变得十分艰难。正因为这样,对某一特定专业学科来说,人就有了内行与外行之分。 众所周知,内行是相对于外行而言的。在此专业内你是内行,在彼专业内你就可能是外行了。在认识世界,改造世界的实践活动中,人们对内行的学识专长往往情有独钟,而对外行的睿智及创见却不屑一顾。而事实上,历史上许多新的科学发现,技术发明,或某一项技术难题的解决,都出自外行人之手,或得益于外行人的指点。 人们也许不会相信,让天公“垂泪”的人工降雨术,并非气象学家的专利,它的创造者米兰尔先生,

外行人的发明

许多发明创造都是在现有作品的基础上进行大胆想象和丰富联想后创作出来的,主要依赖于创造者的观察和思考。也就是说,发明创造不一定全靠专家,普通的外行人只要善于“用眼动脑”,也能有所建树。事实上,生活中一些常见的物品便是外行人首创的。

慈善通识教育:培养“聪明睿智的外行人”

在高校里开设慈善通识教育课程最主要的目的之一是为学生当下和未来参与公益生活服务。当一个人想要把自己的时间、能力、资金等资源转化成自我价值感和生活幸福感时,公益无疑成为人们日常生活中一个不可或缺的选择。因此,从学生需要的角度来讲,慈善通识教育应当能够帮助大学生知晓公益领域的基本知识与政策法规、理解公益领域的运行机制、具备关心和参与公益事业所需的素养与能力,才能为其更好地参与公益生活开启一条通道。

空间系外行星探测与研究进展

系外行星学科是近30年来迅速发展起来的一门新兴学科.其主要研究内容和目标包括,通过发展各种探测技术探测太阳系外行星,分析行星轨道、成分、大气性质,评估行星的宜居性,统计行星的分布规律,从理论和观测上揭示行星系统的形成和动力学演化机制.系外行星的研究对于回答宇宙中是否存在其他生命以及人类在宇宙中的地位和意义等问题具有重要意义.随着21世纪空间探测技术的发展,系外行星的研究进入了崭新及快速的发展阶段.本文分析了系外行星研究领域的发展态势,凝练中国在系外行星未来空间探测发展的重点领域,优化学科布局,以推进系外行星研究的快速稳步发展.