针对大角度下视角差异的行人重识别方法研究

行人重识别(Re-ID)也称为行人再识别,旨在给定一个目标行人,确定该行人是否出现在不同的摄像机下,或者是在不同的时间出现在相同的摄像机下。通常由于不同摄像机拍摄到的行人视角不同,在视角差异过大的情况下会对行人重识别准确率造成严重影响。因此,针对目标行人相对摄像机的视角不同而带来的识别率下降问题,提出一种基于外观-步态特征融合的行人重识别算法,使用视角信息对RGB图像与步态能量图(GEI)进行重要性权重估计后再加权融合,以此来克服视角不同而带来的影响。具体来讲,首先利用Res Net-50提取图像序列中每张图像的特征,采用时间池化的方式将其聚合为外观特征。其次使用另一个Res Net-50对GEI图像提取步态特征。然后对行人进行视角估计之后,映射函数将估计的角度映射为两种特征的重要性权重。最后基于自编码器结构将两种特征在重要性权重的指导下进行加权融合,生成对视角鲁棒的融合特征。在CASIA-B数据集上的实验结果表明,对于具有大角度视角差异的行人Re-ID,所提出方法在m AP和Rank-1评估指标上都表现出了显著的改进。在大角度差异情况下进行测试,准确率最高提升了2.7%。

面向急性缺血性脑卒中的CT生成MRI算法

急性缺血性脑卒中病灶在计算机断层扫描(CT)上表现不明显,但在核磁共振成像(MRI)上可以清晰显示。然而,当患者体内有金属植入物等特殊情况则无法进行MRI检测,使得患者的治疗受到延误。通过CT生成MRI可在急性缺血性脑卒中的诊断和治疗中起到至关重要的作用,但现有的医学影像跨模态生成方法从CT得到的MRI缺乏病灶信息且边界模糊。为了解决上述问题,提出一种基于影像组学和扩散生成对抗网络的急性缺血性脑卒中CT生成MRI算法,通过影像组学在CT上进行病灶特征增强,突出生成MRI的病灶信息,引入梯度损失为生成图像与真实图像增加边缘感知约束,提升生成MRI的质量。在ISLES2018挑战赛数据集上的实验结果表明,该算法生成的MRI在整体上的峰值信噪比为23.051 dB,结构相似度为0.798,皮尔逊相关系数为0.969,并且病灶区域的互信息为2.075,与现有的生成模型相比,该算法的各项指标均达到最优。此外,经3名经验丰富的放射科医生在生成的MRI上确定病灶并进行阳性/阴性分类,其中生成的MRI中无错误病灶,且分类准确率可达到86.61%,可作为一种辅助工具协助医生进行诊断。

急性缺血性脑卒中CT生成MRI算法——基于影像组学的边缘感知扩散GAN

相较于CT,急性缺血性脑卒中病灶在MRI上可清晰显示。鉴于患者中存在一些不适用于MRI检查的情况,如体内金属或幽闭恐惧症等,容易耽误患者病情。通过结合影像组学和扩散生成对抗网络(DiffusionGAN),该文提出了基于影像组学的边缘感知扩散GAN,实现了急性缺血性脑卒中患者的CT生成MRI。该算法弥补了现有CT生成MRI中病灶信息不足和边缘模糊的问题。具体而言,通过在CT上应用影像组学定位病灶,借助特征图辅助MRI生成,并提出边缘感知扩散GAN以提升生成MRI的边缘感知。实验证实,生成的MRI在峰值信噪比(PSNR)方面达到69.607,结构相似性(SSIM)为0.821,皮尔逊相关系数(PCC)为0.974,显著优于现有模型。医生评估显示生成的MRI不存在错误病灶,阳性/阴性分类准确度高达87.91%,表明这一创新性算法为解决在MRI不适用的特殊情况下的脑卒中诊断问题提供了新的途径。

局部全局特征耦合与交叉尺度注意的医学图像融合

现有基于深度学习的多模态医学图像融合方法存在全局特征表示能力不足的问题。对此,提出一种基于局部全局特征耦合与交叉尺度注意的医学图像融合方法。该方法由编码器、融合规则和解码器三部分组成。编码器中采用并行的卷积神经网络(CNN)和Transformer双分支网络分别提取图像的局部特征与全局表示。在不同尺度下,通过特征耦合模块将CNN分支的局部特征嵌入Transformer分支的全局特征表示中,最大程度地结合互补特征,同时引入交叉尺度注意模块实现对多尺度特征表示的有效利用。编码器提取待融合原始图像的局部、全局以及多尺度特征表示,根据融合规则融合不同源图像的特征表示后再输入到解码器中生成融合图像。实验结果表明,与CBF、PAPCNN、IFCNN、DenseFuse和U2Fusion方法相比,该方法在特征互信息、空间频率、边缘信息传递因子、结构相似度、感知图像融合质量这5个评价指标上分别平均提高6.29%、3.58%、29.01%、5.34%、5.77%,融合图像保留了更清晰的纹理细节和更高的对比度,便于疾病的诊断与治疗。

具有自动场景划分的多模板视频着色

针对目前视频着色的方法存在视频转换场景时颜色发生明显偏移和时间不一致性的问题,提出了一种具有自动场景划分的多模板视频着色方法。该方法根据视频场景的不同,将整个视频分成若干组,每组利用图像检索的方式找到一个合适的参考图像,使用参考图像与前一帧图像共同指导视频着色,同时,计算余弦相似性对各个边界帧进行比较,保证具有相似场景的视频使用相同的参考图像,使得整个视频满足时间一致性。实验结果表明,所提出的方法可以有效解决视频着色中时间不一致性与颜色抖动的问题,并且在多个场景下的视频着色效果都有明显提升,与全自动视频着色、单模板视频着色和其他多模板视频着色相比,峰值信噪比(PSNR)分别提升了6.01%,3.81%和5.02%,且产生的视频颜色更加自然。

面向急性缺血性脑卒中CT到MRI的图像生成

急性缺血性脑卒中病灶很容易在磁共振成像(MRI)上表现为高信号区域。相较于MRI,计算机断层扫描(CT)成像速度快、价格低,不易受金属植入物干扰,但CT对缺血性脑卒中病灶不敏感,通常在CT上难以确定病灶的位置,且CT包含的信息量比MRI少。考虑到速度与可用性的提升以及成本的降低,为了以CT生成的MRI代替真实的MRI对急性缺血性脑卒中进行诊断,提出一种CT到MRI的跨模态图像生成算法。首先,利用影像组学在CT上确定病灶区域并提取影像组学特征,筛选出信息增益最大的特征并可视化,然后将该特征图与CT一同作为生成对抗网络的输入。生成对抗网络在pix2pix生成器中引入残差块,鉴别器采用PatchGAN。最后在损失函数中引入病灶特征相似性损失函数,更加关注病灶区域的相似性。经两名放射科医生的主观判断与评估指标的客观分析,结果表明,该算法生成的MRI与真实MRI相似性极高,且病灶位置正确,形状相似,可为医生的诊疗提供帮助。

基于改进EKF的激光和视觉SLAM融合算法

角点特征在机器人同步定位与建图(Simultaneous Localization and Mapping,SLAM)系统中具有关键性的作用。然而,由于环境差异、机器人运动距离和传感器的影响,导致现有测量方法的角点估计误差较大。本文在原有使用扩展卡尔曼滤波(Extended Kalman Filter,EKF)融合激光和视觉SLAM数据的基础上,引入多新息理论,提出了多新息改进EKF融合激光和视觉SLAM数据算法。由于多新息理论能有效利用历史时刻的数据,使系统在原先只使用当前时刻数据的情况下,扩展为能够利用之前多个时刻的有效数据。因此,利用多新息理论改进EKF,可以充分利用之前时刻由角特征和垂线特征融合成的角点结果,从而提升角点估计精度和建图结果。实验结果表明,在室内坏境中,本文方法在迭代次数20次和100次时平均误差分别为0.0268和0.0109,相较于未改进EKF方法,角点估计的精度平均提升了33.9%。

基于辅助任务和Transformer的人脸正面化网络

现有人脸正面化方法仅使用侧面图像生成正面图像,容易带来生成效果不佳及过拟合等问题。对此,提出一种具有辅助任务及Transformer的生成对抗网络(Auxiliary Task Generative Adversarial Network,AT-GAN)。AT-GAN利用多任务的相关性提高人脸正面化效果及泛化性,主任务为人脸正面化本身,使用侧面人脸生成对应的正面人脸;次任务为侧面人像草图生成对应的正面人像草图,引导并辅助主任务,加速网络收敛。两任务之间共享网络权重,并使用基于视觉Transformer的特征交互模块将两部分特征深度融合,提高网络整体的性能,生成更加具有真实感的正面图像。AT-GAN由生成器及判别器组成,生成器的特征提取部分将人脸关键点与空间注意力结合,确保模型准确地提取关键特征。实验结果表明,AT-GAN在MASFD与CAS-PEAL-R1数据集上的Rank-1识别率分别平均提高了4.42%与1.30%,视觉效果及模型泛化性得到提升。

基于姿态注意力的特定角度人脸正面化网络

人脸正面化对人脸识别有重要意义,但实际监控场景中大姿态的人脸正面化效果通常不如较小姿态,因此提出姿态引导的特定角度生成对抗网络(Pose-Specific Generative Adversarial Network,PS-GAN)。PS-GAN由生成器和鉴别器组成,生成器由编码器、姿态注意模块、特征转换模块以及解码器四部分组成,编码器与解码器分别对输入图像进行下采样与上采样,姿态注意模块为网络引入人脸结构先验的同时约束模型关注感兴趣区域,特征转换模块对编码器得到的侧脸特征进行变换并抑制冗余通道。首先,将连续的姿态变化划分为离散的姿态集合,单个PS-GAN模型由某一特定角度的数据训练;然后,将多个PS-GAN进行组合,使其适用于任意角度的人脸输入。在本实验室自主采集的MASFD数据集以及CAS-PEAL-R1公开数据集上进行了大量的定性与定量实验,验证了网络结构的有效性以及合理性;与现有方法相比,虽然PS-GAN是由受限数据集训练的,但它也能在非同源数据上有良好的视觉效果。

微光场景下的时空域EMCCD视频降噪算法

针对EMCCD(Electron-Multiplying Charge-Coupled Device)在微光条件下捕获的视频噪声大(峰值信噪比低于25 dB)的问题,提出一种降噪效果好且计算复杂度低的改进时空联合降噪算法EMVDE(EMCCD Video Denoising,用于EMCCD的视频降噪算法)。EMVDE在时域上执行改进卡尔曼滤波与像素相似度加权帧平均结合的算法进行运动估计和消除帧间噪声,空域上执行双边滤波、直方图均衡以及去斜条纹算法进行细节增强。在数据集上的实验结果表明,与原始大噪声视频帧(光照度0.002 lx)相比,降噪后视频帧的峰值信噪比平均提升了9.18 dB,结构相似度平均提升了0.43,视觉效果得到了明显提升;同时,EMVDE算法基于FPGA硬件实现仅占用30%的LUT和36%的I/O资源,工作频率高达22MHz,能够满足以25 fps的速率处理视频序列的需求。

基于奖励与策略双优化的机械臂控制算法

利用强化学习进行机械臂智能控制时,通过机械臂对环境的自由探索,并根据环境反馈的奖励值来训练控制器,从而实现机械臂自主感知及决策的功能。但是,没有约束的自由探索会产生无效动作,从而导致训练周期过长、收敛速度慢的问题。本文提出了一种基于奖励与策略双优化的机械臂控制算法(Hybird Reward Generative Adversarial Imitation Learning,HR-GAIL)。奖励方面,基于本文改进的鉴别器,结合任务奖励与模仿奖励,构建了复合奖励函数。策略方面,结合鉴别器与策略网络构建了二元变量损失函数,在奖励与策略交替优化的过程中实现对控制器的更新。最后,通过在Pybullet环境中搭建Panda机械臂,并实施抓取及移动物块的仿真任务来验证本文算法的效果。仿真结果表明,在相同的仿真任务下,HR-GAIL比GAIL+SAC的完成时间缩短16%,抓取成功率提高5%,训练鉴别器速度与抓取稳定性得到了提升。

基于平移不变小波阈值算法的经验模态分解方法

针对经验模态分解(EMD)处理存在间断事件的数据会引起模态混叠的问题,提出了一种经验模态分解与小波去噪相结合的新方法。由于传统的小波变换去噪会使信号在间断事件处产生人为的振荡现象,故先用平移不变小波去噪算法对信号进行预处理,消除间断信号对EMD方法的影响,再对信号进行EMD分解。理论计算及实验研究表明:只有在有效消除异常干扰的情况下才能获得可靠的IMF分量,采用本文的方法消除间断信号对EMD分解的影响是有效可行的。

基于多尺度密集网络的肺结节图像检索算法

现有基于内容的医学图像检索(CBMIR)算法存在特征提取的不足,导致图像的语义信息表达不完善、图像检索性能较差,为此提出一种多尺度密集网络算法以提高检索精度。首先,将512×512的肺结节图像降维到64×64,同时加入密集模块以解决提取的低层特征和高层语义特征之间的差距;其次,由于网络的不同层提取的肺结节图像信息不同,为了提高检索精度和效率,采用多尺度方法结合图像的全局特征和结节局部特征生成检索哈希码。实验结果分析表明,与自适应比特位的检索(ABR)算法相比,提出的算法在64位哈希码编码长度下的肺结节图像检索查准率可以达到91. 17%,提高了3. 5个百分点;检索一张肺切片需要平均时间为48μs。所提算法的检索结果在表达图像丰富的语义特征和检索效率方面,优于其他对比的网络结构,适用于为医生临床辅助诊断提供依据、帮助患者有效治疗。

基于小波去噪和EMD的船舶液位信号特性分析

为提高船舶液舱液位测量精度,研究了液位测量信号的特性,提出基于小波去噪和经验模态分解(EMD)的水位信号处理新方法。用平移不变小波去噪算法对液位信号进行预处理,消除异常事件对EMD方法的影响,用EMD分解信号,按照给定的置信度去除高频固有模态(IMF)分量,提取低频IMF及趋势项进行重构,得到的无干扰成分即为液位真实信号。理论及实验研究表明,只有在有效消除异常干扰的情况下才能获得可靠的IMF分量,采用该方法提取有异常干扰的液水位信号真实趋势是有效可行的。

基于RS485的船舶货油装卸系统仿真研究

针对成品油船货油装卸系统自动化研究的关键技术问题,进行了半实物仿真研究。通过对货油装卸工艺的分析,构建了基于RS485总线的由各种硬件设备组成的仿真平台,并应用组态王6.5和VB混合编程技术完成了基于DDE的实时通信程序的开发。为了减小由液位传感器数据采集延时带来的误差,提出了传感器测量和流量变频控制相结合的改进方案。仿真结果表明:该仿真系统满足货油装卸过程中状态监测及控制的实时要求,对研制实船的货油装卸系统有重要参考价值。

信创产教融合模式下物联网专业创新型人才培养研究

针对信创产教融合下物联网专业人才培养的目标特点,提出创新型人才的培养体系,阐述新的培养方法及思路,采用多元化培养方案,构建综合产教一体化平台,贯穿爱国家、爱人民、爱社会于全体系,以在专业教学中培养新型物联网专业人才,融入工匠精神、团队协作精神等,通过实践提升了创新型专业人才的综合素养,达到了全方位育人的目的。

基于级联全卷积神经网络的颈部淋巴结自动识别算法

针对现有算法自动识别颈部淋巴结效率不高、存在大量假阳性且整体假阳性去除效果不理想的问题,提出一种基于级联全卷积神经网络(FCN)的颈部淋巴结识别算法。首先,结合医生的先验知识采用级联FCN进行初步识别,即第一个FCN从头颈部计算机断层扫描图像(CT)中提取淋巴结医学分区;然后,第二个FCN从分区内提取候选样本并在三维层面合并这些样本以生成三维图像块;最后,将提出的特征块平均池化引入到三维分类网络中,对输入的不同尺度三维图像块进行二分类以去除假阳性。在颈部淋巴结数据集中,采用级联FCN识别颈部淋巴结的召回率可达97.23%;引入特征块平均池化的三维分类网络的分类准确率可达到98.7%。在去除假阳性之后的准确率可达93.26%。实验结果分析表明,所提算法能有效实现颈部淋巴结的自动识别并取得较高的召回率和准确率,优于目前相关文献报道的算法;且算法简单高效,易于扩展到其他三维医学图像的目标检测任务中。

基于改进EMD的船舶液舱液位测量方法及数据分析

分析了自由浮态下提高液位测量精度的方法,然后针对采集到的非平稳液位信号,提出了一种改进的局部经验模态分解(empirical mode decomposition,EMD)方法进行滤波处理,去除信号中各瞬时频率成分,提取信号的平均趋势,并计算液位有效高度.仿真结果表明,采用改进后的局部EMD方法能有效地提高分解精度,实验数据的分析表明提出的液位测量方法是可行的,具有工程应用价值.

基于自适应感受野机制的颈部淋巴结自动识别算法

针对目前应用于医学影像目标检测的深度学习网络模型仅拥有固定的感受野,无法针对形态尺度差异明显的颈部淋巴结进行有效检测的问题,提出了一种新的基于自适应感受野机制的识别算法,将深度学习首次应用于完全三维医学图像的颈部淋巴结自动识别中。首先,采用半随机采样方法对医学序列图像进行裁剪,生成基于网格的局部图像块及对应真值标签;然后,通过局部图像块及标签构建并训练基于自适应感受野机制的DeepNode网络;最后,利用预训练的DeepNode网络模型进行预测,通过输入整体序列图像,可以端到端且快速地获得整体序列对应的颈部淋巴结识别结果。在颈部淋巴结数据集中,采用DeepNode网络识别颈部淋巴结的召回率可达98.13%,精确率可达97.38%,每次扫描的假阳性数量仅为29,同时耗时相对较短。实验结果分析表明,与当前表现优良的二维与三维卷积神经网络相结合的算法、三维通用目标检测算法、基于弱监督定位的识别算法等相比,所提算法可以实现颈部淋巴结的自动识别,并取得最优的识别效果。该算法端到端,简单高效,易于扩展到其他医学图像的三维目标检测任务中,可应用于临床的诊断和治疗。

基于深度残差生成对抗网络的医学影像超分辨率算法

针对医学影像超分辨率重建过程中细节丢失导致的模糊问题,提出了一种基于深度残差生成对抗网络(GAN)的医学影像超分辨率算法。首先,算法包括生成器网络和判别器网络,生成器网络生成高分辨率图像,判别器网络辨别图像真伪。然后,通过设计生成器网络的上采样采用缩放卷积来削弱棋盘效应,并去掉标准残差块中的批量规范化层以优化网络;进一步增加判别器网络中特征图数量以加深网络等方面提高网络性能。最后,用生成损失和判别损失来不断优化网络,指导生成高质量的图像。实验结果表明,对比双线性内插、最近邻插值、双三次插值法、基于深度递归神经网络、基于生成对抗网络的超分辨率方法(SRGAN),所提算法重建出了纹理更丰富、视觉更逼真的图像。相比SRGAN方法,所提算法在峰值信噪比(PSNR)和结构相似度(SSIM)上有0.21 d B和0.32%的提升。所提算法为医学影像超分辨率的理论研究提供了深度残差生成对抗网络的方法,在其实际应用中可靠、有效。