思政教育背景下多视角融合的机械工程学科研究生创新能力培养模式探索

针对目前研究生创新教育难以系统地融入具有中国特色的思政教育元素的问题。课题组基于思想政治教育背景,以华东交通大学机械工程学科研究生为研究对象,在人才培养标准重构、能力素质体系框架构建、跨界创新思维培养、思政教育融入创新课程体系、实践教学资源整合和教育评价体系完善这六个视角下,构建一套多视角融合培育研究生创新能力的培养模式。该模式重在提高机械工程学科创新型研究生培养质量,探索和实践在机械工程学科创新型人才培养中融入中华传统美德、社会主义核心价值观、工程伦理、爱国教育等思政内涵,实现传授创新创业知识与培育具有中国特色的创新型人才目标的有机统一。

基于多视角融合的医学图像分割方法研究

提出了一种基于变换器的多视角医学图像融合分割框架,通过采用一种发散融合的注意力模型来建模跨视图信息,充分挖掘语义之间的相互依赖,解决了不同视图之间的数据不对齐以及难以捕捉长距离相关性等关键问题。同时使用多尺度注意力机制来提取多尺度的全局特征。在Cardiac MRI数据集上分别评估了多疾病、多视角和多中心的右心室分割任务,验证了该方法具有更优的分割性能。

基于磁共振影像层间插值的超分辨率及多视角融合

针对磁共振(MR)图像切片内分辨率高而切片间分辨率低,导致MR在冠状面和矢状面上缺乏医学诊断意义的问题,提出了一种基于层间插值及多视角融合网络的医学图像处理算法。首先,引入了层间插值模块,用来将MR体数据沿冠状和矢状方向从三维数据切割成二维图像;然后,在分别对冠状面和矢状面进行特征提取之后,通过空间矩阵滤波器动态计算权重用于任意大小的上采样因子放大图像;最后,将冠状图和矢状图在层间插值模块中得到的结果聚合成三维数据后再次沿轴状方向切割成二维图像,对得到的二维图像两两进行融合并通过轴状方向数据进行修正。实验结果表明,所提算法相较于其他超分辨率算法在×2、×3、×4尺度下的峰值信噪比(PSNR)均有1 dB左右的提升,可见所提算法有效提升了图像的重建质量。

基于墙体补偿与多视角融合的穿墙雷达建筑物布局成像算法

穿墙雷达能够对建筑进行布局成像,并准确获取建筑内部结构信息,已广泛应用于灾害搜救、反恐作战等领域。针对建筑物墙体穿透导致的墙体展宽、位置偏移和墙体多径杂波导致的多径鬼影等成像问题,本文提出了一种基于墙体补偿与多视角融合的建筑布局成像算法。首先,对雷达回波的后向投影成像结果应用Radon变换,通过恒虚警率检测提取峰值,提取墙体位置信息,以墙体前后表面中心为分界线将图像分割为两个子图像;其次,对包含偏移墙体的子图像进行自适应补偿,矫正墙体位置;最后,对多个视角成像结果进行图像融合,抑制多径鬼影。仿真结果表明,该方法可以有效解决图像中墙体展宽、位置偏移和多径鬼影问题,得到正确清晰的建筑布局图像。

基于多视角信息融合的公路桥梁车辆荷载时空位置识别

针对现有方法在复杂交通场景下难以准确获取桥上车辆荷载时空分布的问题,提出了一种基于多视角信息融合的车辆荷载时空位置识别方法.首先,开发了vadYOLO-StrongSORT模型,可在单视角下同时检测和跟踪车辆;然后,在图像标定和跨视角车辆匹配基础上,采用自适应加权最小二乘法进行多视角信息融合以修正车辆轨迹;最后,结合车辆轨迹和车轴配置,重构车轴荷载的时空位置分布.通过模型试验评估了所提方法在典型交通场景下的性能.结果表明:相较于基于单视角的车辆位置识别方法,多视角信息融合方法在跟踪稳定性、定位精度和抗遮挡性能上有显著提升;变道场景下,所提方法的最高平均定位误差低于2.0 cm,明显优于单视角方法的17.0 cm;多车遮挡场景下,所提方法的车辆捕获率可达100%,而单视角方法最高仅为72.5%;同时,与其他检测跟踪模型相比,vadYOLO-StrongSORT在试验中取得了最高的识别精度.

基于GTD模型的多视角多频带ISAR融合成像

多视角多频带逆合成孔径雷达(inverse synthetic aperture radar,ISAR)融合成像技术克服了单雷达成像分辨率受发射带宽和观测视角的限制,是提高ISAR成像的二维分辨率的新手段。在宽带小角度观测条件下,针对目标散射系数随频率变化的情况,提出一种基于几何绕射理论(geometrical theory of diffraction,GTD)模型的多视角多频带ISAR融合成像方法。首先,以GTD模型为基础建立ISAR成像回波模型;然后,将多视角多频带ISAR融合成像问题转化为信号稀疏重构问题,并采用正交匹配追踪算法求解,在保证融合成像质量的同时提高了的成像效率;最后,利用仿真实验验证了所提方法的有效性。

基于GTD模型的多视角多波段窄带雷达信号融合

研究了窄带雷达信号融合问题,提出了一种基于GTD(Geometrical Theory of Diffraction)模型的窄带雷达信号多视角多波段融合的方法。在同波段多视角融合方面,利用Lincoln实验室的方法给出模型参数的初值,再运用遗传算法对参数进行迭代寻优。而在不同波段多视角融合方面,则利用视角融合后获得的同角度不同波段窄带信号联合估计频率衰减因子。并通过仿真实验以二维条带目标为例验证了方法的有效性。

引入注意力机制和多视角融合的脑肿瘤MR图像U-Net分割模型

目的脑肿瘤核磁共振(magnetic resonance,MR)图像分割对评估病情和治疗患者具有重要意义。虽然深度卷积网络在医学图像分割中取得了良好表现,但由于脑胶质瘤的恶性程度与外观表现有巨大差异,脑肿瘤MR图像分割仍是一项巨大挑战。图像语义分割的精度取决于图像特征的提取和处理效果。传统的U-Net网络以一种低效的拼接方式集成高层次特征和低层次特征,从而导致图像有效信息丢失,此外还存在未能充分利用上下文信息和空间信息的问题。对此,本文提出一种基于注意力机制和多视角融合U-Net算法,实现脑肿瘤MR图像的分割。方法在U-Net的解码和编码模块之间用多尺度特征融合模块代替传统的卷积层,进行多尺度特征映射的提取与融合;在解码模块的级联结构中添加注意力机制,增加有效信息的权重,避免信息冗余;通过融合多个视角训练的模型引入3维图像的空间信息。结果提出的模型在Bra TS18(Multimodal Brain Tumor Segmentation Challenge2018)提供的脑肿瘤MR图像数据集上进行验证,在肿瘤整体区域、肿瘤核心区域和肿瘤增强区域的Dice score分别为0.907、0.838和0.819,与其他方法进行对比,较次优方法分别提升了0.9%、1.3%和0.6%。结论本文方法改进了传统U-Net网络提取和利用图像语义特征不足的问题,并引入了3维MR图像的空间信息,使得肿瘤分割结果更加准确,具有良好的研究和应用价值。

基于铁路客站视频多视角特征图投影融合的人群密度估计模型

为破解超大视觉场景下人群密度估计的局限性,提出1种适用于铁路客站的多视角特征图投影融合的人群密度估计模型,包括多视角特征图提取处理和多视角特征图投影融合处理2部分。首先,对站内多路旅客视频图像分别进行多尺度特征提取,并引入注意力机制模块分离背景和前景人像,得到注意力密度特征图;再将不同视角下经过提取处理后二维的特征图投影到三维地面坐标系;然后,对投影后的特征图进行融合计算,实现整体融合特征图的密度估计;最后,在传统密度估计损失基础上增加注意力密度特征损失,设计得到损失函数。依托公开数据集和基于清河站的自建数据集,对比验证模型性能。结果表明:该模型在均值绝对误差上优于当前同类先进模型;引入的注意力机制模块进一步优化了模型对人群密度估计的效果;200次迭代后模型平均损失梯度下降逐步稳定,梯度策略设置合理,收敛效果较好;在清河站实际应用场景下,该模型能基于3个不同视角视频图像准确估计人群密度。

基于序列间先验约束和多视角信息融合的肝脏CT图像分割

医学电子计算机断层扫描(CT)序列图像中肝脏的准确分割是实现计算机辅助肝手术的重要前提,然而图像中存在的组织病变、边界模糊或缺失、不同组织间的粘连给肝脏分割带来极大挑战。针对这些问题,该文提出一种基于图像序列间先验约束的半自动分割方法,并进一步采取了多视角信息融合的方式实现肝脏的准确分割。该方法的优势在于无需大量数据的收集和复杂的先验训练。在Sliver07公开数据集合的验证结果显示,和领域内主要方法相比,该方法具有较高的分割准确度,特别是当肝脏区域存在病灶、边界模糊或缺失的情况下具有明显提升。

一种基于多视角特征融合的Webshell检测方法

Webshell是一种Web端的恶意脚本文件。它通常由攻击者上传至目标服务器来达成其非法的访问控制的目的。现有Webshell检测方法存在诸多不足,如单一的网络流量行为、简易被绕过的签名比对、单一的正则匹配等。针对上述不足之处,基于PHP语言的Webshell,提出了一种基于多视角特征融合的Webshell检测方法,首先,提取包括词法特征、句法特征、抽象特征在内的多种特征;其次,利用费舍尔评分对特征进行重要程度的排序与筛选;最后,通过SVM建立能有效区分Webshell和正常脚本的模型。在大规模的实验中,模型对Webshell和正常样本的最终分类精度达到了92.1%。

面向HIN基于多视角嵌入融合的推荐方法

由于异构信息网络HIN(heterogeneous information network)具有丰富的语义信息而在推荐任务中得到广泛应用.传统的面向异构信息网络的推荐方法忽略了网络中关联关系的异质性,以及不同关联类型之间的相互影响.提出了一种基于多视角嵌入融合的推荐模型,分别从同质关联视角和异质关联视角来挖掘异构信息网络的深层潜在特征并加以融合,有效地保证了推荐结果的准确性.针对同质关联视角,提出了一种基于图卷积神经网络的嵌入融合方法,通过对同质关联作用下节点邻域信息的轻量式卷积,实现节点嵌入的局部融合.针对异质关联视角,提出了一种基于注意力的嵌入融合方法,利用注意力机制来区分不同关联类型对节点嵌入的影响,实现节点嵌入的全局融合.通过实验验证了所提出的关键技术的可行性和有效性.

多视角深度图融合方法综述

利用深度图对物体三维表面建模是一种快速而准确的方法 ,本文对前人和同行发现的深度图建模的多视角深度图融合方法进行了回顾和详细讨论 ,主要从深度图融合的两个主要步骤 :数据配准与表面拼合 ,对方法进行了说明。

融合理论在步态识别中的应用研究

近年来,基于信息融合理论的步态识别已成为生物特征识别领域最为活跃的研究方向之一。从特征级融合和决策级融合两种层次,多特征融合、多模态融合以及多视角融合3个方面对融合理论在步态识别中的应用进行了综述。进一步,为了研究融合理论对步态识别算法性能的影响,提出一种融合了静态形体特征和动态模型特征的步态识别算法。通过在CMU步态数据库上的详细实验比较和分析,研究了不同融合策略以及步速变化对步态识别算法性能的影响。

基于低秩稀疏约束的自权重多视角子空间聚类

多视角子空间聚类是一种利用视角之间的互补信息,找到视角间统一的表示并发现潜在分组结构的方法,近年来已成为机器学习的研究热点.提出一种基于低秩稀疏约束的自权重子空间聚类算法.具体的,低秩稀疏约束能发现数据的全局和局部结构信息,使自表示矩阵呈现稀疏性和低秩的特点;而自权重方法利用视角表示矩阵与共享相似度矩阵之间距离的反比为每个视角分配合理的权重,同时学习到一个视角之间共享的相似度矩阵,降低受损视角对于共享相似度矩阵的影响.以上提到的两种方法组成一个统一的优化框架,再使用增广拉格朗日乘子交换方向最小化方法(ALMADM)对提出的聚类算法进行优化.在基准数据集中的实验结果证明该算法比其他算法更有效.

基于多视角自步学习的人体动作识别方法

自步学习的动作识别方法采用课程学习的思路,忽略了不同视角动作特征对课程的影响,对多分类的人体两维视频复杂动作识别无法取得满意效果。针对上述问题,提出一种多视角自步学习算法。选取5个视角并提取Trajectory、HOG、HOF、MBHx和MBHy作为各自视角下的特征信息,利用自步学习算法学习得出对应视角下的动作分类课程,使用线性规划增强方法将不同视角下的课程进行融合,得出更适合解决多类复杂动作识别问题的综合课程。实验结果表明,相比单一视角自步学习方法和多视角支持向量机方法,该方法提高了多类复杂动作识别的效率和准确率,具有更高的可操作性和更广泛的应用前景。

基于多尺度几何分析的SAR图像融合

在穿墙雷达成像技术中,建筑布局成像对确定墙后人体目标的空间相对位置以及多径虚假目标的提取有重要意义。目前的建筑布局成像一般采用多通道多视角图像融合方法,对此提出一种基于多尺度分析,即基于小波分解下的多通道多视角图像融合算法。该算法分为两个阶段,第一阶段涉及到单视角下的多通道图像融合,该阶段的融合目的主要是为增强图像细节信息和提高图像清晰度。因此对其小波分解后的图像高频分量采用平均梯度增强的加权融合算法,低频分量采用平均加权融合,后经小波反变换后形成多幅单视角图像;第二阶段涉及到多视角融合,该阶段的融合目的主要是为了增强图像的对比度,并且考虑到此阶段不同视角下图像经小波分解后的三个高频分量对比度各不相同,因此高频分量采用对比度增强的加权融合算法,低频分量仍采用平均加权融合,后将融合后的频率分量经小波反变换,便可得到一幅完整融合图像。仿真结果表明,提出的基于小波分解下的多通道多视角图像融合算法不论在图像视觉效果的改善和信噪比的提高等方面都有较大的作用。

面向小样本股骨骨折分型的多视角注意力融合方法

目的股骨粗隆间骨折是老年人最常见的骨折,不同类型的骨折需要不同的治疗方法。计算机图像识别技术可以辅助医生提高诊断准确率。传统的图像特征提取和机器学习方法,无法实现细粒度、高精度的分类,且少见针对3维图像的骨折分型方法。基于深度学习方法,通常需要大量的样本参与训练才能得出较好的分型性能。针对上述问题,本文提出一种面向小样本、多分类的骨折分型方法。方法将原始CT(computed tomography)分层扫描图像进行3维重建,获取不同视角下的2维图像信息,利用添加注意力机制的多视角深度学习网络融合组合特征,并联合旋转网络获得视角不变特征,最终得到预期分型结果。结果针对自建训练数据集(5类,每类23个样本),实验在4种3维深度学习网络模型上进行比较。基于注意力机制的多视角融合深度学习方法比传统深度学习模型的准确率提高了25%;基于旋转网络的方法比多视角深度学习方法提高8%。通过对比实验表明,提出的多视角融合深度学习方法大大优于传统基于体素的方法,并且也有利于使网络快速收敛。结论在骨折分型中,本文提出的添加注意力机制的多视角融合分型方法优于传统基于体素的深度学习方法,具有更高的准确率和更好的性能。

宽带逆合成孔径雷达高分辨成像技术综述

当前,国内外逆合成孔径雷达(ISAR)系统均朝着高载频、大带宽、多极化、分布式、网络化的方向发展,并牵引ISAR成像技术的发展和进步。从ISAR图像的角度来看,ISAR成像的发展变化主要可归纳为精细化成像以提升成像质量和多维度成像以丰富成像信息两个方面。该文首先从雷达回波脉冲压缩、雷达系统失真校正、目标高速运动补偿、距离向自聚焦、平动补偿、转动补偿、图像重构、图像后处理等方面综述雷达精细化成像方法,然后从极化、多频带融合、多站多视角成像、三维成像等方面综述雷达成像维度的扩展,最后从成像建模、复杂场景精细成像、实时成像、成像评价与图像应用等4个方面进行展望分析。

基于深度学习的多视角螺钉缺失智能检测算法

为有效实现工业生产线螺钉缺失问题的智能检测,利用深度学习技术,提出并设计一种螺钉检测算法。该算法包括3个部分:基于目标检测算法实现螺钉自动检测;基于关键点检测的螺钉匹配算法消除零件位置变化影响;构建多视角检测结果融合算法降低零件相互遮挡影响。该算法已应用于多种型号的洗衣机内桶螺钉检测中,试验结果表明其正确率高达99.7%以上。与传统的人工检测方式相比,该算法具有更高的准确率和自动化程度,可以有效减少漏检和误检问题,为工业生产提供新的解决方案。