基于语义一致性约束与局部-全局感知的多模态3D视觉定位

3D多模态数据稀缺,使得传统方法进行监督训练时文本与视觉特征缺乏语义一致性。同时传统方法还易忽视局部关系与全局信息,从而导致性能不佳。针对上述问题,提出了一种基于语义一致性约束与局部-全局感知的多模态3D视觉定位方法。首先,该方法通过蒸馏2D预训练视觉语言模型知识,帮助3D模型提取到点云-文本语义一致性特征;其次设计了局部-全局感知模块,不断补充增强候选目标特征,以更精确匹配目标。在现有的3D视觉定位数据集ScanRefer上进行的实验表明,该方法在Acc@0.25 IoU和Acc@0.5 IoU两个指标上分别达到了50.53%和37.67%,超越了现有大多数3D视觉定位算法,证实了该方法的有效性。

自动驾驶场景下的多模态3D目标检测算法

针对当前自动驾驶邻域中单模态3D目标检测算法在感知受限场景下检测精度不足的问题,文章提出一种用于动态融合图像和点云两种异构模态特征的多模态算法。具体来说,设计了一个基于交叉注意力机制的RoI特征融合模块CARF,在点云和图像的RoI特征之间执行注意力计算,以聚合像素级别的细粒度特征,并在特征融合过程中增强异构特征语义一致性,提升特征表达能力。在KITTI数据集上的实验结果显示,与先进的单模态和多模态方法相比,该方法展现出明显的性能优势,特别是在感知能力受限的场景中,如远距离和遮挡条件下,检测精度得到了显著的增强,证明了本文提出方法的有效性。

基于DEFORM-3D的小深孔钻削模拟研究

利用Pro/E三维软件建立了枪钻的三维模型,基于振动理论对钻头进行了模态分析,并根据固有频率选择出不同的钻削参数.采用大型有限元分析软件DEFORM-3D对枪钻钻削铝合金过程中刀具的刀尖棱线位移变化进行了三维数值模拟分析.仿真分析结果表明:为防止由于共振而导致的同轴度误差变大,根据固有频率选择钻削参数具有一定的意义,可以为深孔加工中防止孔轴线偏斜提供理论参考.

基于3D打印技术的智能插秧机机构优化

针对智能插秧机,利用Catia三维设计及有限元分析技术,对插秧机结构件在不同工况下的静强度及模态进行分析,并利用拓补优化理论,对插秧机结构进行优化,且将优化前后的模型结构进行对比分析。结果表明:优化后的插秧机结构件满足插秧机实际使用需求,有效降低了结构件质量。结构优化设计后,插秧机结构件可通过3D打印技术进行结构成型,促进了3D打印技术在农业机械设计生产领域的应用。

基于多模图像融合的3D打印胶质瘤实体模型制造与应用

目的研究基于多模图像融合的胶质瘤3D打印实体模型制造与应用。方法利用患者颅脑螺旋CT增强扫描和MRI增强扫描图像,针对颅骨、血管、肿瘤、脑组织、头皮等进行数据信息提取重建,并在同一坐标系下实现装配融合,分别建立CT和MRI图像的三维复合虚拟模型,再将二者融合配准,获得信息较为完整的颅脑三维虚拟模型,经3D打印制作出胶质瘤实体模型,应用于术前、术中参考。结果成功重建6位胶质瘤患者的颅脑实体模型,模型清晰显示肿瘤特征及其与周围颅骨、血管、脑组织、侧脑室的位置关系,将其应用于术前规划与术中参考,6例手术均获得成功,肿瘤影像学全切除率100%,术后1个月卡氏功能状态评分为(93.7±5.3)分,较术前(73.2±10.5)分高。结论基于多模图像融合的胶质瘤3D打印实体模型,对术者了解肿瘤特征、优化手术预案、术中准确定位、有效保护重要血管与脑功能区,提高肿瘤切除率、达到个性化的手术治疗等方面具有重要帮助。

面向3D打印技术的飞机连接件结构优化设计

3D打印技术在飞机连接件成型加工领域具有广泛的应用前景,基于3D打印技术的飞机连接件轻量化技术研究越来越受到人们的关注。针对飞机连接件,采用Solid Works Simulation有限元分析软件对飞机连接件的三种工况的应力状态和模态进行分析,静态分析结果显示其最大应力小于许用应力,强度符合要求。在此基础上进行拓扑优化,将优化后的模型与优化前模型进行了比较,结果表明:优化后的飞机连接件强度满足设计要求且减重效果明显,减重比例达到26.8%。通过拓扑优化,获得了一种适合3D打印成型的轻量化飞机连接件,同时也为仿真模拟在3D打印技术的应用领域提供一个案例。

基于3D分层卷积融合的多模态生理信号情绪识别

近年来,脑电等生理信号由于能客观体现真实情绪已逐渐成为情绪识别研究的热门对象。然而,单模态的脑电信号存在情绪信息特征不完备问题,多模态生理信号存在情绪信息交互不充分问题。针对这些问题,提出基于3D分层卷积的多模态特征融合模型,旨在充分挖掘多模态交互关系,更准确地刻画情感信息。首先通过深度可分离卷积网络提取脑电、眼电和肌电3种模态的生理信号的多模态初级情绪特征信息,再对得到的多模态初级情绪特征信息进行3D卷积融合操作,实现两两模态间的局部交互以及所有模态间的全局交互,获取包含不同生理信号情绪特征的多模态融合特征。实验结果表明,提出的模型在DEAP数据集的效价、唤醒度的二分类和四分类任务中达到了98%的平均准确率。

基于3D打印的一段式种植体稳定性有限元分析

选择性激光熔化(SLM)作为3D打印的其中一种加工方式,在力学性能方面有一定优势,利用这种方式加工出来的种植体强度更高。为了分析、预测此类种植体的初期稳定性,本文采用共振频率分析法来测量种植体的稳定性,利用Ansys Workbench来模拟分析测量种植体共振频率的过程,得到了松质骨为I、II两种骨质情况下的共振频率值。结论表明3D打印种植体的初期稳定性更优于机加工种植体,为后期针对3D打印种植体实际的临床试验和骨骼模型模拟试验提供理论基础。

一种基于残差MLP的多模态点云分类网络

针对PCT等先进点云算法存在模态单一、特征提取器复杂、参数量大、计算效率低等问题,提出一种精简快速的多模态点云分类网络Res-CLIP。将ResMLP-PC与CLIP结合,通过学习多模态信息提高主干网络性能和迁移学习能力,使用残差MLP提高算法效率;将仿射变换模块融入主干网络提高算法精度。排水管道缺陷数据集实验结果表明:与PCT等算法相比,ResMLP-PC算法的精确率、召回率均有提升,且参数量减少近50%,检测速度提升23%。Zero Shot实验结果表明:与现有多模态点云网络相比,Res-CLIP算法在2类公开数据集上的Zero Shot精度均较优,比ULIP相比分别提升4.6%、0.5%。

图像语义特征引导与点云跨模态融合的三维目标检测方法

受到场景的复杂性和目标尺度变化、遮挡等影响,三维目标检测仍面临着诸多挑战.虽然跨模态特征融合图像和激光点云信息能够有效地提升三维目标检测性能,但在融合效果和检测性能上仍有待提升,为此,提出图像语义特征引导与点云跨模态融合的三维目标检测方法.首先设计图像语义特征学习网络,采用双分支自注意力并行计算方式,实现全局语义特征增强,降低目标错误分类;然后提出图像语义特征引导的局部融合模块,采用元素级数据拼接将检索的图像局部语义特征引导融合点云数据,更好地解决跨模态信息融合存在的语义对齐问题;提出多尺度再融合网络,设计融合特征与激光雷达点云交互模块,学习融合特征和不同分辨率特征间的再融合,提高网络的检测性能;最后采用4种任务损失实现anchor-free的三维目标检测.在KITTI和nuScenes数据集中与其他方法进行对比,针对三维目标检测准确率达87.15%,并且实验结果表明,文中方法优于对比方法,具有更优的三维检测性能.

光刻机精密运动框架的一体化设计与3D打印制造

作为新兴的制造技术,3D打印不仅是产品创新的利器,更是高端装备制造的重要研究方向。研究遵循电子束熔覆工艺特点,以零件结构与功能需求为正向切入点,借助CAD和CAE工具,对光刻机工件台现有精密运动框架进行二次设计。理论计算表明:与原零件相比,3D打印运动框架重量减轻69%,模态基本保持不变。这一结果证明了提出的3D打印高性能光刻机零件设计与制造方法的科学性。

PBL教学法联合三维重建技术在神经外科教学中的应用

目的探索以问题为导向的教学法(problem-based learning,PBL)联合三维重建技术在神经外科临床教学中的应用效果。方法选取2020年6月—2021年6月西安交通大学第一附属医院神经外科住院医师规范化培训学员64名,随机分为观察组和对照组,每组32名住培学员。观察组采用PBL联合三维重建技术进行教学。带教老师将示教病例的颅脑多模态影像数据导入3D slicer软件,建立可视化的三维解剖模型,并在课堂中展示颅脑、病变、血管及颅骨之间的空间解剖关系对照组采用传统多媒体教学方法。通过理论考试、操作考核和调查问卷评分对比两种方法的教学效果。结果观察组住培学员的理论考试及操作考核成绩均优于对照组,差异有统计学意义(P<0.001),并且观察组住培学员在教学总体满意度、学习兴趣提高程度及颅脑解剖的理解度均高于对照组,差异有统计学意义(P<0.001)。结论PBL联合三维重建技术在神经外科教学中的应用效果良好。

融合rPPG和人脸三维法向量的非接触情绪感知技术

近年来,基于深度学习的情绪识别技术取得了显著进展。然而,现有方法主要集中在面部图像或视频上,忽略了其他模态信息,导致鲁棒性和稳定性不足。为了解决这一问题,提出了一种融合多模态信息的面部表情识别方法。首先将输入的人脸视频进行远程光电容积脉搏波(Remote Photo plethysmography,rPPG)信号和人脸三维法向量的提取,其次将这两种模态的信息输入其相应的情绪特征提取子网络,提取出对应的情绪特征向量。然后,将这两种模态提取出的情绪特征向量进行融合,生成一个丰富的特征向量,最后将其输入分类器进行情绪分类任务。通过这种多模态信息融合的方式,提高了面部表情识别的准确性和稳定性。对所提方法在不同数据集上进行了验证,实验结果表明,该方法在多样化面部表情识别中的表现优于当前先进的情感识别方法,具有更高的鲁棒性和稳定性。

基于多模态融合的开放域三维模型检索算法

为了满足开放域下海量新增模型数据的管理和检索需求,提出开放域三维模型检索算法,可以有效地利用多模态信息的语义一致性.借助无监督算法探寻未知样本间的类别信息,利用该类别信息实现网络模型的参数优化,使得网络模型在开放域条件下具有更好的模型表征性能及检索结果.提出基于Transformer结构的层级化多模态信息融合模型,有效地剔除了多模态间的冗余信息,得到鲁棒性更强的模型表征向量.在数据集ModelNet40上进行实验,通过与其他典型算法的对比实验可知,所提方法在mAP指标上优于所有的对比方法,验证了该方法在检索性能提升上的有效性.

基于自适应加权融合激光雷达和相机的三维目标检测方法

基于激光雷达和相机融合的三维目标检测技术广泛应用于自动驾驶领域,然而大部分融合方法只是简单组合不同传感器,忽略了不同传感器的感知能力随环境的变化而变化的问题,从而难以精确检测出行人等分辨率较低的目标。针对这一问题,提出一种基于自适应加权融合激光雷达和相机的三维目标检测方法。首先,使用ResNet50+RPN主干网络提取图像的多尺度语义特征,同时,使用动态体素特征编码器将原始点云数据聚合成点云特征;其次,利用自注意力和交叉注意力融合语义特征和点云特征,自适应地为两者的特征图分配权重;最后,将融合后的点特征通过单阶段检测器SECOND(Sparsely Embedded CONvolutional Detection)进行目标边界框回归和分类预测,并且将检测结果在KITTI数据集上验证。实验结果表明,在简单、中等和困难三种难度级别下,该多模态融合方法相较于原始SECOND模型,对汽车和行人的检测精度均有较大的提升,其中行人的检测精度提升最明显;同时,与许多主流的三维目标检测网络相比,所提方法具有更高的精度。

基于三维激光测振的电动汽车车身模态测试方法

为分析电动汽车车身的动态特性,利用三维扫描式激光测振仪开展模态测试,识别某电动汽车白车身主要模态参数,并将测试结果与采用加速度传感器的传统模态试验结果进行对比,结果表明,三维激光测振方法获得的白车身固有频率最大误差不超过1.3%,且与传统模态试验获得的振型一致性较高,验证了该方法的可行性及准确性。

改进DBSCAN的自动工作模态分析方法

为解决随机子空间法在模态参数识别过程中自动性差、虚假模态难以识别剔除等问题,提出一种新的模态参数辨识方法。采用协方差驱动的随机子空间法(Covariance⁃driven stochastic identification,SSI⁃COV)识别系统的模态参数;根据软硬准则初步剔除虚假模态并绘制三维稳定图;对基于密度的带噪声的空间聚类算法(Density⁃based spatial clustering algorithm with noise,DBSCAN)进行改进,自动确定敏感参数ε,并对候选模态进行聚类分析;对每一簇类模态,计算模态质量评价准则(Modal quality assessment criterion,MQAC),制定筛选准则,自动剔除虚假模态并识别真实模态。利用本文方法对桁架结构、广州塔、Z24桥实例进行模态参数识别验证,结果表明该方法可实现典型工程结构的自动工作模态分析,可有效剔除非白噪声激励及测量噪声导致的虚假模态。

三维C形臂X光机的有限元计算及结构优化

三维C形臂X光机可以为手术病灶点提供三维模型重建,其精度决定了手术的完成度与精度。三维模型重建通过三维C形臂X光机的C环旋转过程中不断拍摄二维屏片经过滤波反投影重建得到,因此需要结合三维C形臂X光机旋转过程中的振动特性优化整机结构。利用ANSYS软件对三维C形臂X光机进行模态分析,得到整机前3阶固有频率及相对应的振型。通过加速度实验得到整机3个方向上的功率谱图,反映设备在多少频率段有共振。针对整机在结构上调整3个变量参数进行优化,并得到了组合的最优解。

TH65100主轴箱结构动力学分析及改进设计研究

以卧式加工中心TH65100主轴箱结构作为研究对象,对其进行了动力学性能分析和结构改进设计研究。通过有限元模态分析及谐响应分析,改进结构及经济性分析,本文指出了主轴箱结构存在材料利用不合理和部分结构薄弱等缺陷。针对主轴箱结构缺陷本文提出了两种结构改进方案,通过有限元分析法对改进结构进行验证,得出一方案改善了主轴箱结构,提高了主轴箱的经济性。

三维矢量数据在EV-Globe中的绘制方法

以EV-Globe为基础三维平台,分析了三维栅格数据模型、三维矢量数据模型及混合型模型的优点和不足,设计了基于实体的数据模型,实现了矢量数据在三维环境中符号化显示、分类分级显示。该方法能够满足矢量数据在三维环境中的显示绘制要求。