基于复杂背景的多尺度特征融合手-物交互检测方法

针对手与物体在交互过程中不同场景的背景噪声、光照变化等复杂背景,以及手-物相互遮挡、分辨率低等问题对手-物交互检测精度的影响,提出采用一种两阶段的多尺度特征融合手-物交互检测方法。首先,引入基于特征金字塔的残差网络Resnet50作为特征提取主干网络,实现深层语义信息和浅层细节特征的多尺度融合,提高小目标检测的精度;然后,利用检测到的手部区域与物体区域的几何信息来判断是否交互,过滤非交互的物体;最后,在大规模的室内外包括11个类别的手接触物体的人类互动视频帧数据集进行实验,提高网络的泛化性能。实验结果表明,本文所提方法和两阶检测方法相比,在提高检测精度的同时没有增加网络模型复杂度,同时在数据集不同类别的检测精度相对稳定,有效提升了网络的泛化性能。

基于注意力机制的多尺度手部分割方法

针对手部边缘细节信息分割不精确及小面积手部的错检、漏检问题,提出一种基于注意力机制的多尺度手部分割方法。首先,对Transformer模块重新进行设计优化,提出窗口自注意力结构和双分支前馈神经网络(Dual-branch FeedForward Networks,D-FFN)机制,通过窗口自注意力机制整合全局和局部的依赖信息,D-FFN抑制背景信息的干扰;然后,提出一种结合条形池化和级联网络的多尺度特征提取模块增大感受野,提高手部分割模型的准确性和鲁棒性;最后,提出基于Triplet Attention机制的上采样解码器模块,通过调节通道维度与空间维度的注意力权重将目标特征和背景的冗余特征区分开。将所提算法在公开数据集GTEA(Georgia Tech Egocentric Activity)和EYTH(EgoYouTubeHands)上测试,实验结果表明,该算法在两个数据集上的平均交并比(MIoU)值分别达到了95.8%和90.2%,相较于TransUnet算法分别提升了2.5%和2.1%,满足手部图像分割的稳定可靠、精度高、抗干扰能力强等要求。

基于并行混合注意力的复杂背景小尺度手部检测方法

针对复杂背景中手部特征不明显及尺度变化较大,难以满足高精度水平检测,易出现误检、漏检的问题,以YOLOv5为基础结构提出一种小尺度手部检测方法。将并行混合机制的注意力模块(parallel mixed attention mechanism,PMAM)嵌入到主干网络中,提高对手部特征的提取能力;设计一种结合路径聚合网络(path aggregation network,PAN)和加权双向特征金字塔网络(bidirectional feature pyramid network,BiFPN)改进的特征融合网络PB-FPN(path bidirectional-feature pyramid network),引入新的路径参与底部特征融合,提高算法对小尺度手部目标的检测能力;通过将骨干网络中的空间金字塔池化(spatial pyramid pooling-fast,SPPF)引入特征融合网络并与模型预测头连接,进一步提高算法的性能。在此基础上,使用FReLU作为网络模型的激活函数,增强网络的空间敏感度,提高网络鲁棒性。为验证所提方法的有效性,构建了更符合研究背景的新的数据集TV-COCO-Hand,并在此数据集上进行了相关实验,结果表明,改进后的模型在构建的数据集上mAP达到91.4%,比基线网络模型提高了3.8个百分点,且检测效果优于目前主流检测网络模型。在公开数据集上进行了数据集对比实验以及真实场景的检测实验,验证了模型的泛化性。

沉浸式虚拟仿真实验案例设计与开发

利用虚拟现实技术设计了一个包含脚本设计、三维建模、场景搭建及交互功能的ZYJ7电液转辙机虚拟仿真实验。用3dsMAX和IdeaVR设计虚拟现实交互场景,用交互大屏、带有刚体的3D主动立体眼镜及红外MotionCamera相机等交互设备实现虚拟拆装、动作原理动画、视频讲解、PPT介绍及答题考试等功能。通过案例设计,帮助学生熟悉虚拟仿真实验的开发过程,掌握建模、虚拟场景设计、实现交互控制的方法。

基于增强现实的铁路设备可视化研究与应用

为方便铁路从业人员快速掌握铁路新的技术和设备,提高培训效率以及效果,提出一种基于移动终端的铁路设备培训的增强现实系统。系统主要利用3ds Max对设备进行建模、渲染、动画制作,高度还原设备本身。系统的主程序需要在Unity3d开发平台中进行开发,选择目前功能较完善、稳定性较好的Vuforia作为移动终端的增强现实引擎,借助Vuforia和Unity3d共同完成增强现实功能。系统操作简单,用户借助移动终端的增强现实系统可以真实地再现设备,利用交互操作可以对设备进行内部结构和功能了解,达到超越现实的效果,有助于工作人员后期实际操作。

高铁牵引变电站巡视及检修沉浸式虚拟仿真资源开发

该文综合运用三维建模、虚拟现实和人机交互技术,通过搭建高铁牵引变电站一次系统仿真模型,以及对其巡视及检修过程进行仿真模拟,构建了一个切合工程实际、具有高度沉浸感的虚拟仿真环境,实现了理论学习、设备巡视、考核、安全规范教育、检修维护等功能。该仿真资源所集成的工程数据、规范和人机交互技术,可使学生通过协同作业获得与铁路现场相近的工程经验,提高自身实践能力与专业素养,实践教学成本大大降低。

基于Arduino的虚拟现实交互系统实验案例设计

综合运用嵌入式、三维建模、虚拟现实等技术,提出一个软硬件结合的虚拟现实交互系统典型案例,实现虚拟场景与现实环境的实时交互控制。通过3DMAX和Unity3D软件设计虚拟现实交互场景,采用Arduino核心板搭建场景的控制模块,运用光敏电阻和湿度传感器实时获取环境信息并注入虚拟场景中,实现虚拟现实交互系统。

示范性虚拟仿真实验项目的建设与探索

分析虚拟仿真实验项目建设中自主研发能力不够、开放共享不足、质量不高等主要问题,结合兰州交通大学持续推进虚拟仿真实验教学中心建设和实验项目建设的实践,提出由浅入深、循序渐进地探索虚拟仿真实验项目建设方案.以"数据与场景驱动的高速列车运行控制虚拟仿真实验"国家虚拟仿真实验项目的申报和建设为例,针对现场实习风险大、费用高、难以开展实践教学等问题,介绍在深度融合实际工程数据的基础上,采用虚拟仿真技术真实再现高速铁路列车控制全过程.

铁路信号基础设备虚拟仿真实验设计与应用

针对学生在铁路信号基础设备实验教学过程中存在时间和场地受限、设备类型不全、过程难监控等问题,根据“以虚补实、虚实结合”的指导思想,应用虚拟现实技术设计开发了信号机、转辙机、轨道电路等多种类型的信号基础设备虚拟仿真实验教学资源,包含部件拆解、动作原理模拟、电路原理动态展示、常见故障维护等多种实验模块,教学内容多样,教学方法新颖,教学手段丰富。学生在线完成线下难以开展的实验教学任务,取得了良好的教学效果,切实解决了实体实验“做不了、做不上、做不好”的问题,为培养学生实践能力及创新能力提供了有力支撑。

牵引变压器结构认知与拆装维护虚拟现实交互系统设计

以沉浸式虚拟现实技术为基础,采用需求分析、场景建模、场景交互和场景控制的设计思路,利用VR平方3D交互显示墙硬件系统和IdeaVR沉浸式虚拟现实引擎,开发铁路牵引变压器结构认知与拆装维护虚拟现实交互系统,实现了设备学习(理论学习、虚拟拆装)、检修维护、多人协同等功能。该系统的设计旨在探索一种具有高度沉浸感和人机交互性的实验教学方式,设计流程涵盖沉浸式虚拟现实交互系统开发的全过程,可为铁路牵引供电系统中其他电气设备的虚拟仿真实验开发提供技术流程。

基于Unity3d的铁路信号设备虚拟现实系统研究

为了使铁路维修维护人员快速了解铁路信号设备的构件及组成,进而增加对设备维修维护的技巧,开发兰州车站铁路信号设备虚拟现实系统。系统利用3DS Max软件进行优化建模、材质渲染、贴图烘焙,使模型能在较短时间内导入Unity3D并提高交互的实时性,运用Unity3D构建铁路现场的虚拟工作环境。用户通过虚拟现实系统可直观地掌握车站、区间及室内信号设备布设、组成及关联关系,同时了解站场及其他设施设备的布局。系统的操作简单、环境真实、沉浸感强,投入使用后达到预期的效果,辅助工作人员更好地完成维修维护工作。

高校3D打印创新实验设计与研究

3D打印技术在创新活动中发挥着重要作用,本文通过阐述我校3D打印创新实验设计目的及实验过程,包括3D技术介绍,模型建立、切片、打印及3D打印机常见问题处理。3D打印创新实验的开设极大地激发了学生的设计兴趣,提高了学生的设计能力和参与创新性实验项目的热情。学生在实践中应用3D打印技术设计个性化作品,在大学生创新创业活动中发挥了重要的作用。

移动增强现实三维注册中特征提取算法改进

针对移动终端硬件处理能力和内存资源有限,三维注册算法作为增强现实的核心技术,必须保证在一定精度和鲁棒性的同时,降低运算量,提高运行速度,提出一种改进的ORB特征提取算法,实现对目标图像自然特征的快速检测。上述算法利用分段检测过程中未被利用的格状阴影区域与斜线阴影区域内的相对领域点对和待检测点进行比较,无需进行非极值约束就可避免检测出伪角点。从鲁棒性和实时性两个方面对提出的改进ORB算法与原始ORB算法进行实验对比分析,实验结果表明,改进ORB算法检测特征点的速度和准确性都得到了提高。

虚实结合的高速铁路受电弓-接触网仿真交互实验系统设计

针对高速铁路牵引供电相关专业学生在实践教学中面临的风险大、费用高、复杂环节难以开展等问题,综合运用实物仿真、虚拟仿真和虚实交互技术,开发了虚实结合的高速铁路受电弓-接触网仿真交互实验系统。首先,依据实际工程数据,等比例搭建受电弓、动车组及接触网等实体和三维仿真模型。然后分别设计高速铁路弓网运行现实场景和虚拟场景,通过虚实交互设计实现现实场景与虚拟场景的数据交互,真实再现弓网运行过程。在此基础上,在虚拟场景中设置弓网故障、电气联结故障、绝缘故障等高速铁路接触网主要故障类型,并利用Unity虚拟现实引擎进行虚拟交互开发,实现接触网检修维护仿真模拟,为在校学生实践教学和铁路企业员工培训提供一种新的途径。

基于全息投影技术的3D教具与课件制作

3D全息投影技术是虚拟现实领域一个重要的研究方面,该技术在展览、汽车服装展示、舞台节目等领域都有广泛的应用。应用3D全息投影技术研发了一款简易轻便的"3D全息投影"教具,通过该教具可展示3D虚拟模型,并在全息视频素材中添加了音频讲解、模型拆解等功能,丰富了教师的课堂演示教具,增加了课堂教学的趣味性,有效提高了学生的学习效率。同时,通过该教具能够帮助更多的教师和学生认识到将新技术运用于课堂教学中的重要性。

虚拟现实技术在机电设备安全运行中的应用

水力发电是重要的电力能源开发方式之一,它能为人们提供一种可再生、可持续发展的清洁能源。在水电厂设备机组中,对水电厂安全、稳定、经济运行有直接影响的就是机电设备。针对目前水电厂机电设备安全运行中存在的问题,提出了如何运用虚拟现实技术更好地辅助水电厂管理人员进行机电设备的管理和维护。

多屏协同交互的轨道交通列车控制设备虚拟仿真实验系统设计与开发

该文利用虚拟现实、多屏协同交互等智能交互控制技术,研发了移动端/PC协同交互的轨道交通列车控制设备虚拟仿真实验系统。利用该系统可开设轨道交通信息与控制类专业的认知与操作型、设计与维护型、综合与创新型实验课程,可针对不同层次的教学需求,循序渐进地提升实验难度。

基于OBE理念的虚拟仿真类开放实验教学模式改革与实践

分析工科类创新型人才培养的需求和虚拟仿真类开放实验教学现状,提出基于OBE理念的虚拟仿真类开放实验教学模式,通过构建"基础→设计→创新"的虚拟仿真类开放实验教学流程、实现虚拟仿真类开放实验教学环节的项目化管理以及构建"学生自评→小组互评→教师总评"的立体化实验成绩考核方式3方面的教学研究。

基于Transformer的小样本细粒度图像分类方法

针对小样本细粒度图像分类任务中存在的相似性度量单一以及细粒度特征提取效果不佳的问题,提出了一种基于Transformer的小样本细粒度图像分类方法,克服了小样本学习在细粒度图像分类中由于样本数量较少从而分类效果较差的问题。构建以多轴注意力模块与卷积算子为基本组件的新模块CBG Transformer Block,通过该模块的重复堆叠提高了网络的特征提取能力;采用关系网络和余弦网络组成的双相似度模块进行相似性度量,避免了在训练数据量较小的情况下单一度量造成的相似性偏差;通过计算两个相似度得分的平均值得出最终预测结果。实验结果表明,提出的方法在CUB-200-2011、Stanford Cars和Stanford Dogs三个公开细粒度图像数据集上的5-way5-shot任务分类精度分别达到了82.70%、74.22%和69.68%,可见在小样本细粒度图像分类任务中取得了优异效果。

基于增强现实技术的虚拟仿真实验教学资源体系建设研究

基于新一代人工智能中的增强现实技术,构建了“理论学习+案例制作+综合设计”的虚拟仿真实验教学资源建设体系,针对专业教师的教学大纲及专业的要求,探索了一套基于增强现实技术的虚拟仿真实验教学资源建设体系,并提供系统的开发框架、技术文档与案例模板,开发了符合教学大纲和专业要求的、内容丰富、形式多样的增强现实虚拟仿真实验教学资源,为师生提供了一种接近现实、互动性强、丰富多样的学习方式,提高了教学效率和学生的学习积极性,同时基于增强现实技术的虚拟仿真实验教学资源建设体系可面向全国兄弟院校及相关企业开展辐射应用。