基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别方法

识别非驾驶行为是提高驾驶安全性的重要手段之一。目前基于骨架序列和图像的融合识别方法具有计算量大和特征融合困难的问题。针对上述问题,本文提出一种基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别模型(skeleton-image based behavior recognition network,SIBBR-Net)。SIBBR-Net通过基于多尺度图的图卷积网络和基于局部视觉及注意力机制的卷积神经网络,充分提取运动和外观特征,较好地平衡了模型表征能力和计算量间的关系。基于手部运动的特征双向引导学习策略、自适应特征融合模块和静态特征空间上的辅助损失,使运动和外观特征间互相引导更新并实现自适应融合。最终在Drive&Act数据集进行算法测试,SIBBR-Net在动态标签和静态标签条件下的平均正确率分别为61.78%和80.42%,每秒浮点运算次数为25.92G,较最优方法降低了76.96%。

重型施工机械安拆吊装作业视觉可达性BIM仿真分析

为提高重型施工机械安拆吊装作业安全工效,改善安拆作业过程中人员的可视性,提出基于可视锥法的多主体视觉可达性建筑信息模型(BIM)仿真方法。首先,通过重型施工机械视觉任务分解,得到重型施工机械多主体视觉任务;其次,以wk-35型电铲安拆作业为研究对象,分析起重驾驶司机-信号工-司索工多主体视觉任务,运用计算机辅助三维交互应用(CATIA)人因仿真模块,构建安拆吊装作业多主体视觉的BIM仿真场景;然后,采用可视锥法,计算安拆吊装作业过程多主体视觉可达性量值,测度多主体视觉可达性水平,构建重型机械施工机械多主体视觉评价模型;最后,调节BIM模型的过程参数,推演多主体视觉变化趋势,评价安拆吊装作业多主体视觉可达性。结果表明:安拆作业中起重司机在起升下降过程中视觉可达性较差,在平移过程中视觉可达性较好;信号工和司索工的位置与其视觉可达性联系紧密,当信号工处于视野刚好覆盖起重司机和司索工的位置时,其视觉可达性最好,而司索工需不断调整位置,使其视觉可达性达到最佳。

多传感器融合技术在智能交通系统中的应用

阐述多传感器融合技术在高速公路智能交通中的应用,包括对路面传感器数据、视觉传感器数据、环境传感器数据的融合和分析。探讨多传感器融合技术在高速公路智能交通中的优化方法。

基于三维扫描的织物多方向可视化弯曲性测试方法

目前常用弯曲性测试方法每次只能测试织物一个方向的弯曲性能,不能直接观察到织物不同方向的弯曲形态,且需要多次裁样、重复测试,耗时费力;针对这种情况,提出了一种多方向可视化织物弯曲性测试方法。以20种织物为测试对象,利用三维扫描技术获取织物弯曲形态的点云图像;基于所得图像提取投影周长、投影面积和截面积3个新指标;最后分析新指标与抗弯长度的关系。结果发现:新指标与斜面法中的抗弯长度有较好的相关性;织物底端的截面积能较好地体现织物整体的弯曲性能,这表明提出的方法具有良好的可行性。该方法一次测量可得到织物经纬向、斜向的弯曲指标,且每个方向分别有5个样条,有效提升了测试效率;同时利用三维扫描技术可以更加直观精确地描述织物弯曲形态。

基于CCA融合FFT的SSVEP脑机接口分类算法

为解决多目标刺激范式的稳态视觉诱发电位脑电信号识别准确率低和信息传输率低的问题,提出了一种快速傅里叶变换同典型相关分析相结合的方法,通过快速傅里叶变换将信号训练成对应频率的训练模板,并作为参考信号与实时采集的信号进行典型相关分析来计算频率的识别准确率。6名受试者参与并完成了180组实验,在时间窗口长度为1.5 s的条件下,基于快速傅里叶变换-典型相关分析的稳态视觉诱发电位信号识别算法的平均识别准确率为93.98%,比典型相关分析算法提升了14.75%,信息传输率为62.30 bit·min^(-1),比典型相关分析算法提升了55.63%。实验结果表明,快速傅里叶变换-典型相关分析算法性能更优。

视觉跟踪多转子位移测量

针对当前传统振动传感器在测量旋转体位移时受限于安装和测点数量等问题,将高速工业相机作为采集媒介,在转子振动试验台上进行转子振动视频的采集,并利用基于多目标跟踪的视觉振动测量方法跟踪多个转子目标的全场振动位移。将注意力机制引入残差神经网络,结合特征金字塔网络结构建立改进的特征提取骨干网络,并利用身份重新识别方法来强化相邻帧间目标位移的关联性,跟踪旋转体全场振动位移信号。在转子振动位移测量数据集上对不同网络模型进行定性和定量的比较。结果表明,本文构建的网络模型在边界框回归时能够获取更为紧密的贴合度;将采集的电涡流位移信号作为标准量进行两个转子位移信号的对比实验,结果表明,本文多目标跟踪算法拟合的波形和频谱噪声最小,且能与电涡流信号相匹配;在目标对象模糊情况下的实验也证明本文算法所具有的泛化性能,这也体现出视觉测量在旋转体振动位移跟踪领域的工程应用价值。

多目鱼眼视觉SLAM特征点误匹配的剔除优化

为了解决由于鱼眼图像显著失真和明显的视角差异而导致的定位精度下降的问题,提出了一种去除多目鱼眼视觉SLAM系统中误匹配特征点的策略。该策略采用从粗到细的误匹配特征点去除过程,在粗匹配阶段,使用阈值为0.6的匹配算法获得粗匹配阶段的初始点集。在精细去除阶段,采用预校准的多摄像机模型将匹配的特征点转换为同一坐标系,并将其作为承载向量投影到单位球上,利用球上的外极约束去除不匹配的特征点。在去除不匹配的特征点后,在投影球面上建立重投影误差函数,对初始姿态点和映射点进行非线性优化。该策略在24 000张鱼眼图像上进行了测试,结果表明,该剔除策略显著降低了失配率,提高了初始化和定位精度,有效地提高了系统的定位精度和性能效率。

Corrective-Net:面向多标签文本分类的标签关联学习模块

在目前的多标签文本分类任务中,主要面临以下2个问题:(1)侧重文本表示学习,对标签之间的关联信息建模不充分;(2)尽管使用了标签关联信息来改善多标签分类任务,但对标签关联的建模过于依赖人工预定义的外部知识,而外部知识的获取成本高昂,限制了其实际应用。针对以上问题,提出了一种面向多标签文本分类的标签关联学习模块Corrective-Net。该模块可以在不依赖外部知识的前提下,自动学习数据中的标签关联信息;同时,它还可以利用标签关联信息,对基础分类模块的初始预测结果进行修正,使得最终预测兼顾语义信息和标签关联信息,以获得更精准的多标签预测结果。在AAPD和SO数据集上的大量实验表明,Corrective-Net具有通用性和有效性,通过分析标签修正对各个标签性能的影响,得到了显式的标签关联信息,并进行了可视化。

道路环境与驾驶行为数据同步采集系统研发

高精度、可移植、多维度的在途车辆及其周边驾驶环境数据在L3级及以上自动驾驶汽车场景库测试、不良驾驶行为谱构建以及在途实时交通管控等领域有至关重要的作用,由单一传感器构成的数据采集系统在精度、维度上都受到了较大限制,导致其可靠度较低;为实现多类数据传感器协同一体化,研发了一款包含激光雷达、车载运动测量与组合定位、车载踏板与方向盘位移传感器和雷视道路多维感知一体机的多模块道路环境数据与驾驶行为同步采集系统,支持多项交通数据采集任务的并行处理,融合了用户的真实驾驶行为,并基于该系统设计了依维柯某车型的数据实车采集平台;该系统由上位机与下位机两个子系统构成,集成了多模块数据采集、储存、传输与标定等功能,且对各个模块完成了时间同步处理,适用于两客一危场景,并设计了易操作的上位机用户交互界面,对多模块数据实现实时可视化,直观查看各时段数据的变化规律,具有较高的应用价值。

基于多通道多步融合的生成式视觉对话模型

当前视觉对话任务在多模态信息融合和推理方面取得了较大进展,但是,在回答一些涉及具有比较明确语义属性和位置空间关系的问题时,主流模型的能力依然有限。比较少的主流模型在正式响应之前能够显式地提供有关图像内容的、语义充分的细粒度表达。视觉特征表示与对话历史、当前问句等文本语义之间缺少必要的、缓解语义鸿沟的桥梁,因此提出一种基于多通道多步融合的视觉对话模型MCMI。该模型显式提供一组关于视觉内容的细粒度语义描述信息,并通过“视觉−语义−对话”历史三者相互作用和多步融合,能够丰富问题的语义表示,实现较为准确的答案解码。在VisDial v0.9/VisDial v1.0数据集中,MCMI模型较基准模型双通道多跳推理模型(DMRM),平均倒数排名(MRR)分别提升了1.95和2.12个百分点,召回率(R@1)分别提升了2.62和3.09个百分点,正确答案平均排名(Mean)分别提升了0.88和0.99;在VisDial v1.0数据集中,较最新模型UTC(Unified Transformer Contrastive learning model),MRR、R@1、Mean分别提升了0.06百分点,0.68百分点和1.47。为了进一步评估生成对话的质量,提出类图灵测试响应通过比例M1和对话质量分数(五分制)M2两个人工评价指标。在VisDial v0.9数据集中,相较于基准模型DMRM,MCMI模型的M1和M2指标分别提高了9.00百分点和0.70。

基于变换折衷阈值的多分辨图像双边滤波仿真

为了有效解决多分辨图像内存在噪声的问题,提出一种基于视觉灵敏度的多分辨图像双边滤波算法。通过粗糙集理论初步判断多分辨图像内的噪声,利用视觉灵敏度对判断结果展开修正。通过双边滤波器将噪声图像分解为高低频两个部分,高频部分使用Curvelet变换折衷阈值,根据设定的阈值保留多分辨图像中更多的边缘纹理细节。将低频图像和处理后的高频图像重构,获取经过滤波处理后的多分辨图像。实验结果表明,所提算法可以精准检测出多分辨图像内存在的噪声,同时能够获取满意的多分辨图像滤波结果。

实景三维在自然资源调查成果可视化中的应用

自然资源调查成果的三维立体可视化表达对实现各类自然资源的分析与应用具有重要意义。本文以自然资源综合调查监测国家试点一查多用子任务成果数据为基础,基于地形级实景三维提供的统一空间基底,以二三维一体化的系统开发技术为支撑,结合自然资源管理中的分析与可视化需求,开发了自然资源综合调查监测成果分析与展示系统,实现了多源数据的融合浏览、自然资源图斑的动态查询与实时渲染、自然资源体模型的模拟与查询、空间重叠资源的立体表达以及自然资源分类面积统计可视化,可以为加强自然资源的统一管理和开发利用提供有益助力。

基于无人机倾斜摄影测量的精细化建模及可视化研究

无人机倾斜摄影测量在大场景三维建模应用中具有效率高、成本低的特点,但该方法在单体模型展示时,易出现空洞、拉花等问题。文章对影响三维模型精度的因素进行分析,并采用多尺度倾斜摄影测量方法进行现实精细化建模和建筑物单体可视化展示。

BioMGE——一个用于采集和分析生物医用材料和多组学数据的数据库

随着机器学习技术的发展,生物医用材料的科学研究也逐渐走向数据驱动,利用生物测序技术来测试生物医用材料的生物功能,需要对生物医用材料进行进一步优化.因此,一个开放、共享的基础设施来存储来自不同研究领域的异构科学数据是多学科交叉联合分析的基石.本文介绍了BioMGE,一个基于灵活的自定义平台NMDMS(国家材料数据管理与服务平台)实现的数据库建设案例,用于收集生物医用材料和多组学测序数据.NMDMS的动态容器框架允许用户定义个性化的数据提交模式,存储来自生物医用材料和多组学研究领域的数据.自2019年以来,BioMGE已收集了1547100个生物医用材料和多组学数据集.BioMGE提供了数据导出接口,方便用户直接导出数据以进行数据分析.以组学数据可视化为例,提供BioMGE-viewer模块以实现对生物染色质结构数据从一维到三维的数据可视化.该数据库可为其他跨领域研究的数据共享提供了新的思路和平台.

钻孔组合式多参数测量仪探管结构设计

节能降耗、绿色高效是煤炭生产活动的一种必然趋势,一次钻多参数测量是孔中物探技术与装备的发展方向。提出了一种组合式多参数可视化测量仪探管结构,通过对该结构进行加工制造、组装与联调测试,对设计理念进行了充分验证。测试结果表明,测量探管多参数集成化结构设计实现一次钻多个参数的同步测量,具有一定的实用意义;自由组合式结构设计实现仪器灵活便捷应用,用户自主选择性强;测量探管整体结构设计对接可靠、更换方便、防漏水性能良好。

多元热流体不同组成介质耦合作用机理微观实验

多元热流体吞吐是蒸汽吞吐的重要接替方式之一,而现有的研究尚不能清晰解释不同介质之间的耦合作用机理,难以为海上多元热流体开发提供有效措施。利用微观可视化模拟系统,通过非凝析气(CO_(2)、N_(2))和热水的不同组合驱油实验,研究微观条件下多相流动特点,揭示热水、CO_(2)和N_(2)三者之间两两相互影响的耦合作用机理,并定量分析耦合作用机理对波及系数、洗油效率和采收率的影响。研究结果表明:热水与N_(2)相互协同,提高波及系数,在驱替中期,热水加热稠油,降低流动阻力,N_(2)气泡变形膨胀,补充压力,在驱替后期,在主流道形成贾敏效应,驱替范围从主流道向边缘扩展;热水与CO_(2)相互协同,提高洗油效率,热水冲刷CO_(2)驱替过后的膜状剩余油,同时二者降低油气表面张力,将油气段塞式流动变为念珠式流动,消除附加表面张力,动用簇状剩余油,增大体系毛管数;CO_(2)和N_(2)之间相互竞争,N_(2)与CO_(2)分压,阻碍CO_(2)溶解,CO_(2)和N_(2)混合后,补能作用减弱;三种介质耦合作用时,采收率整体提高29%,协同作用效果比竞争作用效果更为显著。利用微观实验厘清多元热流体两两介质之间的耦合作用机理,为后期多元热流体开发稠油油藏提供理论指导。

基于Cesium的水利工程三维可视化平台开发研究

水利行业正以前所未有的态势推进数字孪生,水利工程三维可视化作为智慧水利的基础,亟需解决水利工程三维可视化还无法达到专业软件的可视化要求。结合Cesium、Vue、Springboot等技术搭建了水利工程三维可视化平台,研究实现了多源数据融合、闸门动态泄水、洪水淹没等三维可视化关键应用技术,为后续实现数字孪生的可视化奠定基础。

输电线路雷电绕击风险评估多源数据融合可视化方法

直观描述超/特高压输电线路的绕击风险分布,展现线路结构、地形地貌、雷电活动等复杂因素的交互关系具有重要的价值,相关研究亟待深化。该文开展了绕击风险评估多源数据融合可视化方法研究。基于输电通道点云数据、EGM模型参数、绕击闪络率等多源数据特征分析,借鉴“以数生智”认知过程,提出了一种数据融合3维可视化框架及关键技术。该方法采用“档距-导线-断面-计算点-暴露弧”层级数据结构,按层级关联整合不同维度表达需求的数据,基于输电通道激光雷达点云空间开展以暴露弧为载体的绕击风险机理可视化,实现绕击闪络率、屏蔽机理、雷电流幅值等多源信息的综合立体展示,通过支持对限定条件的响应,实现了绕击故障分析应用。某500 kV线路档距案例应用结果表明:融合可视化能够发挥3维视图多尺度、多视角的优势,通过暴露弧与点云数据的信息互补,从机理层面揭示避雷线、地面对导线的屏蔽作用,提升数据展示的全面性、直观性。

多视图专家组区域建议预测的视觉跟踪

为解决大多数最新的目标跟踪器都面临着判别特征表示缺乏多样性、目标定位过于模糊以及正样本的数量要求问题,提出一种基于多视图的顶层特征的区域建议网络的跟踪预测学习算法。融合多种视图的特征表示方式,利用丰富多样的语义信息,有效解决判别特征过于单一的问题。在扩展的边界框上构建多个支持向量机模型并加入区域建议网络模块,精确优化边界框,预测最优的目标位置,缓解目标定位过于模糊和正样本的数量有限的问题。通过大量视频基准序列对方法的综合评价,其结果表明,提出方法融合了轻量化的深度学习模型和多视图专家组的优点,使跟踪性能有了显著提升。

煤炭综采工程煤岩裂隙变形多尺度视觉特征提取算法

煤炭资源勘探与开采行业是国家稳定发展的支柱产业之一。随着浅部煤炭资源储量的逐渐枯竭,煤炭资源开采向深部区域发展,由于地质条件复杂性的增加,煤岩裂隙变形现象逐渐增多,威胁着煤炭综采工程的安全,提出煤炭综采工程煤岩裂隙变形多尺度视觉特征提取算法研究。预处理原始煤岩图像(灰度化处理、锐化增强处理及其去噪处理),以此为基础,基于C-V模型分割煤岩图像,获取煤岩裂隙变形目标图像,通过高斯核函数将其映射到空间范围,完成多尺度视觉空间的构建,应用MSRFE算法检测并确定煤岩裂隙变形多尺度视觉特征,从而实现煤岩裂隙变形多尺度视觉特征的提取。试验数据显示:应用本文提出的算法获得的煤岩裂隙变形目标确定结果非常清晰地标注出了全部裂隙变形的边界,多尺度视觉特征提取完整度最大值达到了99%,充分证实了所提出算法具备更加优质的应用性能。