基于动作条件交互的高效行人过街意图预测

城市化的进程不断加速,人车冲突问题已成为现代社会亟待解决的重大难题。复杂交通场景下,行人横穿马路行为导致交通事故频发,准确、实时地预测行人过街意图对避免人车冲突、提高驾驶安全系数和保障行人安全至关重要。本文提出基于动作条件交互的高效行人过街意图预测框架(efficient action-conditioned interaction pedestrian crossing intention anticipation framework,EAIPF)来预测行人过街意图。EAIPF引入行人动作编码模块增强多模态动作模式下的表征能力,挖掘深层骨架上下文信息。同时,引入场景对象交互模块挖掘与对象交互信息,理解交通场景中高级语义线索。最后,意图预测模块融合行人动作特征和对象交互特征,实现行人过街意图的鲁棒预测。所提出的方法在两个公共数据集JAAD和PIE上验证算法性能,准确率分别达到了89%和90%,表明本文方法可以在复杂交通场景下准确预测行人穿越意图。

基于多模态特征融合的行人穿越意图预测方法

行人行为预测是城市环境智能汽车决策规划系统面临的主要挑战之一,提升行人穿越意图的预测准确率对于行车安全意义重大。针对现有方法过度依赖行人的边界框位置信息,且很少考虑交通场景中环境信息及交通对象间的交互关系等问题,本文提出一种基于多模态特征融合的行人过街意图预测方法。首先结合多种注意力机制构建了一种新型全局场景上下文信息提取模块和局部场景时空特征提取模块来增强其提取车辆周边场景时空特征的能力,并依赖场景的语义解析结果来捕获行人与其周围环境之间的交互关系,解决了交通环境上下文信息与交通对象之间的交互信息应用不充分的问题。此外,本文设计了一种基于混合融合策略的多模态特征融合模块,根据不同信息源的复杂程度实现了对视觉特征和运动特征的联合推理,为行人穿越意图预测模块提供可靠信息。基于JAAD数据集的测试表明,所提出方法的预测Accuracy为0.84,较基线方法提升了10.5%,相比于现有的同类型模型,所提出方法的综合性能最佳,且具有更广泛的应用场景。

自动驾驶场景下的行人意图语义VSLAM

视觉同步定位与建图(visual simultaneous localization and mapping,VSLAM)在自动驾驶领域有广泛的应用,但传统的算法缺乏语义信息,并且不能推理和预测场景中行人的行为或意图。提出了一种有效的语义VSLAM方法,使用基于DPT(dense prediction transformer)的语义分割算法获取潜在动态目标的分割掩码进行动态特征剔除,由于在自动驾驶场景下的动态物体绝大多数为行人和车辆,为了完成潜在动态目标中静态点的重添加及动态物体的再检测,使用几何约束联合行人意图预测共同优化相机位姿,为了对行人是否过马路进行准确的意图预测,利用人体骨架信息构建双流、时空自适应图卷积神经网络预测行人过街意图。在KITTI数据集下验证的结果表明,所提方法相较于ORB-SLAM3算法的绝对轨迹估计误差有一定减少,且精度优于同类型的算法,有望为自动驾驶系统提供更丰富的语义信息,更好地完成自动驾驶任务。