基于YOLOv5s的导盲系统障碍物检测算法

由于盲人缺乏视觉感知能力,因此在户外独立出行时具有较大的风险。为了增强盲人户外场景下的环境感知能力,本文针对导盲系统的实际应用,提出一种基于YOLOv5s改进的导盲系统障碍物检测算法。首先,为了降低整体模型的计算量,使用MobileNetV3代替原网络的主干特征提取网络;然后,引入CA注意力机制使模型更好地关注训练过程中的有效特征;最后,采用EIoU边界框损失函数替换原模型的CIoU,优化了预测框的回归速度与精度。在服务器上进行模型验证,实验结果表明本文所提算法相较原模型计算量降低了59%,参数量降低了49.3%,同时mAP提高了2.3%,具有一定的实用价值。

基于CE-YOLOX的导盲系统障碍物检测方法

由于盲人对周围环境缺乏视觉感知力,出行一直是盲人生活中的困扰。本文提出一种基于YOLOX改进的导盲系统障碍物检测算法CE-YOLOX。首先,为了减少特征融合网络在特征通道缩减时带来的语义信息的丢失,以亚像素跳变融合模块SSF和亚像素上下文增强模块SCE来充分利用通道信息和不同尺度的语义信息,以通道注意力引导模块CAG减少多尺度特征融合带来的混叠效应。其次,为了使模型更加聚焦于有效特征,引入全局注意力机制GAM,通过减少信息弥散和放大全局交互表示来提高模型性能。然后,使用SIOU-LOSS替换原模型的位置回归损失函数IOU-LOSS,加快了边框的回归速度与精度。最后,搭建导盲系统检测平台,将所提算法移植到边缘计算设备NVIDIA Xavier NX上。实验结果表明,改进的导盲系统障碍物算法在服务器和NVIDIA Xavier NX平台上的mAP一致,提升至90.53%,相较原YOLOX模型算法提高了2.45%。在服务器上的检测速度达到75.93 FPS。本文模型在兼顾检测速度的同时提高了精度,显著优于对比算法,满足边缘计算设备的要求,具有实际的应用价值。

面向盲人避障的单目深度估计方法

盲人作为弱势群体,他们的衣食住行值得被人们关注,其中出行问题是造成盲人群体远离社会的重要原因。本文提出了一种基于DenseNet改进的深度估计算法,以解决盲人出行时无法感知周围障碍物的问题。首先,以DenseNet作为编码器的编解码过程中,信息丢失会造成深度估计不准确,为了减少这种问题在编码器与解码器的跳跃连接中引入RHAG残差混合注意力组,加强模型对细节特征的识别能力,提升模型恢复深度信息的准确性;然后,在解码出深度图后采用AdaBins后处理模块,对深度图进行优化,以更好地恢复出RGB场景的深度信息;最后通过ACB非对称卷积替换DenseNet中DenseBlock的卷积,通过增强卷积骨架,提升模型特征提取能力。实验结果表明,本文改进的算法与原网络相比,精度提升了约3.04%,均方根误差降低了约3.39%。与目前先进的深度估计网络MonoDepth相比,精度提升了约2.2%,绝对相对误差降低了约1.3%。本文算法在通过单张RGB图进行深度估计时能获取到更准确的深度信息,优于对比算法,且满足边缘计算设备的要求,具有一定的实用价值。

基于ConvGRU和注意力特征融合的人体动作识别

在动作识别任务中,如何充分学习和利用视频的空间特征和时序特征的相关性,对最终识别结果尤为重要。针对传统动作识别方法忽略时空特征相关性及细小特征,导致识别精度下降的问题,本文提出了一种基于卷积门控循环单元(convolutional GRU,ConvGRU)和注意力特征融合(attentional feature fusion, AFF)的人体动作识别方法。首先,使用Xception网络获取视频帧的空间特征提取网络,并引入时空激励(spatial-temporal excitation, STE)模块和通道激励(channel excitation, CE)模块,获取空间特征的同时加强时序动作的建模能力。此外,将传统的长短时记忆网络(long short term memory, LSTM)网络替换为ConvGRU网络,在提取时序特征的同时,利用卷积进一步挖掘视频帧的空间特征。最后,对输出分类器进行改进,引入基于改进的多尺度通道注意力的特征融合(MCAM-AFF)模块,加强对细小特征的识别能力,提升模型的准确率。实验结果表明:在UCF101数据集和HMDB51数据集上分别达到了95.66%和69.82%的识别准确率。该算法获取了更加完整的时空特征,与当前主流模型相比更具优越性。