改进YOLOv7-tiny的手语识别算法研究

在与听障人士进行交流时,常常会面临交流不便的困难,文中提出一种手语识别的改进模型来解决这个困难。该模型基于YOLOv7-tiny网络模型,并对其进行了多项改进,旨在提高模型的精度和速度。首先,通过对CBAM注意力机制的通道域进行改进,解决了因降维而造成的通道信息缺失问题,并将改进后的CBAM加入到YOLOv7-tiny的Neck层中,从而使模型更加精准地定位和识别到关键的目标;其次,将传统的CIoU边界框损失函数替换为SIoU边界框损失函数,以加速边界框回归的同时提高定位准确度;此外,为了减少计算量并加快检测速度,还将颈部层中的普通卷积模块替换为Ghost卷积模块。经过实验测试,改进后网络模型的平均精度均值(mAP)、精准率和召回率分别提升了5.31%、6.53%、2.73%,有效地提高了手语识别网络的检测精确度。

基于图神经网络和潜在空间的连续手语识别方法

近年来出现的以潜在空间和分层注意力网络为基础的手语识别技术采用双通路卷积网络进行特征提取,针对大规模连续而非孤立手语数据集进行识别,大幅度提高了识别精度。由于卷积神经网络变换器将图像视为网络或序列结构,对于捕获不规则和复杂的手语使用者即人形对象不够灵活,因此,文章将特征提取模块由卷积网络替换为图神经网络,运用图神经网络直接对连续手语视频进行特征提取,并重新调整了部分网络结构与参数以保证图神经网络特征提取模块和后续模块能够无缝融合。实验证明,融合后的新模型有效提升了手语识别的精度。

基于手语表达内容与表达特征的手语识别技术综述

手语识别(SLR)技术是打破听障人群与健听人群间交流壁垒的重要技术手段。该文综述了近几年的手语数据集、评价指标以及手语识别方法。首先,系统梳理了手语数据集并分析了手语识别方法的数据集发展方向。其次,详细介绍了手语识别方法的评价指标。然后,根据手语表达内容、手语识别方法所采用的特征分类总结分析了孤立词手语识别方法与连续语句识别方法、仅依靠手部特征的手语识别方法与多特征融合的手语识别方法。最后探讨了手语识别技术面临的挑战及其发展方向。

模块化连续手语识别算法及技术综述

手语是听障人士和其他人之间重要的沟通方式,但许多普通人看不懂手语,导致听障人士和普通人交流障碍.随着深度学习网络在连续手语识别方向的应用,算法大模型为复杂难懂的连续手语动作翻译成通俗易懂的文本语句提供了技术基础.但是连续手语识别仍然面临着冗余帧过多,空间特征提取和时间特征提取网络不平衡,手语语序与文本语序不匹配等诸多问题.因此,研究准确率高、耗时少、场景通用性高的连续手语识别算法成为计算机视觉领域的热点问题之一.本文首先分析单模态和多模态的连续手语识别框架,并重点阐述关键帧提取、特征提取、序列学习3个模块在连续手语识别中的作用,以及模块中所用网络的优势与不足,然后总结连续手语数据集以及识别结果的评价指标,最后阐述连续手语识别算法的难点并展望其未来的发展方向.

多尺度视觉特征提取及跨模态对齐的连续手语识别

连续手语识别研究中,视觉特征的有效表示是提升识别效果的关键。然而,手语动作时序长度的差异性及手语弱标注现象,使得有效的视觉特征提取更加困难。针对上述问题,提出了多尺度视觉特征提取及跨模态对齐的连续手语识别方法(MECA)。该方法主要包含多尺度视觉特征提取模型和跨模态对齐约束。在多尺度视觉特征提取模型中,并行地融合具备不同扩张因子的瓶颈残差结构,来丰富多尺度时序感受野,用于提取不同时序长度的手语视觉特征,同时采用层级复用设计进一步强化视觉特征表示。在跨模态对齐约束中,采用动态时间规整建模手语视觉特征和文本特征之间的内在联系,其中,文本特征提取由多层感知机和长短期记忆网络协作实现。在具备挑战性的公开数据集RWTH-2014、RWTH-2014T、CSL-Daily上进行实验,结果表明所提方法达到目前具有竞争力的性能。上述实验验证了所提的采用多尺度的方式可以捕捉不同时序长度的手语动作,以及构建跨模态对齐约束的思路是正确且有效的,适用于弱监督条件下的连续手语识别任务。

中国手语识别方法及技术综述

中国手语具有自己独特的文化内涵和复杂表达,是近3000万听障人士融入社会的重要手段。手语识别技术能帮助听障人士走出信息孤岛,和健听人建立有效沟通。中国手语识别方法大致经历了传统技术识别和现代智能识别两个时期。前者主要包含数据收集、预处理、特征提取和分类识别四个主要阶段,主流技术有HMMs、SVM和DTW等,基于手语手形数据完成识别,不依赖海量样本数据;后者主要利用深度神经网络和人工智能技术,强调深度学习,迁移学习和技术融合,模型对样本数据量的依赖程度较高。我国已经开始广泛建设各类手语语料库,但需要进一步规范和推广。

基于X-CUBE-AI的神经网络手语识别系统设计

手语交流是聋哑人与他人交流的主要方法,设计了一款基于STM32的神经网络手语识别系统,采用TensorFlow和Keras机器学习框架训练网络模型,由于训练数据的局限性,加入L2正则化以解决训练过拟合问题。使用意法半导体推出的STM32Cube.AI工具包在STM32嵌入式平台上部署神经网络,搭载OV2640摄像头采集图像并进行缩放处理,将图像数据传入网络进行推理可获得识别结果。经测试,网络模型获得了较好的鲁棒性和适应性,在STM32上运行平均每帧推理时间为15.8 ms,平均准确率达92.3%。使用STM32作为手语识别终端,极大地提高了设备的便携性,节约成本,反应迅速。为聋哑人与正常人交流提供了一种新的解决方案,具有较高的实际应用价值。

基于改进的YOLOv5s结构的手语识别设计

听力障碍者需要通过手语等方式才能进行沟通交流,但是大部分听力正常的群众不会解读手语。为解决该问题,创建了手语数据集,并提出一种基于YOLOv5改进的手语识别模型。该模型采用轻量级网络结构MobileNetV3替换了YOLOv5目标检测算法的骨干网络,取得了很好的效果。经过测试,改进后的模型在手语识别数据集中检测平均精度均值(mAP)达到98.5%,召回率(Recall)为0.92,F1(F1 score)分数为0.929。研究提出的模型在提高训练速度、减少参数量的同时,提高了手语识别的精度,满足实际检测需求。

基于关键帧和注意力残差网络的手语识别

手语识别研究对于改善聋哑人生活质量具有重要意义,同时可促进人机交互领域的发展。针对手语视频中存在大量的无关帧、手语识别过程中手部细节信息提取不足、难以精确定位手语动作的位置和时间信息导致识别率不高等问题,提出一种基于关键帧和交互式注意力残差网络的手语识别方法。在数据预处理部分,设计基于图像相似度和模糊程度的关键帧提取算法,从基于Farneback光流法获取的大量候选关键帧中确定最终的关键帧,减少无关冗余信息。在网络部分,以3D-ResNet为基础框架,构建小卷积模块增强网络对手语视频中细粒度特征的提取能力,设计在捷径分支中采用池化卷积下采样方式的残差结构减小特征图失真程度,建立融合通道注意力和空间注意力的交互式四重注意力模块强化对目标区域关键特征的提取。实验结果表明,该方法在CSL和DEVISIGN数据集上取得了92.0%和92.2%的准确率,优于其他手语识别方法。

基于无线传感技术与卷积神经网络的静态手语识别方法

基于传感网络的手语识别随着手势复杂程度的提升,识别的难度增大,因此,为了获取更加精准的静态手语识别结果,提出了基于无线传感技术与卷积神经网络的静态手语识别方法。通过无线传感技术对静态手语图像进行滤波处理,采用特征提取方法提取静态手语特征并进行融合处理,将融合后的连续二维特征图像直接转换为一维向量,将其作为卷积神经网络的输入,通过迭代训练完成静态手语识别。实验结果表明,所提方法在不同场景下静态手语识别精度高于94.11%,且识别速度较快,由此验证了所提方法可以快速准确完成静态手语识别。

基于身体姿态关键点检测及算法融合的连续手语识别

连续手语识别相对于单个手语词识别来说,更加具有研究意义也更加具有研究难度.连续手语识别需要更关注整体语句在时间上的依赖关系,以及语句中手语词结束与开始的时序分割问题.而对此的单个识别算法的研究与优化,短时间都很难再有较大的突破.因此,我们提出一种基于算法融合的连续手语识别方法,先通过帧间差分法处理关键帧,再通过MediaPipe检测并保存关键点数据,降低数据量,并提供有效、直接的数据;再通过CNN+BLSTM算法融合模型,让CNN专注局部感知,捕捉空间特征关系;BLSTM则侧重特征序列的时序建模,突出连续手语在时间纬度上的依赖关系.最后结合CTC完成标签和语句对齐问题.该算法在CSL数据集上取得了98.4%的平均识别率.

基于视频的中文连续手语识别算法

连续手语识别是将视频序列转为符号序列的典型的弱监督问题,它只提供了句子级标签,没有提供有时间边界的帧级标签。为了克服这一问题,就需要使用连接时态分类(connectionist temporal classification,CTC),这也是目前应用最广泛的方法。实验在特征提取阶段引入时间-空间注意力机制,并增加辅助对齐模块,利用聚合交叉熵(agregation cross-entropy,ACE)散度损失对特征提取部分进行训练。该模型采用端到端方式,结合ACE散度进行片段级特征学习和CTC进行全局序列特征学习的联合训练,此外,提出的随机掉帧机制还可以进一步缓解过拟合问题。在中文手语数据集CSLR上验证了改进方法的有效性,在验证集上获得了6.9%错误率,在测试集上获得了4.3%错误率。

长短时记忆脉冲神经网络手语识别模型

手语识别是人机交互领域中的重要问题之一。随着人工智能技术的发展,越来越多的机器学习和深度学习方法被应用在手语识别任务上。文章设计一种轻量级的长短时记忆脉冲神经网络(long short-term memory-spiking neural network,LSTM-SNN)手语识别模型用于识别常用手语。首先提出自适应脉冲编码,将手语信号转化为脉冲信号;接着将脉冲信号输入到改进的带泄漏整合发放(leaky integrate-and-fire,LIF)神经元模型,以时间驱动的方式进行信息传导,完成网络训练。在收集到的101个手语手势数据集上的实验结果表明,该模型准确率达到95.37%,表明该文提出的模型优于其他深度学习和机器学习模型。

基于SlowFast网络的孤立词手语识别算法研究

由于运动模糊、信息冗余以及不同人手语风格多样化等原因,目前的孤立词手语识别在识别精度、背景抗干扰性和识别速度等方面仍存在不足。为此,提出了一种新的手语识别方法——基于SlowFast网络和增强手部注意力的方法(EAH-SlowFast),其使用YOLOv5和DeepSort检测并追踪手部,提高对手部信息的关注度;在骨干网络中使用Focal损失函数增加模型的分类能力;改进了SlowFast网络结构并引入通道空间注意力机制,从而提高手部信息的权重并抑制背景噪声的干扰。此外,还提出了一种关键帧提取算法,可以在一定精度的损失下大大提高效率。经实验证实,EAH-SlowFast在DEVISIGN-D数据集上的Top-5准确率达到了97.79%,优于其他先进的手语识别算法。

面向智慧博物馆的基于毫米波雷达稳健的手语识别

智慧博物馆是利用物联网、人工智能等设备或技术,构建人、物、空间信息交互通道的博物馆新形态。手语识别技术既能让听障语障观众无障碍参观博物馆,也有助于解析观众自然状态下的手势互动。然而,基于摄像头或可穿戴设备的方法在博物馆中可能有隐私安全或使用不便等问题。提出一种基于毫米波雷达稳健的手语识别方法,首先提取不同手势相对于雷达距离和速度随时间变化的特征,其次采用基于物理意义的增强处理,最后设计残差网络进一步剔除两种特征预处理后的与环境相关信息,对其进行特征融合并实现分类。实验表明,该方法可以有效识别手语,在测试环境和用户位置改变时也能达到平均90%以上的精度,为智慧博物馆的手语手势识别提供了一种新方法。

基于残差时移模块和双流网络的手语识别方法

目前存在的手语识别方法中,多模态图像被广泛使用,但多模态数据形式复杂,不易操作。此外,现存的手语识别方法无法有效聚合全局与运动区域局部信息。基于改善手语识别方法的目的,论文提出了一种仅使用RGB图像的基于残差时移模块与双流网络的手语识别方法。双流网络两分支改进为全局图像分支与运动区域局部分支,运动区域局部分支采用语义分割算法进行运动区域分割,解决了以往运动区域难以定位的问题。两分支通过数据融合将全局与局部信息有效聚合。在SLR500开源数据集上进行实验,该方法获得高达94.7%的识别率。

基于智能眼镜的手语识别系统设计

手语识别对于听障人士交流具有重要的意义。现有机器视觉手语识别系统存在因移动设备端算力不足,各框架兼容条件苛刻影响实时应用的问题。针对该问题,本文提出基于智能眼镜硬件平台和云端计算的实时手语识别系统。该系统采用智能眼镜捕获手语动作,并将该视频图片上传至云端服务器,利用部署在云端服务器上的深度学习模型对手语进行识别,最后将识别结果返回至智能眼镜。本系统深度学习识别网络采用TSN和LSTM相结合的方式,利用TSN视频动作分类能力和LSTM上下文信息建模能力准确识别手语动作。试验结果表明,本系统实时识别精度可达到95.37%,对于听障人士实时交流具有较好的应用价值。

基于混合注意力机制的中文孤立词手语识别

手语识别技术能帮助听障人士与健听人士进行交流。当前,随着社会的快速发展,深度学习技术也为手语识别工作提供了一定的技术支持。然而在手语识别任务中,使用传统的卷积神经网络对手语视频进行时空特征的提取时,存在特征提取不充分而导致识别率低的问题。除此之外,由于手语视频中因背景光照、表演者体态不一致等问题也会影响到网络模型的识别效果。为解决上述问题,使用了一种基于混合注意力机制的手语识别模型,所提及的模型通过添加混合注意力机制的方式,用于增强对手语动作中重要区域的关注,并使用空间变换网络来增强模型的空间不变性,最终在SLR手语词数据集上完成实验验证。实验结果表明,所提及的模型准确率优于3DCNN、CNN结合LSTM等主流模型,能够有效提取手语视频中的时空特征,并提高对手语动作的识别能力。

基于SRN/HMM的非特定人连续手语识别系统

手语识别是通过计算机提供一种有效而准确的机制将手语翻译成文本或语音.目前最新发展水平的手语识别系统在实际应用中应解决非特定人连续手语问题.提出一种将连续手语识别分解成各孤立词识别的分治方法,用于非特定人连续手语识别.把精简循环网(simple recurrent network,简称SRN)作为连续手语的段边界检测器,把SRN分段结果作为隐马可夫模型(hidden Markov models,简称HMM)框架中的状态输入,在HMM框架里使用网格Viterbi算法搜索出一条最佳手语词路径.实验结果表明,该方法的识别效果比单纯使用HMM要好.

基于机器学习的手语识别系统研究与开发

随着机器学习和计算机视觉领域的发展,计算机已经具有分析视频内容的能力。听障人士的交流困难主要是难以理解手语动作的含义,而借助计算机分析手语视频将其转化为文字,则可以解决以上交流难题。因此,提出基于机器学习的手语识别系统,先建立手语视频数据集,借助飞桨AI Studio平台使用时间分段网络(Temporal Segments Networks,TSN)算法框架进行相应的模型训练,再对手语视频进行抽帧,分析图像内容并对其进行预测,最后输出预测结果,从而实现对手语视频的文字转译。