改进YOLOv5的智慧课堂人脸检测算法

智慧课堂是人工智能领域热门的应用场景。针对课堂场景下摄像头位置较远且偏,图像中目标存在人脸过小和遮挡导致漏检或错检等问题,提出了一种改进YOLOv5的智慧课堂人脸检测算法YOLOv5-SASA。该算法主要包括三个部分,在backbone层沿用了CSPDarknet53网络,通过在最后的空间池化层中使用BasicRFB模块来有效增强网络的特征提取能力;采用NWD损失函数来提高模型对小目标检测的鲁棒性,同时在head层中引入了独立自注意力机制模块SASA,以解决人脸遮挡的问题,并降低模型的参数量;通过降低中间层通道神经元的数量、调节学习率等方式,对改进的YOLOv5网络进行了优化,以避免模型过拟合。实验结果表明,所提出的方法在WiderFace验证集的easy、medium和hard难度下的效果均优于原网络,分别达到了97.5%、96.3%和86.5%的准确率,能够有效提升课堂场景下人脸检测的精度。

适用于鱼眼图像的改进YOLOv7目标检测算法

鱼眼相机捕获的图像具有宽视场、几何失真和尺度差异大等特点,这给基于标准卷积网络的目标检测器带来了巨大的挑战。现有的目标检测算法可以在网络结构设计、特征学习等方面进一步改进以适用于鱼眼图像上的失真目标检测任务。为减轻鱼眼图像上径向畸变的影响,研究在YOLOv7主干引入多分支堆叠结构的多头注意力模块以捕获全局上下文信息,提高检测准确性。同时,在YOLOv7的Neck侧,使用简单高效的融合可变形卷积的层聚合结构以实现有效的多尺度特征融合,提高模型对失真目标的特征提取能力。提出的检测模型直接在鱼眼图像上执行,无须指定先验信息和校准。在公开的综合鱼眼图像数据集VOC_360上进行实验,结果表明,改进后的YOLOv7鱼眼图像目标检测器有效地提高了检测精度,mAP50、mAP50:95分别达到84.3%、70.4%,相比基准模型YOLOv7分别提升3.1个百分点、6.4个百分点。

基于双重时空特征金字塔的人体行为识别

针对目前人体动作存在着行为识别准确率低的问题,提出一种基于双重时空特征金字塔网络结构的人体行为识别方法—DSTFP。该方法使用SlowFast网络作为骨干网络提取不同尺度的特征,并将多个尺度的特征输入双重时空特征金字塔进行处理以增加网络对多个尺度的敏感度。第一重为语义增强金字塔(SEEP),自顶向下融合多个尺度的特征,在不同尺度的特征中传递高层语义信息;第二重为空间增强金字塔(SPEP),采用自底向上的融合方式,在不同尺度的特征中传递空间定位信息。在公共数据集AVA上的实验结果表明:该方法能获得24.97 mAP,相较于原网络提升了0.77 mAP,并有效地提升了人体行为识别的准确度,相比于同类算法更符合实际应用需求。

牛膝总皂苷对IL-1β诱导髓核细胞的凋亡及炎性损伤的影响

目的通过观察髓核细胞(nucleus pulposus cell,NPC)的凋亡、炎症及细胞外基质(extracellular matrix,ECM)代谢研究不同浓度牛膝总皂苷(achyranthes bidentata saponin,ABS)对白细胞介素-1β(interleukin-1β,IL-1β)诱导人源NPC损伤的保护作用。方法通过IL-1β诱导建立NPC退变模型,随机将细胞分为正常组、模型组(10 ng/mL IL-1β)、ABS低剂量组(10 ng/mL IL-1β+3μg/mL ABS)、ABS中剂量组(10 ng/mL IL-1β+10μg/mL ABS)及ABS高剂量组(10 ng/mL IL-1β+30μg/mL ABS),干预24 h。CCK-8法检测细胞活力,采用Tunel法和流式细胞术检测细胞凋亡,Western blot检测B细胞淋巴瘤-2相关X蛋白(B-cell lymphoma-2-associated X protein,Bax)、天冬氨酸蛋白水解酶3(cysteinyl aspartate specific proteinase-3,Caspase-3)、B细胞淋巴瘤-xl(B-cell lymphoma-xl,Bcl-xl)、环氧合酶-2(cyclooxygenase-2,COX-2)、基质金属蛋白酶-3(matrix metalloproteinase-3,MMP-3)和血小板结合蛋白基序的解聚蛋白样金属蛋白酶-5(recombinant a disintegrin and metalloproteinase with thrombospondin-5,ADAMTS-5)蛋白表达情况。结果与正常组比较,模型组NPC活力显著下降(P<0.01),凋亡率增加(P<0.01),Bax、Caspase-3、COX-2、MMP-3和ADAMTS-5蛋白表达升高(P<0.05),Bcl-xl蛋白表达降低(P<0.05);与模型组比较,不同浓度的ABS处理后,NPC活力显著上升(P<0.05),凋亡率减少(P<0.05),Bax、Caspase-3、COX-2、MMP-3和ADAMTS-5蛋白表达降低(P<0.05),Bcl-xl蛋白表达升高(P<0.05)。结论ABS可以通过抑制由IL-1β诱导引起的NPC凋亡、炎症反应、ECM降解,促进细胞增殖和活性,对NPC产生保护作用,其机制可能与抑制Bax、Caspase-3、ADAMTS-5、MMP-3及COX-2表达,促进Bcl-xl表达相关。

基于多模态融合的城市道路场景视频描述模型研究

城市道路视频描述存在仅考虑视觉信息而忽视了同样重要的音频信息的问题,多模态融合算法是解决此问题的方案之一。针对现有基于Transformer的多模态融合算法都存在着模态之间融合性能低、计算复杂度高的问题,为了提高多模态信息之间的交互性,提出了一种新的基于Transformer的视频描述模型多模态注意力瓶颈视频描述(multimodal attention bottleneck for video captioning,MABVC)。首先使用预训练好的I3D和VGGish网络提取视频的视觉和音频特征并将提取好的特征输入到Transformer模型当中,然后解码器部分分别训练两个模态的信息再进行多模态的融合,最后将解码器输出的结果经过处理生成人们可以理解的文本描述。在通用数据集MSR-VTT、MSVD和自建数据集BUUISE上进行对比实验,通过评价指标对模型进行验证。实验结果表明,基于多模态注意力融合的视频描述模型在各个指标上都有明显提升。该模型在交通场景数据集上依旧能够取得良好的效果,在智能驾驶行业具有很大的应用前景。

基于多分支网络的道路场景实时语义分割方法

针对目前实时语义分割方法存在大目标分割不准确、小目标信息丢失的问题,提出一种基于多分支网络的实时语义分割算法。首先,对双边分割网络进行优化,设计了金字塔分支扩大感受野,以覆盖视野内的大目标,充分地将上下文信息结合起来;其次,设计双边指导融合模块,为深层和浅层的特征映射提供指导信息,弥补小目标信息的损失。最后在Cityscapes数据集上进行验证,实验结果表明所提模型以51.3 fps的推理速度使平均交并比达到77.8%,与基准相比,精度提高了2.5个百分点。所提方法采用金字塔分支,在扩大感受野的同时,获取不同尺度的语义边缘区域特性,增强对语义边界的建模能力,且提出的双边指导融合模块可以更有效地融合不同层次的特征,弥补下采样造成的信息丢失,能够更好地指导模型学习。

面向智能驾驶的行人多目标跟踪算法研究

多目标跟踪(multi-object tracking,MOT)是智能驾驶场景中的一个研究热点,大多数现代MOT网络遵循“逐检测跟踪”范式,跟踪目标的轨迹关联是其中一个急需解决的热点问题。针对场景混乱以及意外的遮挡造成的对象重叠往往会导致遗漏检测,进而增加了数据关联的难度等问题,提出融合注意力机制和无锚框检测的智能驾驶多目标跟踪算法PDTNet。将金字塔分割注意力模块融入深层聚合网络,提高多尺度特征的表示能力;设计一个简单Re-identification模块,将由无锚框检测器获得的目标检测与已有的跟踪轨迹相结合进行多步匹配,实现强鲁棒性的多目标跟踪。实验结果表明,在MOT16、MOT17数据集和BUUISE数据集上验证了算法的有效性,提高了多目标跟踪的检测准确率、关联准确率以及跟踪总精度等,在智能驾驶多目标跟踪场景中有很大应用。

基于递归特征金字塔的UPSNet全景分割应用研究

在学习研究全景分割方法UPSNet时,发现其骨干网络所提取的特征对子网络的分割结果起到了至关重要的影响。针对UPSNet全景分割算法所提取的特征不能更好地适用于语义分割和实例分割子网络的问题,对其进行改进,将递归特征金字塔网络结构融合到原网络中,提出基于递归特征金字塔的UPSNet全景分割改进算法。该结构将骨干网络提取的特征通过递归的方式二次反馈到骨干网络中,使其再训练得到更好的特征提供给子网络,提升了模型的鲁棒性,从而提升了原网络的性能。将改进的算法在Cityscapes数据集及自行标注的全景分割数据集上与UPSNet及其他优秀的全景分割网络进行了实验对比,结果证明,评价指标PQ(Panoptic Quality)有了较大的提升,改进后的网络更加适用于智能驾驶场景。

用平滑方法改进多关系朴素贝叶斯分类

为消除朴素贝叶斯分类时的零概率以及过度拟合问题,分析了各种概率平滑方法,给出了基于M估计的多关系朴素贝叶斯分类方法(MRNBC-M)和基于Laplace估计的多关系朴素贝叶斯分类方法(MRNBC-L),分析探讨了M平滑和Laplace平滑方法对多关系分类的影响情况,为进一步优化分类,方法基于扩展互信息标准对数据进行属性过滤。多关系标准数据集上的实验显示,MRNBC-M可以有效改进分类性能。

图像处理技术在河流动力学实验教学中的应用

基于图像处理技术,设计了含植物水流紊动及物质输运实验,通过学生自主开展实验方案设计、实验现场观察与实验结果分析,加强学生对河流动力学中河道水流紊动、泥沙起动及物质输运相关概念的理解,使学生熟练掌握相关理论知识、计算方法与监测技术。该实验教学对河流动力学课堂教学内容进行补充和拓展,并融合了科研中的前沿、交叉的科学问题,鼓励学生自主设计、独立分析,构建课堂教学-实验教学-科研反哺教学相辅相成的多元协同机制,有效提高了学生的实践能力和创新能力,增强了学生的科研兴趣,对人才培养模式改革和探索起到了一定的推动作用。

含植物水流动力特性研究进展

鉴于植物与水动力之间复杂的相互作用过程,从植物对水流的阻力作用、植物引起的紊动作用以及植物对波浪的消减作用三方面,综述了国内外含植物水流动力特性研究进展,总结了不同水动力条件下含植物河道Manning系数、拖曳力系数与植物特性之间的定量关系,讨论了植物引起的纵向流速垂向分布和紊动强度变化以及植物在海岸带波浪消减中起到的作用。针对目前含植物水流动力特性研究中存在的不足,指出植物拖曳力系数、含植物水流紊动特征、植物-水流-波浪耦合作用机理为今后研究的重点。

牛膝总皂苷在腰椎间盘突出症治疗中的研究进展

近年来,由腰椎间盘突出症引起腰痛的人群呈年轻化趋势,药物保守治疗是腰椎间盘突出症的首选治疗方式。对牛膝主要成分牛膝总皂苷(ABS)的相关研究表明,ABS具有抗炎、抗细胞凋亡、保护软骨细胞等作用。同时,ABS在治疗腰椎间盘突出症所引起疼痛方面有着不可忽略的临床疗效。本文综述ABS的作用及其治疗腰椎间盘突出症的相关机制,以期为更好地利用ABS治疗腰椎间盘突出症提供有价值的参考。

基于伪三维卷积神经网络的手势姿态估计

大多数现有的基于深度学习的手势姿态估计方法都使用标准三维卷积神经网络提取三维特征,估计手部关节坐标。该方法提取的特征缺乏手部的多尺度信息,限制了手势姿态估计的精度。另外,由于三维卷积神经网络巨大的计算成本和内存需求,这些方法常难以满足实时性要求。为了克服这些缺点,提出以空间滤波器和深度滤波器级联的方式模拟三维卷积,减少网络参数量。同时,在各个尺度上提取手势姿态特征并加以整合,充分利用手势的三维信息。实验表明,该方法能有效提高手势姿态估计精度,减小模型尺寸,且在具有单块GPU的计算机上能以超过119 fps的速度运行。

基于3D卷积神经网络的视频哈希算法

针对目前相似性视频检索方法中快速性和准确性仍无法满足用户要求等问题,提出了一种基于3D卷积神经网络的视频快速检索方法。该算法将3D卷积神经网络与哈希学习方法结合应用于视频数据,既能快速学习视频时空特征表示,又能极大地缩短视频检索时间。在常用视频数据集上的实验结果表明,利用所提出的方法对视频进行相似性检索性能优于当前主流方法。

基于浅三维稠密网的多模态手势识别算法

手势识别旨在理解人体的动态手势,是人机交互领域极其重要的交互方式之一。该方法通过将二维稠密网扩展为三维稠密网,并加入Inception结构,提出了一种基于浅三维稠密网的多模态手势识别方法,将其命名为Spatial Temporal 3D(ST3D) dense network。所提出的方法在手势识别公开数据集大规模离散手势数据集(IsoGD)上进行了评估,并取得了目前最好效果。实验证明,所提方法能够有效地学习到视频样本中手势的短期、中期以及长期时空特征。

基于深度学习的疲劳驾驶检测算法

为实现复杂驾驶环境下驾驶人员疲劳状态识别与预警,提出基于深度学习的疲劳驾驶检测算法。利用基于shuffle-channel思想的MTCNN模型检测常规摄像头实时采集的驾驶人员人脸图像,使用PFLD深度学习模型进行人脸关键点检测以定位眼部、嘴部和头部位置,从中提取眨眼频率、嘴巴张开程度和点头频率等特征参数,并通过多特征融合策略获取驾驶人员疲劳状态,从而实现疲劳驾驶的有效预警。实验结果表明,该算法给出的疲劳驾驶预警结果均未出现误判情况,具有较高的检测准确率和较好的鲁棒性。

基于显著性多尺度特征协作融合的行人重识别方法

由于背景信息复杂、遮挡等因素的影响,现有基于局部特征的行人重识别方法所提取的特征不具有辨别力和鲁棒性,从而导致重识别精度较低,针对该问题,提出一种基于显著性检测与多尺度特征协作融合的SMC-ReID方法。利用显著性检测提取行人中具有判别力的特征区域,融合显著性特征与全局特征并完成不同尺度的切块,将上述不同尺度的特征进行协作融合以保证特征切块后的连续性,根据全局特征和局部特征的差异性联合3种损失函数进行学习。在推理阶段,将各个尺度的特征降低到同一维度并融合成新的特征向量,以实现相似性度量。在行人重识别公开数据集Market1501、DukeMTMC-reID和CUHK03上进行实验,结果表明,SMC-ReID方法所提取的特征具有较强的可区分性和鲁棒性,识别准确率优于SVDNet和PSE+ECN等方法。

基于CNN与关键区域特征的人脸表情识别算法

为了克服目前公开的人脸表情数据集的数据量较少,并且有一些类别的表情表达存在一定的相似这两个因素对人脸表情识别率的影响,提出一种基于关键区域特征融合的人脸表情分类算法。算法首先提取人脸图像中表情表达的关键区域,然后分别提取关键区域的特征信息并融合,最终使用融合的特征进行分类。通过实验验证:算法在JAFFE和CK+公开数据集上均取得了较好的识别准确率。

基于Inliers跟踪统计的RGB-D室内定位与地图构建

室内移动机器人同时定位与地图构建(SLAM)的前端位姿估计与后端优化容易受运动模糊的干扰。为此,提出一种基于Inliers跟踪统计的室内定位与地图构建算法。对RGB图像进行特征提取和匹配,运用RANSAC算法得到Inliers后,通过对Inliers数量的跟踪与统计剔除受相机运动影响的模糊图像,然后利用最近邻迭代的非线性优化方法求解相机位姿。在此基础上,通过闭环检测和优化后的全局位姿拼接出运动轨迹和三维稠密点云图。实验结果表明,相对RGB-D SLAM算法,该算法能够有效提高SLAM系统的建图鲁棒性与精度。

基于局部特征关联与全局注意力机制的行人重识别

行人重识别的难点在于行人之间的结构信息差异较小导致特征难以区分。结合全局关系注意力机制与局部特征关联方法提出一种改进的特征关联算法。通过水平切分全局注意力机制的特征得到多个局部特征,并进行逐个关联识别,利用局部特征关联与全局语义信息提取关键特征信息。在此基础上,采用交叉熵与三元组损失函数训练处理后的局部特征。在CUHK03-Labeled、Market1501、DukeMTMC-reID数据集上的实验结果表明,该算法首位命中率分别为81.6%、95.6%、89.5%,相比GCP、MGN、BAS-reID等算法具有更强的识别能力与自适应性。