基于3D卷积神经网络的膏体屈服应力预测

膏体流变性能是膏体充填技术重要指标,是金属矿膏体充填工艺流程的重要工程参数.本文提出一种基于3D卷积神经网络的膏体屈服应力预测方法,通过制定图像采集标准并研发图像采集装置采集图像数据集.经Sobel算子实现膏体边缘检测、全图缩小等预处理,得到膏体图像数据集.采用十折交叉验证方法划分数据集,避免因单次随机划分造成的偶然误差.以膏体图像–屈服应力数据集为基础,利用3D卷积神经网络模型提取膏体纹理特征和时序信息等,又通过引入直方图均衡化算法的图像增强策略减少环境因素干扰,提高模型稳健性.利用预处理后的数据集在3D卷积神经网络模型上做训练和测试,得到模型损失值曲线图和混淆矩阵.将屈服应力模型预测结果进行分析,又引入卷积注意力机制嵌入到卷积神经网络实现模型优化,并对模型参数进行调整,模型预测平均准确率从93.26%提升至98.19%,论证了基于3D卷积神经网络的膏体屈服应力预测方法可行性.经图像增强处理的数据集应用到各模型中,模型预测平均准确率均提升3%以上.相比传统膏体流变测量方式,解决了传统膏体屈服应力测量操作复杂、外部因素扰动大、工程现场难以开展等问题.

基于Winograd算法的3D卷积神经网络权重剪枝方法

针对3D卷积神经网络在资源有限的环境下高计算成本的挑战,文章提出了一种融合Winograd算法和网络剪枝技术的3D卷积神经网络优化方法。首先,将标准3D卷积层替换为效率更高的3D Winograd层,实现对卷积操作的优化。接着,对3D Winograd层的权重进行重要性评估,保留重要的权重单元并剪枝获得稀疏模型。最后,对稀疏模型进行重训练,恢复剪枝后网络的性能。通过结合Winograd算法和网络剪枝技术,能够在提高识别准确度的同时,显著降低了模型的计算需求。实验结果证实,与其他优化技术相比,本方法能有效减少计算资源消耗,同时保持甚至提高识别性能。

基于改进3D卷积神经网络的疼痛检测

在临床实践中,精确评估疼痛对于疼痛管理和诊断至关重要.但传统的评估方法主观性高且依赖医生经验,迫切需要更可靠客观的替代方法.利用深度学习的方法实现基于面部表情的疼痛检测研究近年已取得显著进展,但复杂的结构和高计算成本制约了其实际应用.因此,本文提出了一个改进的3D卷积神经网络,采用轻量级的3D卷积神经网络L3D作为骨干网络,并结合改进的SE注意力机制,把多个不同尺度的特征进行融合,捕捉疼痛序列中具有较强辨别能力的时空特征.在UNBC-McMaster和BioVid数据集上进行评估,与最新方法相比,该方法在疼痛检测性能以及计算复杂度上取得了优势.

基于3D卷积神经网络的MPI新视点合成算法

多平面图像(Multiplane Image, MPI)能够构造出一种以相机为中心、按深度分层的三维场景显式表示,用于新视点合成研究与应用。由于MPI生成预测网络在训练时不能有效捕获深度平面间遮挡区域的空间特征,使得MPI合成的新视点图像往往存在明显的伪影和扭曲。为此提出利用3D卷积神经网络捕捉深度平面间的空间特征,用于提高对平面图像几何结构和Alpha值的预测能力,从而实现高质量MPI场景表示和新视点合成目标。在两个数据集上的数值实验表明,算法在窄基线视点外推和宽基线多视点内插任务中能够有效消除合成新视点图像中的伪影和扭曲。当参考视点水平基线宽度增大一倍且不增加MPI深度平面数量时,算法仍然能够有效地预测出不同深度平面的遮挡区域信息,从而保证了视点内插合成图像的质量。

基于融合多序列MRI的3D卷积神经网络评估脑胶质瘤患者生存预测应用研究

目的利用3D卷积神经网络融合多序列MRI数据探究脑胶质瘤患者生存风险概率。材料与方法回顾性分析来自河南省人民医院影像归档和通信系统的63例术前行颅脑MRI检查的脑胶质瘤患者病例资料(私有病例数据),收集患者的T1加权成像、T2加权成像、T1增强加权成像、液体衰减反转恢复序列数据,结合公开数据集癌症影像档案库(The Cancer Imaging Archive,TCIA)的500例脑胶质瘤患者病例资料,由两名神经影像诊断医师在MRI图像上手动勾画病灶感兴趣区,根据患者生存期分为高风险组、中风险组和低风险组,构建3D卷积神经网络深度学习模型,将数据集按照3∶1∶1的方式划分为训练集、验证集和测试集评估脑胶质瘤患者的生存风险概率。563例病例数据的60%用于训练模型(所有私有病例数据用于训练),20%用于验证方法,20%用于测试结果。结果训练集中高、中、低风险组的受试者工作特征曲线下面积(area under the curve,AUC)分别为0.81、0.79、0.86,验证集中高、中、低风险组的AUC分别为0.74、0.78、0.81,测试集中高、中、低风险组的AUC分别为0.72、0.74、0.75。结论基于多序列MRI的深度学习模型能够为脑胶质瘤患者的生存预测提供辅助支持,为医生临床诊断和预后预测等方面提供定量信息,具有重要的科学价值和临床意义。

基于3D卷积神经网络对局部晚期NSCLC患者的生存预测

目前关于非小细胞肺癌(NSCLC)患者生存分析的研究已经有很多,但是大多数都是在医生勾画出肿瘤的基础上进行影像组学特征提取,其次结合临床以及治疗前患者的肿瘤PET/CT图像特征进行生存分析的研究。在无医生勾画肿瘤的基础上,采用深度学习的方法,基于患者治疗前后FDG-PET是否可以对局部晚期NSCLC患者进行生存分析。在采用治疗前和治疗后FDG-PET时,基于3D卷积神经网络(3D CNN)的深度生存模型的一致性指数(C-index)为0.67。研究表明,同时使用治疗前后PDG-PET进行阅片可以预测出患者的风险概率。

基于改进3D卷积神经网络的行为识别

鉴于基于视频的人体行为识别中的视频流数据过于庞大,3D卷积核参数设置过多,存在训练时间较长,调参困难等问题,以3D卷积神经网络为基础,提出一种将3D卷积核拆分成空间域和时间域两种卷积核的神经网络结构。两种卷积核分别形成两个数据流进行交互,同时引入残差网络以优化网络结构,减少参数设置。将所提方法应用于两个行为识别数据集KTH和UCF101上进行训练验证,其行为识别准确率分别为96.2%和90.7%。结果表明,较改进前的神经网络框架,所提方法在保证动作识别准确度的前提下,训练速度提高了7.5%~7.8%。该方法可以有效降低深度学习进行行为识别的硬件要求,提高模型训练效率,并可以广泛应用于智能机器人领域。

多模态3D卷积神经网络脑部胶质瘤分割方法

由于大多数脑部胶质瘤边界有水肿且内部结构复杂,分割胶质瘤及瘤内结构难度较大。提出一种新的基于多模态MRI 3D卷积神经网络(CNN)脑部胶质瘤及瘤内各结构的自动分割算法。首先,标准化由T1、T1c、T2、FLAIR 4个MRI模态组成的输入图像。其次,构建10个卷积层,2个全连接层的3D CNN。卷积层采用3×3×3的3D卷积核;全连接层采用PRe Lu激励函数,并结合dropout技术防止过拟合。构建的3D CNN分割胶质瘤和瘤内各结构精度高,与专家手动分割的结果接近。实验结果表明,构建的多模态3D CNN能够准确地分割MRI多模态图像脑部胶质瘤及瘤内各结构,具有重要的临床意义。

基于3D卷积神经网络的活体人脸检测

非法入侵者通过伪装人脸骗取系统认证,给人脸认证系统带来了严重的威胁。因此,活体人脸检测成了人脸认证系统走向实用必须解决的一个重要课题。现有活体人脸检测方法多为基于照片的人脸攻击方面的研究成果,对于基于视频的人脸攻击,效果并不理想。3D卷积神经网络(Convolutional Neural Network,CNN)具有深度学习的特点,能自动学到图像的分布式特征表示;与2D卷积相比,它能学到连续视频帧的动作信息。本文结合3D卷积神经网络的特性,提出利用3D卷积实现视频人脸伪装检测。通过提取3D卷积神经网络最后全连接层学到的时间空间特征,训练SVM(Support Vector Machine)分类器,实现真实人脸和伪装人脸的分类。实验采用两个人脸伪装公开数据库Replay Attack和CASIA,实现多尺度内部数据库测试和交叉数据库测试。实验结果相对于纹理特征及2D卷积方法有较大提高,可应用于视频人脸攻击的活体人脸检测。

多维度自适应3D卷积神经网络原子行为识别

针对现有的3D卷积神经网络(3D Convolutional Neural Networks,3DCNN)行为识别算法将输入视频分块划分为固定长度,其包含的行为信息可能冗余或不全的问题,提出了解决方案。利用人体运动质点轨迹的特性定义了人体原子行为;以原子行为的长度作为视频分块的长度进行视频划分,得到包含完整信息的人体行为。3DCNN要求输入数据必须是相同维度,而原子行为视频块长度不同。为此改进了空间金字塔池化(3D Spatial Pyramid Pooling,3D SPP)技术,以适用于不同长度视频处理。把SPP层放置在全连接层前,处理3DCNN卷积层输出的不同长度特征图,以输出相同长度特征向量。与相关算法相比,实验数据说明该算法对输入数据要求更低,由于视频分块信息的完整性,识别率有显著提高。

基于3D卷积神经网络的IR-BCI脑电视频解码研究

采用3D卷积神经网络模型,对脑电信号进行解码研究,旨在挖掘其深层的特征表达,以提高脑-机接口系统的性能.实验在获取“模拟阅读”脑-机接口系统的多维脑电信号后,将原始的通道特征构建成“脑电视频”的格式.其构造方法为:将通道按实际空间排布为二维矩阵,这样某时刻的多通道采样点在空间上形成一个“视频帧”,这些空间信息在连续时间帧上的堆叠,形成“脑电视频”.这种自然表达信息的方法,不仅包含大脑的空间分布信息,还反映了时间信息的关联,丰富了数据所包含的事件相关信息.借鉴图像领域特征学习的“局部感受野”和“权值共享”思想,搭建了自主学习脑电信号特征的3D卷积神经网络模型,将已打标签的脑电视频数据对模型进行训练,之后对测试集进行测试.与经典的卷积神经网络和传统的最佳单通道算法相比,分类正确率有了进一步的提高.实验表明,基于脑电视频的3D卷积神经网络能够更有效地学习脑电特征,改善了模拟阅读脑-机接口系统的性能.

基于3D卷积神经网络的区域降雨量预报

准确的区域降水量预报,在气象服务领域一直是非常重要的问题。短时降雨量预报的目标是在未来短期(0~6小时)内,对当地区域的降雨强度进行精确和及时的预测。气象站通过预测的短期降雨量数据,与观测的天气预报气象数据进行整合,能够发布城市紧急降雨警报,提供有效的防汛防洪信息。本文根据自动站检测的周边历年降水量数据,以及气象站观测的区域上空不同高度的多普勒雷达回波外推图,提出一种基于深度学习方法的降雨预测模型。所提出的模型基于3D卷积神经网络(3D Convolution Neural Network),将所建立的网络模型应用于降雨预测的回归问题,并利用合适的指标对模型精度进行评价,对高精度下特定区域的短时期降雨量进行预测。通过实验,在不同网络结构下进行分析对比实验预测值与观测值的均方根误差达到了6以下。该方法能够对区域上空未来短期的降雨量进行准确的预测。该训练模型在气象站整年的数据中预测稳定。

基于注意力机制的3D卷积神经网络孤立词手语识别

手语识别可以使聋哑人与健全人之间的交流更加便捷,随着深度学习领域的快速发展,手语识别领域迎来了新的机遇.本文以孤立词手语识别为研究对象,针对手语数据冗余、信息多的问题,提出了一种基于3D卷积神经网络的手语识别新方法.通过提取手部区域和关键帧去除手语视频中的冗余信息,改进C3D网络模型结构并引入注意力机制,重点关注语义信息丰富的视频帧,使用余弦退火学习率下降算法提高模型的收敛速度.在DEVISIGN-D手语数据集上,与3种手语识别算法做了实验对比,实验结果表明,该方法能很好地识别孤立词手语,top-5准确率达到了98.4%.

基于3D卷积神经网络的手语动作识别

为了提高3D卷积神经网络在进行动态手语识别任务时的准确率,参考Resnet50网络提出了一种双通道的时空特征提取网络。该网络包含一个高采样频率分支和一个低采样频率分支,分别关注图像中的运动信息和语义信息,最终融合两个分支提取到的特征完成分类识别。在公开数据集UCF-101和自建手语数据集上完成实验验证,结果表明该网络能够充分捕捉时间特征信息和空间特征信息,对人体动作识别与手语动作识别均具有较高的识别能力。

基于多输出的3D卷积神经网络诊断阿尔兹海默病

随着人口老龄化的加深,阿尔兹海默疾病更加大众化地出现在我们生活中,而早期精准诊断阿尔兹海默疾病并进行正向干预可有效延缓阿尔兹海默疾病的进程.基于磁共振图像的阿尔兹海默疾病的精准诊断需要综合利用多个感兴趣区域(ROIs)的信息,而单个ROI无法体现不同ROIs之间存在的联系与影响.本文首先提出三输入3D卷积神经网络(CNN),综合利用大脑3D磁共振图像中海马体、灰质(无海马体)和白质3个ROIs的信息.此外,随着神经网络的加深,原始图像的重要特征信息会部分丢失,因此我们又提出一种多输出3D CNN,通过增加中间层的连接和输出,缩短输入和输出之间的距离,增强特征传播,减少特征信息的丢失.结果显示采用多输出3DCNN模型实现整个测试集三分类的准确率为90.5%、精确率为91.0%、灵敏度为90.4%、特异性为95.2%、F1-score为90.5%,诊断性能优于单输出3D CNN模型.

基于3D卷积神经网络的中耳疾病高分辨率CT图像辅助分类诊断模型的应用

目的:慢性化脓性中耳炎(chronic suppurative otitis media, CSOM)和中耳胆脂瘤(middle ear cholesteatoma,MEC)是两类临床上最常见的慢性中耳疾病。在诊疗过程中,该两类疾病因具有类似的临床表现,容易造成误诊及漏诊。高分辨率计算机断层扫描(high resolution computed tomography,HRCT)能清晰地显示颞骨的精细解剖结构,准确地反映中耳病变情况及病变范围,对慢性中耳疾病的鉴别诊断具有优势。本研究开发一种基于颞骨HRCT影像数据,对慢性中耳疾病实施自动信息提取与分类诊断的深度学习模型,旨在提高临床上对慢性中耳疾病的分类诊断效率,减少漏诊及误诊的发生。方法:回顾性收集2018年1月至2020年10月于湘雅医院耳鼻咽喉科住院的慢性中耳疾病患者的临床病历及颞骨HRCT影像资料。由2名经验丰富的耳鼻咽喉科医师独立审查患者的医疗记录,并对最终诊断达成一致结论。最终纳入499例患者(998侧耳),将998侧耳分为3组:MEC组(108侧耳)、CSOM组(622侧耳)、正常组(268侧耳)。使用不同方差的高斯噪声进行数据集样本扩增处理,以此消除组间样本数量的不平衡。经扩增后的实验数据集样本量为1 806侧耳,实验中随机选择75%(1 355侧耳)用于训练,10%(180侧耳)用于验证,剩余的15%(271侧耳)用于测试并评估模型性能。模型整体设计为串联式结构,设置具有3种不同功能的深度学习模型:第一种是区域推荐网络算法,从整体HRCT图像中搜索中耳部分的图像进行切割、保存;第二种是基于孪生网络结构的图像对比卷积神经网络(convolutional neural network,CNN),从切割好的图像中搜索与HRCT图像关键层面匹配的图像,并进行3D数据块的构建与保留;第三种是基于3D-CNN操作,用于对3D数据块进行分类诊断,并给出最后的预测概率。结果:基于孪生网络结构的特殊层面搜索网络在10个特殊层面上表现出了0.939的平均AUC值。基于3D-CNN的分类网络整体准确度为96.5%,整体召回率为96.4%,3种判类结果的平均AUC值为0.983。预测结果中的CSOM病例召回率为93.7%,MEC病例召回率为97.4%。在后续进行的对比实验上,一些经典的CNN平均精确度为79.3%,平均召回率为87.6%。本研究构建的深度学习网络的准确度比普通的CNN提升约17.2%,召回率提升约8.8%。结论:本研究构建的深度学习网络模型可以自动从患者颞骨HRCT影像数据中提取含有中耳特征的3D数据块,在降低数据整体规模的同时保存了对应图像间的关系,可进一步使用3D-CNN进行CSOM与MEC的分类诊断。该模型的设计很好地结合了HRCT数据的连续性,实验结果准确度高,适应性广,优于目前常用的CNN方法。

基于C3D卷积神经网络人体动作识别方法改进

针对C3D卷积神经网络存在网络结构较浅、输入图像分辨率较低、训练过程中易产生过拟合现象等问题,该文设计了基于C3D卷积神经网络的人体动作识别改进算法。对3D卷积核进行分解,采用时空分离的(2+1)D卷积方式代替3D卷积;加深网络结构,增加一层(2+1)D卷积层和一层3D池化层,使输入图像由16帧112×112提升至32帧224×224;同时在每个(2+1)D卷积层后加入BN层,减少了训练过程梯度弥散。改进后的网络模型相较于原网络以及其他相关方法有更高的识别精度。

基于3D卷积神经网络的动态手势识别模型

在不带有标志帧的手势视频上进行动态手势识别,容易导致识别准确率下降。提出一种具有分级网络结构的动态手势识别模型。以手势检测模型为第1级网络,手势分类模型为第2级网络,分步完成识别任务。同时,将三维卷积核拆分为时间域和空间域卷积分阶段完成任务,解决三维卷积神经网络中因参数过多造成模型训练或运行时间过长的问题。实验结果表明,在保证实时性的前提下,该模型在EgoGesture数据集上的识别准确率高达93.35%,优于C3D、ResNeXt101、MTUT等模型。

基于3D卷积神经网络的CSI跨场景手势识别方法

手势识别在人机交互中有着广泛的应用前景,近年来随着无线通信与物联网的飞速发展,几乎任何地方都部署了WiFi设备,并涌现了大批关于WiFi信道状态信息(Channel State Information,CSI)的手势识别方法,目前大多数基于CSI手势识别的研究仅针对了已知场景下的手势识别研究,对于未知场景,需要增加未知场景中的新数据进行额外的学习训练,否则识别精度将会大幅下降,限制了其实用性。针对这一问题,提出了一种基于3D卷积神经网络的CSI跨场景手势识别方法,该系统通过提取与场景无关的特征,并结合3D卷积神经网络学习模型来实现跨场景手势识别,在实验中使用网络公开数据集来验证该方法,结果显示该方法对于6个不同动作手势,在已知场景中的平均识别准确率达到了86.50%,在未知场景中的平均识别准确率达到了84.67%,能够实现跨场景的手势识别。

基于3D卷积神经网络的装配动作识别

为了实现对工人装配动作的监测,提高装配质量和效率、降低成本,研究了基于深度学习的装配动作识别方法。采集9类常见装配动作的视频图像,建立了装配动作的数据集。并使用该数据集训练3D卷积神经网络模型,不断优化网络结构,构建了由6个3D卷积层、5个最大池化层、两个全连接层和一个输出层构成的3D神经网络模型。最后在装配动作数据集上进行了测试,结果表明构建的3D卷积神经网络模型可以很好的识别装配动作,识别准确率达到了88.5%。研究成果对大批量定制生产中装配动作的识别和装配质量监测具有一定的参考意义。