基于深度学习的野生动物图像识别研究综述

国家对生态文明建设重视程度的不断加深及计算机能力的重大突破,为实现更高效准确的野生动物图像识别提供了新的契机,基于计算机视觉的深度学习(DL)技术在图像识别领域发挥出巨大的优势。将深度学习算法应用于野生动物图像识别中可以捕捉到更加细致准确的野生动物信息,可以更好地帮助管理者对野生动物进行识别与监测,保护生态环境与物种多样性。本文从公开数据集与野外数据采集两方面入手,剖析了深度学习的研究现状,介绍了深度学习算法在野生动物图像识别上的研究进展,重点介绍区域卷积神经网络(R-CNN)、YOLO系列算法的现状,旨在为更高效的野生动物图像识别提供理论依据,为图像识别提供新的思路。

用于位置信息辅助复杂人体行为识别的新型深度学习框架

随着近年来智能生活理念的普及和可穿戴终端技术的快速发展,基于传感器数据的人体行为识别(human activity recognition,HAR)已引起广泛关注,并且具有重要的学术研究和商业应用价值。该文研究了增强HAR模型对用户日常简单行为(simple activity,SA)和复杂行为(complex activity,CA)的识别,并提出了一个深度学习(deep learning,DL)模型。首先,使用两个可公开获取的数据集UCI HAR和Shoaib CHA,并对其进行标准化处理。其次,使用所提出的模型提取各种动作的特征,进行人体行为识别。鉴于用户行为和位置之间的高度关联,通过独热编码技术将位置信息集成到数据集中,以提高模型的分类性能。此外,将所提出的模型与8种经典机器学习(machine learning,ML)算法和6种DL算法进行了对比。最后,评估了不同行为类型对HAR模型识别性能的影响。实验结果表明,所提出的模型在UCI HAR和Shoaib CHA数据集上的最高分类准确率分别达到了96.77%和99.13%。通过向数据集添加位置信息,HAR模型对SA和CA的分类准确率得到了显著提高。

基于随机森林算法和粗糙集理论的改进型深度学习短期负荷预测模型

精准的电力负荷预测有利于保障电力系统的安全、经济运行。针对现行预测算法存在的预测准确度低、模型耗时长等问题,提出一种基于随机森林(random forest,RF)算法和粗糙集理论(rough set theory,RST)的改进型深度学习(deeplearning, DL)短期负荷预测模型(RF-DL-RST)。该模型首先基于历史数据,利用随机森林算法提取影响负荷预测的关键特征量;然后将关键特征量和历史负荷值作为深度神经网络的输入、输出项进行训练,并通过粗糙集理论修正预测结果。最后,通过算例进行仿真验证,结果表明,该模型的预测准确度比单一的深度学习模型及不进行预测修正的模型更高。

深度学习功能在重症监护病房患者死亡关联因素预测中的应用

目的利用FP-Growth和Apriori算法的深度学习(deep learning,DL)功能预测重症监护病房(ICU)患者院内死亡的关联因素。方法筛选美国重症监护医学信息数据库-Ⅲ(medical information mart for intensive care-Ⅲ,MIMIC-Ⅲ)中患者10000例,包含死亡患者1320例,收集其基线资料进行回顾性研究。使用SPSS Modeler 18.0软件编制FP-Growth和Apriori算法程序,通过DL功能计算1320例死亡患者的基线资料间有效强关联规则。对全部患者行Logistic回归分析导致死亡的独立风险因素。参考Logistic回归分析对患者死亡风险的预测结果来验证DL功能的预测结果。结果通过DL功能计算获得死亡患者的基线资料间有效强关联规则9项,其前项包括:年龄、急性生理学与慢性健康状况评估系统Ⅱ(APACHEⅡ)评分、序贯器官衰竭评分(SOFA)、院内感染、机械通气、动静脉插管、动静脉插管时间、导尿管插管。除“肝脏疾病”和“昏迷”外,DL功能同Logistic回归分析预测结果高度一致。两种方法预测结果的比较在一定程度上证实DL功能的科学性和可靠性。结论基于FP-Growth和Apriori算法的DL功能可用于预测ICU患者死亡的关联因素,具有一定应用和推广价值。

深度学习在自然语言处理领域的研究进展

通过定量与定性相结合的方式全面分析了深度学习在自然语言处理领域的研究情况。采用CiteSpace和VOSviewer对深度学习在自然语言处理领域的研究国家、机构、期刊分布、关键词共现、共被引网络聚类及时间轴视图等进行知识图谱绘制,理清研究脉络。通过深入挖掘领域内的重要文献,总结深度学习在自然语言处理领域的研究趋势、存在的主要问题或发展瓶颈,并给出相应的解决办法与思路。对于如何跟踪深度学习在自然语言处理领域的研究成果给出建议,为该领域的后续研究与发展提供参考。

基于深度学习的新闻推荐算法研究综述

新闻推荐(NR)可以有效缓解新闻信息过载,是当今人们获取新闻资讯的重要方式,而深度学习(DL)成为近年来促进新闻推荐发展的主流技术,使新闻推荐的效果得到显著提升,受到研究者们的广泛关注。主要对基于深度学习的新闻推荐方法研究现状进行分类梳理和分析归纳。根据对新闻推荐的核心对象——用户和新闻的建模思路不同,将基于深度学习的新闻推荐方法分为“两段式”方法、“融合式”方法和“协同式”方法三类。在每类方法中,根据建模过程中的具体子任务或基于的数据组织结构进行更进一步细分,对代表性模型进行分析介绍,评价其优点和局限性等,并详细总结每类方法的特点和优缺点。另外还介绍了新闻推荐中常用数据集、基线算法和性能评价指标,最后分析展望了该领域未来可能的研究方向及发展趋势。

基于变革性经验教学方法的深度学习——以“碳酸钠和碳酸氢钠的性质”课堂教学为例

深度学习(DL)不仅包含学生的认知过程,也涉及丰富的情感世界。变革性经验(TE)注重知识联系生活、理论联系实际。将TE运用至具体的课堂情境中,促进课堂知识的内化过程,最终达成深度学习目的。着重介绍变革性经验教学方法及其在化学课堂中的实际运用,为广大学者进一步研究深度学习提供方向。

基于深度学习的信号调制自动识别

深度学习(DL)在很多领域都显示出强大的生命力,但它很少涉及无线通信。本文提出了一种基于深度卷积神经网络的信号调制自动识别方法,以解决无线通信中的常见问题。该算法通过深度学习的深度卷积神经网络自动提取图像的各种特征细节,以在各种信噪比条件下实现信号调制类型准确识别。该方法使用图像处理GPU构建VGGNet,在深度学习架构Tensorflow下自动识别MPSK和MQAM中的10种调制信号。仿真结果表明,当信噪比为5dB时,各种信号的最小识别精度为96.7%。与其他方法相比,该方法更好。

深度学习神经网络在肝癌诊疗中的研究及应用前景

原发性肝癌(肝癌)是2020年全球第五大最常见的癌症和第二大癌症相关死亡原因[1]。2003~2015年肝癌是我国第三常见的恶性肿瘤,5年生存率12.1%,在所有侵袭性癌症中排名第二[2]。可以说肝癌一直是困扰我国国民健康的重大健康问题,随着医疗设备、药品开发和治疗技术的飞跃,数十年内肝癌的在诊断和治疗上经历了一个又一个突破性进展。然而,数千年来,以一位医师或几位医师组成的多学科团队依据其理论基础和既往经验综合分析患者的临床数据进行疾病诊断和治疗为核心的医疗模式从未改变。近年来,人工智能(artificial intelligence,AI)的快速发展逐渐显示出对这一核心医疗模式的重大挑战。特别是深度学习(deep learning,DL)的出现,尤其凭借其在图像处理方面显示的独特优势,可能会在医学领域带来划时代的变化。

基于U1-net网络的放疗脑肿瘤靶区分割

文章基于全卷积神经网络(fully convolutional network,FCN)的U-net网络,并通过对U-net网络的调整,构建适用于脑肿瘤图像分割的U1-net网络。U1-net网络由卷积层、最大池化层、反卷积层和激活函数4个部分组成。通过在公共数据集BRATS 2015上的实验验证了该网络的有效性。实验结果表明,该网络能适应脑肿瘤轮廓取得较好的分割效果,在脑肿瘤的完整肿瘤区、核心肿瘤区、增强肿瘤区的Dice相似系数(Dice similarity coefficient,DSC)分别为0.95、0.85、0.83。

基于显著性局部定向模式和深度学习的鲁棒人脸识别

针对传统人脸识别算法特征提取不充分和对噪声敏感的问题,提出了一种基于显著性局部定向模式(SLDP)和深度学习(DL)的人脸识别算法。首先基于信息的显著性提出一种改进的SLDP人脸描述方法,在利用局部井型领域梯度信息的基础上,使用两组梯度值中各自最大值和次大值的方向编码成二位八进制数,从而形成改进的SLDP编码,通过统计选出最具有显著性的SLDP编码作为特征向量;然后将改进的SLDP编码作为深度神经网络(DBN)的输入,通过逐层贪婪训练网络,获得良好的网络参数,并用训练好的网络对测试样本进行预测。仿真实验表明,本文所提出的人脸识别算法相对于传统识别算法识别率高,并且在对抗噪声方面比其它算法更具有鲁棒性。

可解译深度网络的多光谱遥感图像融合

目的多光谱图像融合是遥感领域中的重要研究问题,变分模型方法和深度学习方法是目前的研究热点,但变分模型方法通常采用线性先验构建融合模型,难以描述自然场景复杂非线性关系,导致成像模型准确性较低,同时存在手动调参的难题;而主流深度学习方法将融合过程当做一个黑盒,忽视了真实物理成像机理,因此,现有融合方法的性能依然有待提升。为了解决上述问题,提出了一种基于可解译深度网络的多光谱图像融合方法。方法首先构建深度学习先验描述融合图像与全色图像之间的关系,基于多光谱图像是融合图像下采样结果这一认知构建数据保真项,结合深度学习先验和数据保真项建立一种新的多光谱图像融合模型,提升融合模型准确性。采用近端梯度下降法对融合模型进行求解,进一步将求解步骤映射为具有明确物理成像机理的可解译深度网络架构。结果分别在Gaofen-2和GeoEye-1遥感卫星仿真数据集,以及QuickBird遥感卫星真实数据集上进行了主客观对比实验。相对于经典方法,本文方法的主观视觉效果有了显著提升。在Gaofen-2和GeoEye-1遥感卫星仿真数据集,相对于性能第2的方法,本文方法的客观评价指标全局相对无量纲误差(relative dimensionless global error in synthesis,ERGAS)有效减小了7.58%和4.61%。结论本文提出的可解译深度网络,综合了变分模型方法和深度学习方法的优点,在有效保持光谱信息的同时较好地增强融合图像空间细节信息。

深度医学图像配准研究进展:迈向无监督学习

在疾病诊断、手术引导及放射性治疗等图像辅助诊疗场景中,将不同时间、不同模态或不同设备的图像通过合理的空间变换进行配准是必要的处理流程之一。随着深度学习的快速发展,基于深度学习的医学图像配准研究以其耗时短、精度高的优势吸引了研究者的广泛关注。本文全面整理了2015—2019年深度医学图像配准方向的论文,系统地分析了深度医学图像配准领域的最新研究进展,展现了深度配准算法研究从迭代优化到一步预测、从有监督学习到无监督学习的总体发展趋势。具体来说,本文在界定深度医学图像配准问题和介绍配准研究分类方法的基础上,以相关算法的网络训练过程中所使用的监督信息多少作为分类标准,将深度医学图像配准划分为全监督、双监督与弱监督、无监督医学图像配准方法。全监督配准方法通过采用随机变换、传统算法和模型生成等方式获取近似的金标准作为监督信息;双监督、无监督配准方法通过引入图像相似度损失、标签相似度损失等其他监督信息以降低对金标准的依赖;无监督配准方法则完全消除对标注数据的需要,仅使用图像相似度损失和正则化损失监督网络训练。目前,无监督医学图像算法已经成为医学图像配准领域的研究重点,在无需获得代价高昂的标注信息下就能够取得与有监督和传统方法相当甚至更高的配准精度。在此基础上,本文进一步讨论了医学图像配准研究后续可能的4个未来挑战,希望能够为更高精度、更高效率的深度医学图像配准算法的研究提供方向,并推动深度医学图像配准技术在临床诊疗中落地应用。

Ghost引导UNet++的高分遥感影像变化检测

目的 随着遥感观测技术的飞速发展,遥感影像的分辨率越来越高,如何从高分遥感影像中有效提取具有鉴别性的特征进行地物变化检测成为一个具有挑战性的问题。卷积神经网络广泛应用于计算机视觉领域,但面向遥感影像变化检测时仍存在图像语义或位置信息的丢失及网络参数量过大等缺陷,导致检测性能受限。为此,提出一种新型GUNet++(Ghost-UNet++)网络,用于遥感影像的精准变化检测。方法 首先,为了提取双时相遥感影像更具判别性的深度特征,设计具有多分支架构的高分辨率网络HRNet替换传统UNet++的主干网;其次,采用UNet++解码结构进行差异判别时,引入鬼影(Ghost)模块代替传统卷积模块以降低网络参量,并设计密集跳跃连接进一步加强信息传输,以减少深层位置信息的丢失;最后,设计一个集成注意力模块,将网络的多个语义层次特征进行聚合和细化,抑制语义和位置信息的丢失,进一步增强特征表征能力用于最终的精准变化检测。结果 在LEVIR-CD(LEVIR change detection data set)和Google Data Set两个公开数据集上进行实验,结果表明本文算法变化检测精度高达99.62%和99.16%,且网络参数量仅为1.93 M,与现有主流变化检测方法相比优势明显。结论 提出方法综合考虑了遥感图像中语义和位置信息对变化检测性能的影响,具有良好的特征抽取和表征能力,因此变化检测的精度和效率比现有同类方法更高。

三维人脸成像及重建技术综述

得益于新型三维视觉测量技术及深度学习模型的飞速发展,三维视觉成为人工智能、虚拟现实等领域的重要支撑技术,三维人脸成像及重建技术取得了突破性进展,不仅能够更好地应对光照、遮挡、表情和姿态等变化,同时增大了伪造攻击难度,大大推动了真实感“虚拟数字人”的重建与渲染,有效提升了人脸系统的安全性。本文对三维人脸成像技术和重建模型进行了全面综述,尤其对基于深度学习的三维人脸重建进行系统深入地分析。首先,对三维人脸成像设备及采集系统进行详细梳理及对比归纳,并介绍了基于新传感技术的人脸成像系统;然后,对基于深度学习的三维人脸重建模型进行系统分析,从输入数据源角度分为基于单目图像、基于多目图像、基于视频和基于语音的三维人脸重建算法4类。通过深入分析,总结三维人脸成像的研究现状及面临的难点与挑战,对未来发展方向及应用进行积极探讨与展望。本文涵盖了近5年经典的三维人脸成像及重建相关的技术与研究,为人脸研究、发展和应用提供了很好的参考。

基于两级分割的胎儿四腔心超声切面质量评测

目的为解决基于深度学习算法在执行胎儿四腔心超声切面图像质量评测时无法准确反映心脏区域中瓣膜与房室间隔及心室心房区域的可见程度问题,提出一种目标检测与两级分割相结合的胎儿四腔心超声切面图像质量评测方法。方法首先利用自行构建的胎儿超声切面数据集训练主流的YOLOv5x(you only look once v5x)模型,实现四腔心区域与胸腔区域的有效定位。当检测到四腔心区域在胸腔区域内时,将其视为感兴趣区域送入训练好的U2-Net模型,进一步分割出包含心房室及瓣膜的部分。然后利用形态学算子去除其外围可能存在的少许心脏外膜区域得到四腔心内区域后,通过直方图修正与最大类间方差法(OTSU)相结合的方法分割出瓣膜连同房室间隔区域,并通过减法操作得到心室心房区域的分割图。最后通过联合胎儿四腔心超声切面图像中瓣膜连同房室间隔与心室心房区域的面积之比、瓣膜与房室间隔区域以及心室心房区域的平均灰度构建评分公式与评分标准,实现胎儿四腔心超声切面图像质量的有效评测。结果在胸腔和四腔心区域的检测任务上的mAP@0.5、mAP@0.5-0.95和召回率分别为99.5%、84.6%和99.9%;在四腔心内部区域分割任务上的灵敏度、特异度和准确度分别为95.0%、95.1%和94.9%;所提质量评测方法在所构建的A、B、C三类评测数据集上分别取得了93.7%、90.3%和99.1%的准确率。结论所提方法的评测结果与医生主观评测结果相近,具有较好的可解释性,拥有良好的实际应用价值。

融合稀疏注意力和实例增强的雷达点云分割

目的雷达点云语义分割是3维环境感知的重要环节,准确分割雷达点云对象对无人驾驶汽车和自主移动机器人等应用具有重要意义。由于雷达点云数据具有非结构化特征,为提取有效的语义信息,通常将不规则的点云数据投影成结构化的2维图像,但会造成点云数据中几何信息丢失,不能得到高精度分割效果。此外,真实数据集中存在数据分布不均匀问题,导致小样本物体分割效果较差。为解决这些问题,本文提出一种基于稀疏注意力和实例增强的雷达点云分割方法,有效提高了激光雷达点云语义分割精度。方法针对数据集中数据分布不平衡问题,采用实例注入方式增强点云数据。首先,通过提取数据集中的点云实例数据,并在训练中将实例数据注入到每一帧点云中,实现实例增强的效果。由于稀疏卷积网络不能获得较大的感受野,提出Transformer模块扩大网络的感受野。为了提取特征图的关键信息,使用基于稀疏卷积的空间注意力机制,显著提高了网络性能。另外,对不同类别点云对象的边缘,提出新的TVloss用于增强网络的监督能力。结果本文提出的模型在SemanticKITTI和nuScenes数据集上进行测试。在SemanticKITTI数据集上,本文方法在线单帧精度在平均交并比(mean intersection over union,mIoU)指标上为64.6%,在nuScenes数据集上为75.6%。消融实验表明,本文方法的精度在baseline的基础上提高了3.1%。结论实验结果表明,本文提出的基于稀疏注意力和实例增强的雷达点云分割方法在SemanticKITTI和nuScenes数据集上都取得了较好表现,提高了网络对点云细节的分割能力,使点云分割结果更加准确。

医学图像描述综述:编码、解码及最新进展

随着医疗成像技术的不断提升,放射科医师每天要撰写的医学报告也与日俱增。深度学习兴起后,基于深度学习的医学图像描述技术用于自动生成医学报告,取得了显著效果。本文全面整理了近年来深度医学图像描述方向的论文,包括这一领域的最新方法、数据集和评价指标,分析了它们各自的优劣,并以模型结构为线索予以介绍,是国内首篇针对医疗图像描述任务的综述。现今的深度医疗图像描述技术主要以编码器—解码器结构为基础进行拓展,包括但不局限于加入检索方法、模板匹配方法、注意力机制、强化学习和知识图谱等方法。检索和模板匹配方法虽然简单,但由于医学报告的特殊性仍在本任务上有不错的效果;注意力机制使模型产生报告时能关注图像和文本的某一部分,已经被几乎所有主流模型所采用;强化学习方法突破了医疗图像描述任务中梯度下降训练法与离散的语言生成评价指标不匹配的瓶颈;知识图谱方法则融合了人类医生对于疾病的先验知识,有效提高了生成报告的临床准确性。此外,Transformer等新型结构也正越来越多地取代循环神经网络(recurrent neural network,RNN)甚至卷积神经网络(convolutional neural network,CNN)的位置成为网络主干。本文最后讨论了目前深度医疗图像描述仍需解决的问题以及未来的研究方向,希望能推动深度医疗图像描述技术真正落地。

面向房颤分析的左心房分割方法综述

房颤是一种起源于心房的心脏疾病。据估计全球有超过3 000万人受其影响,虽然通过治疗可以降低患病风险,但房颤通常是隐匿的,很难及时诊断和干预。房颤的诊断方法主要有心脏触诊、光学体积描记术、血压监测振动法、心电图和基于影像的方法。房颤类型主要为阵发性房颤,前4种诊断方法不一定能捕捉到房颤发作,而且诊断周期长、成本高、准确率低及容易受医生的影响。左心房的解剖结构为房颤病理和研究进展提供了重要信息,基于医学影像的房颤分析需要准确分割左心房,通过分割结果计算房颤的临床指标,例如,射血分数、左心房体积、左心房应变及应变率,然后对左心房功能进行定量评估。采用影像的方法得出的诊断结果不易受人为干扰且具有处理大批量患者数据的能力,辅助医生及早发现房颤,对患者进行干预治疗,提高对房颤症状和临床诊断的认识,在临床实践中具有重大意义。本文将已有的分割方法归纳为传统方法、基于深度学习的方法以及传统与深度学习结合的方法。这些方法得到的结果为后续房颤分析提供了依据,但目前的分割方法许多都是半自动的,分割结果不够精确,训练数据集较小且依赖手工标注。本文总结了各种方法的优缺点,归纳了目前已有的公开数据集和房颤分析的临床应用,并展望了未来的发展趋势。