深度学习的自然场景文本识别方法综述

自然场景文本识别在学术研究和实际应用中具有重要价值,已经成为计算机视觉领域的研究热点之一。然而,识别过程存在文本风格多样、背景环境复杂等挑战,导致识别效率和准确率不佳。传统的基于手工设计特征文本识别方法由于其有限的表示能力,不足以有效地应对复杂的自然场景文本识别任务。近年来,采用深度学习方法在自然场景文本识别中取得了重大进展,系统地梳理了近年来相关研究工作。首先,根据是否需要对单字符进行分割,将自然场景文本识别方法分为基于分割与无需分割的方法,再根据其技术实现特点将无需分割的方法进行细分,并对各类最具有代表性的方法工作原理进行了阐述。然后,介绍了当前常用数据集以及评价指标,并在数据集上对各类方法进行了性能对比,从多个方面讨论了各类方法的优势与局限性。最后,指出基于深度学习的自然场景文本识别研究存在的不足和难点,对其未来的发展趋势进行了展望。

基于深度学习与机器视觉的起重机吊装安全监测方法

随着我国经济的快速发展,各类大型工程层出不穷,对起重机吊装作业的需求不断增加。然而,吊装作业过程中依然存在众多的安全隐患,极易造成人员伤亡等安全事故。因此,该文提出一种基于深度学习和机器视觉的起重机吊装安全监测方法。将深度学习与机器视觉相结合对监控图像中的被吊物和工人进行识别和定位,同时可自主判断工人是否佩戴安全帽。根据监测模型的识别和定位信息,获得工人与被吊物之间的空间关系,为起重机吊装过程提供安全预警信息。为了提高所提方法的实用性和便携性,开发一个起重机吊装安全智能监测系统,不仅可以实时显示监控图像的识别结果,而且能够输出场景的语义描述、发出安全预警信号。

基于深度表征学习和遗传算法的军用座舱色彩设计方法

军用座舱色彩设计作为载人军事设备工业设计中较为主观的一部分,设计的合理性至关重要。为提高军用座舱色彩设计的科学性,提出一种基于深度表征学习和遗传算法的军用座舱配色方法。利用深度表征学习模型预测军用座舱配色方案,并根据色彩感知理论建立军用座舱配色模型,将其作为生成方案的限制条件。同时,引入交互式遗传算法到智能配色系统中,通过人工引导的方式优化神经网络的参数,对预测的配色方案进行有效迭代。实验结果表明:该方法生成的配色方案符合军用座舱配色模型,结合遗传算法的模型预测准确率比单一的深度表征模型提高了16%~18%。相较于人工色彩设计方案,军用座舱智能配色方法生成的方案满意度略优、设计周期缩短了80%~88%,色彩稳定性提高了6%~12%。

深度学习下吊装作业工人防护装备及吊钩检测方法

为解决危大工程中吊装作业安全管理的问题,基于深度学习构建目标检测算法(You Only Look Once version 5,YOLOv5)网络模型,针对进入吊装作业区域内人员的防护装备进行多目标融合检测,并对吊钩在施工过程中的状态进行检测。在原始的检测网络模型中引入4种注意力机制,并通过5种训练模型的结果对比分析,进而选择卷积块注意力模块(Convolutional Block Attention Module,CBAM)最优模型。优化后的检测模型对安全帽的平均识别精度达86.5%,对反光衣的平均识别精度达83.0%,对吊钩的状态识别精度达92.0%。将训练好的人员检测模型和吊钩检测模型打包成exe执行文件,应用到施工安全管理人员的中控平台,可帮助管理人员更好地判断吊装作业的工作情况,进而及时进行风险管控。

基于组合深度学习的轨道交通短时进站客流预测模型

针对轨道交通短时进站客流考虑不充分和特征学习不全面而导致预测精度不高的问题,选取客流特征、天气、空气质量和道路交通拥堵指数等多个因素,提出了一种基于组合深度学习的轨道交通短时进站客流预测模型(CNN-ResNet-BiLSTM)。基于卷积神经网络(CNN)对多因素客流时间序列进行自动提取,在CNN网络中插入多个残差神经网络(ResNet)来加深网络深度,利用双向长短时记忆神经网络(BiLSTM)捕捉前后两个方向的客流时间序列特征并得到预测结果;以杭州市全网80个站点工作日的进站客流为例,验证了该模型的有效性。研究结果表明:与常用的几种模型相比,多因素CNN-ResNet-BiLSTM组合模型的均方根误差(E RMS)至少降低了8.50%,平均绝对误差(E MA)至少降低了6.74%,平均绝对百分比误差(E MPA)至少降低了6.52%。

基于深度学习的图像重建算法在下肢动脉病变CTA诊断中的研究

目的 探讨基于深度学习的图像重建算法对下肢动脉病变CT血管成像(Computed Tomography Angiography,CTA)的诊断价值。方法 回顾性收集2021年6月至2022年2月于我院就诊的51例下肢动脉狭窄或闭塞患者的CTA检查资料(65条下肢动脉)。分别基于深度学习的图像重建(Deep Learning Image Reconstruction,DLIR)算法和混合迭代重建(Hybrid Iterative Reconstruction,HIR)算法对CTA图像进行重建,以HIR法为参照进行质量评估;两位医师在不同重建算法下对血管狭窄的部位和程度进行评估,并采用Kappa检验观察者间一致性;以数字减影血管造影作为“金标准”比较HIR法和DLIR法诊断下肢动脉中度和重度狭窄的效能。结果与HIR法相比,DLIR法图像质量的噪声显著降低(Z膝上动脉=8.36,Z膝下动脉=9.46,Z足背动脉=7.19,均P<0.001),信噪比(Z膝上动脉=-7.32,Z膝下动脉=-7.91,Z足背动脉=-8.45,P<0.001)及对比噪声比(Z膝上动脉=-8.66,Z膝下动脉=-9.21,Z足背动脉=-8.52,均P<0.001)显著提高。DLIR法对动脉狭窄或闭塞程度的识别和评估均显示出更高的观察者间一致性(Kappa=0.86)。与HIR法相比,DLIR法的图像对膝下动脉重度狭窄的敏感度(72.2%vs.94.4%)、特异性(78.7%vs.95.7%),足背动脉中度狭窄的特异性(86.0%vs.97.7%)及重度狭窄的敏感度(50.0%vs.87.5%)均显著提高(P<0.05)。结论 DLIR算法可有效改善下肢动脉的CTA图像质量,并获得更优的诊断效能。

基于深度强化学习的多自动导引车运动规划

为解决移动机器人仓储系统中的多自动导引车(AGV)无冲突运动规划问题,建立了Markov决策过程模型,提出一种新的基于深度Q网络(DQN)的求解方法。将AGV的位置作为输入信息,利用DQN估计该状态下采取每个动作所能获得的最大期望累计奖励,并采用经典的深度Q学习算法进行训练。算例计算结果表明,该方法可以有效克服AGV车队在运动中的碰撞问题,使AGV车队能够在无冲突的情况下完成货架搬运任务。与已有启发式算法相比,该方法求得的AGV运动规划方案所需要的平均最大完工时间更短。

基于K-means聚类和特征空间增强的噪声标签深度学习算法

深度学习中神经网络的性能依赖于高质量的样本,然而噪声标签会降低网络的分类准确率。为降低噪声标签对网络性能的影响,噪声标签学习算法被提出。该算法首先将训练样本集划分成干净样本集和噪声样本集,然后使用半监督学习算法对噪声样本集赋予伪标签。然而,错误的伪标签以及训练样本数量不足的问题仍然限制着噪声标签学习算法性能的提升。为解决上述问题,提出基于K-means聚类和特征空间增强的噪声标签深度学习算法。首先,该算法利用K-means聚类算法对干净样本集进行标签聚类,并根据噪声样本集与聚类中心的距离大小筛选出难以分类的噪声样本,以提高训练样本的质量;其次,使用mixup算法扩充干净样本集和噪声样本集,以增加训练样本的数量;最后,采用特征空间增强算法抑制mixup算法新生成的噪声样本,从而提高网络的分类准确率。并在CIFAR10、CIFAR100、MNIST和ANIMAL-10共4个数据集上试验验证了该算法的有效性。

基于深度学习的水下目标识别技术

在水下复杂场景下,目标对象具有姿态不同、遮挡和背景复杂等特点,这对卷积网络的特征提取能力提出巨大挑战。Mask R-CNN算法在水下目标特征提取过程中也存在特征提取能力欠佳的问题,导致算法在水下目标检测准确性较差。因此,提出一种基于Mask R-CNN的改进水下目标目标识别方法。首先可采用金字塔切分的通道注意力模块PAS代替采用了ResNet50的3×3卷积模块,该模块可通过对每个通道进行金字塔的切分,针对通道切分完成后所得出来的通道特征图上的空间信息来进行不用的尺度特征层提取;同时通过采用另一种更加安全稳定和高效的ECANEt通道注意力模块代替PAS模块中的SENet通道注意力模,对多维度的通道注意力权重进行特征重标定;最后对特征金字塔FPN的网络结构进行改进,加强不同特征层之间的信息融合。根据不同场景下进行的实验对比,改进后的网络能够提高水下目标识别的准确率,平均检测精度可达91.3%。本文所提出的改进Mask RCNN网络模型,能够适应水下复杂多变的场景,为水下目标的识别提供理论依据与技术方案。

深度学习在活动构造与地貌研究中的应用

活动构造与地貌学主要涉及活动构造的运动学、地貌的演化过程及其相关动力机制,该研究方向是近几十年来地球系统科学交叉研究的热点之一。随着大数据与机器学习研究的发展,活动构造与地貌学的研究和深度学习的结合已成为该领域中受到广泛关注的新兴研究方向,并产出了大量优秀成果。文中总结并综述了现今深度学习在活动构造与地貌研究中的数据来源,以及利用深度学习的方法定量化解决活动构造与地貌中的重要科学问题(包括冰川识别、火山活动与地貌、水系分析、滑坡监测和地表形变等)。基于对上述实例的探索,文中运用深度学习中的卷积神经网络,对华南东南部福建地区的花岗岩岩石构造裂缝开展了基于高精度无人机航拍影像的深度学习自动识别。所搭建的卷积网络模型在55min的运行时间内自动识别出人工需消耗近一周才可识别的9000余条裂缝,并获得了85%的查准率与89%的查全率,表明该模型在准确识别构造裂缝的同时显著提升了工作效率。文中最后讨论并展望了未来深度学习方法在活动构造与地貌学领域的发展前景。

基于数字孪生和深度学习的结构损伤识别

土木工程实际结构损伤状态的时间跨度通常只占总生命周期的一小部分。为解决传统基于数据驱动的结构损伤识别方法缺乏足够多的损伤训练数据的问题,提出结合数字孪生和深度学习的结构损伤识别方法,并应用于实际工程。该方法利用数值仿真模型和在线监测数据构建结构的数字孪生,以获得不同损伤工况下结构动力响应的“大数据”;为了摆脱对外激励信息的依赖,应用经验模态分解法和传递率函数对得到的数据进行预处理;将预处理后的固有模态传递率函数数据作为深度学习的输入进行训练,实现结构的损伤识别。为验证方法的有效性,对实际结构未经训练的监测数据进行分析,结果表明,该方法泛化能力良好,能够有效识别结构损伤状况。通过数字孪生技术解决了传统方法数据匮乏的问题,不需要任何地震信息,利用固有模态传递率函数数据训练的深度神经网络仍能保持较高的损伤识别准确率,二者结合可以使工程结构健康监测更为主动、可靠、高效。

基于深度学习的钝体断面外形气动性能高效预测方法

对于气动性能,钝体断面的气动外形非常重要,采用传统风洞试验及CFD模拟计算得到钝体断面气动性能需消耗大量时间,大大影响钝体断面气动外形的气动性能评估效率。通过卷积神经网络深度学习技术实现对气动性能的快速预测,深度学习模型训练完成后,输入形状信息和与形状相关的流场信息,即可输出不同几何形状下的阻力系数,进而得到钝体断面的气动性能。为寻找性能最优的深度学习模型,通过综合判定误差和参数量大小对卷积神经网络结构的深度和宽度进行优化。对深度学习模型输出阻力系数与CFD计算结果进行对比发现,误差符合预期要求,并且相较于传统方法,基于深度学习网络的预测所需时间达到数量级的提升,未来可作为钝体断面气动外形优化的关键方法。

考虑行为克隆的深度强化学习股票交易策略

为提高股票投资的收益并降低风险,将模仿学习中的行为克隆思想引入深度强化学习框架中设计股票交易策略。在策略设计过程中,将对决DQN深度强化学习算法和行为克隆进行结合,使智能体在自主探索的同时模仿事先构造的投资专家的决策。选择不同行业的股票进行数值实验,说明了所设计的交易策略在年化收益率、夏普比率和卡玛比率等收益与风险指标上优于对比策略。研究结果表明:将模仿学习与深度强化学习相结合可以使智能体同时具有探索和模仿能力,从而提高模型的泛化能力和策略的适用性。

雷达信号与遥感地图融合的深度学习低慢小目标检测算法

雷达复杂环境低慢小目标检测是一项具有挑战性的任务,而利用深度学习以及数据特征融合等方法是解决这一难题的有效手段。本文在雷达地图融合检测网络(Radar Map fusion Detection Network,RMDN)的基础上进行了优化,主要优化方向为将雷达与地图信息在检测过程中进行重要性程度区分,具体优化内容为减少地图特征提取模块的网络深度,加入通道注意力机制,让神经网络自主学习雷达信息与地图信息特征的权重,使神经网能够更好地利用地图信息对雷达目标进行辅助检测。在此优化基础上,本文重新设计出了雷达地图融合检测网络RMDN-V2。算法的主要思想为利用卫星遥感地图来提供背景环境信息,作为雷达信号检测的辅助,通过将目标背景中的特征信息融入检测决策中,提高目标检测的准确性和鲁棒性,减少对强杂波和移动物体的干扰敏感性,改善目标检测算法在复杂环境下的表现。最后的无人机雷达实测数据实验结果表明,本文所做的针对性优化是有效的,RMDN-V2的检测性能优于原始的RMDN,同时本文算法检测性能远超传统的雷达检测算法,同时也优于目前主流的一些深度学习雷达目标检测算法。本文为解决当下低慢小目标检测的难题提出了新的算法。

强化学习引导模型生成的深度学习框架漏洞挖掘

现有基于应用模型挖掘漏洞的方法随机生成模型的结构信息,容易造成大量低质测试用例的生成,严重影响漏洞挖掘的效率和效果.针对该问题提出了一种强化学习引导模型生成的深度学习框架漏洞挖掘方法.提取模型运行时的框架状态信息,包括Softmax距离、程序执行结果等,再将框架运行状态信息作为奖励变量指导模型结构与超参数的生成,进而提升测试用例的生成质量与效率.实验结果表明,在生成测试用例数量相同的条件下该方法能够发现更多深度学习框架的漏洞,实用价值高.

基于异步深度强化学习的车联网协作卸载策略

随着车联网(IoV)的快速发展,智能网联汽车产生了大量延迟敏感型和计算密集型任务,有限的车辆计算资源以及传统的云服务模式无法满足车载用户的需求,移动边缘计算(MEC)为解决海量数据的任务卸载提供了一种有效范式。但在考虑多任务、多用户场景时,由于车辆位置、任务种类以及车辆密度的实时性和动态变化,IoV中任务卸载场景复杂度较高,卸载过程中容易出现边缘资源分配不均衡、通信成本开销过大、算法收敛慢等问题。为解决以上问题,重点研究了IoV中多任务、多用户移动场景中的多边缘服务器协同任务卸载策略。首先,提出一种多边缘协同处理的三层异构网络模型,针对IoV中不断变化的环境,引入动态协作簇,将卸载问题转化为时延和能耗的联合优化问题;其次,将问题分为卸载决策和资源分配两个子问题,其中资源分配问题又拆分为面向边缘服务器和传输带宽的资源分配,并基于凸优化理论求解。为了寻求最优卸载决策集,提出一种能在协作簇中处理连续问题的多边缘协作深度确定性策略梯度(MC-DDPG)算法,并在此基础上设计了一种异步多边缘协作深度确定性策略梯度(AMCDDPG)算法,通过将协作簇中的训练参数异步上传至云端进行全局更新,再将更新结果返回每个协作簇中提高收敛速度。仿真结果显示,AMC-DDPG算法较DDPG算法至少提高了30%的收敛速度,且在奖励和总成本等方面也取得了较好的效果。

深度学习代理模型的消防传感系统优化方法

传感器合理布置显著影响消防监测系统的实际效用。为确保火灾预警及特性识别效率,建立了一套基于深度学习代理模型的消防监测传感系统优化方法。通过建立火灾仿真模型获取多场景模拟数据,利用深度学习技术学习火场演绎规律,结合不同数据设定下的实验量化模型的识别准确率、查准率、查全率和F1-score,从空间布局和采集频率、探测时间角度对整体监测系统进行了优化。结果表明,优化后的传感系统可在满足火灾特征识别准确率的前提下,显著减少传感器数量及数据采集成本。该解决思路可推广应用于不同建筑场景,为消防监测系统设计提供决策支持,研究成果有利于智慧消防和智慧建筑发展。

基于SMOTE-IKPCA-SeNet深度迁移学习的小批量生产质量预测研究

随着智能制造技术的发展和客户个性化需求的增加,多品种小批量生产方式逐渐成为制造业的主流。面向大批量生产、以统计过程控制为核心的质量管理方式并不适用于小批量生产。针对复杂生产过程存在参数多、非线性和交互作用的问题,提出利用深度迁移学习的方式将历史生产数据作为源域迁移至小样本目标产品数据进行质量预测。首先,通过合成少数类过采样技术(synthetic minority over-sampling technique,SMOTE)和改进的核主成分分析(improved kernel principal component analysis,IKPCA)算法筛选源域和目标域的可迁移特征,这不仅兼顾了特征重要性和可迁移性,还减少了“负迁移”,提高了模型泛化能力;然后,采用结合通道注意力机制的卷积神经网络SeNet构建基于深度迁移学习的质量预测模型。仿真结果表明,随着目标域样本的增加,所提方法的预测准确性明显优于广泛采用的支持向量机建模方法。同时,所提可迁移特征筛选方法显著提高了深度迁移学习的质量预测效果,为复杂的小批量生产过程质量保证提供了新方法。

一种面向中文自动问答的注意力交互深度学习模型

随着互联网、大数据的飞速发展,以深度神经网络(DNN)为代表的人工智能技术迎来了黄金发展时期,自动问答作为人工智能领域的一个重要分支,也得到越来越多学者的关注。现有网络模型可以提取问题或答案的语义特征,但其一方面忽略了问题与答案之间的语义联系,另一方面也不能从整体上把握问题或答案内部所有字符之间的潜在联系。基于此,提出了两种不同形式的注意力交互模块,即互注意力交互模块和自注意力交互模块,并设计出一套基于所提注意力交互模块的深度学习模型,用于证明该注意力交互模块的有效性。首先将问题和答案中的每个字符映射成固定长度的向量,分别得到问题和答案对应的字嵌入矩阵;然后将字嵌入矩阵送入注意力交互模块,得到综合考虑问题与答案所有字符之后的字嵌入矩阵,并与之前的字嵌入矩阵相加,送入深度神经网络模块,用于提取问题与答案的语义特征;最后得到问题与答案的向量表示并计算两者之间的相似度。实验结果表明,所提模型的Top-1准确度较主流深度学习模型最高提升了3.55%,证明了所提注意力交互模块对于改善上述问题的有效性。

3-Turns教学法在实践共同体促进深度学习中的应用

在电气工程专业实践教学过程中凝练出由Turn up、Turn away、Turn back等环节组成的3-Turns教学法。经过多轮的实践应用,3-Turns教学法在实践共同体中提供了一个兼具解释性与可操作性的教学样例。研究发现,3-Turns教学法对实践共同体促进工科生深度学习起到了提质增效的作用;3-Turns教学法为工程实践学习情境的强化设计提供了理论依据与经验支持。该研究验证了基于3-Turns教学法的实践共同体促进工科生深度学习的有效性,为助力工科人才培养质量的持续提升做出了积极的探索与实践。