基于时空循环卷积网络的城市区域人口流量预测

城市区域人口流量的准确预测可以为交通监管和市民出行提供有效的决策支持。城市各区域人口流量同时具有时间维度上的变化规律和空间维度上的相关性,这给流量的精准预测带来了极大的挑战。文中提出了一种基于注意力机制的时空循环卷积网络(ASTRCNs)模型,可以全面地对影响区域人口流量的多种因素进行统一建模。ASTRCNs共包含3个组件,分别用于描述人口流量的短时依赖关系、日周期规律、周周期规律。在真实的北京市人口流量数据集上进行了实验,结果表明ASTRCNs模型的预测效果优于传统的时间序列预测模型以及其他现有的基于深度学习的人口流量预测模型。

小行星场景下基于循环卷积网络的位姿估计方法

针对小行星探测绕飞阶段采用视觉导航,小行星表面光照变化会影响视觉图像特征的稳定性而影响相对位姿估计的问题,提出了一个基于单应性矩阵的位姿估计方法。其采用一个基于循环神经网络—卷积神经网络(RNN-CNN)的深度学习框架估计单应性矩阵。实验结果表明:该网络提高了光照变化下单应性矩阵估计的精度。通过被用于小行星表面图像序列的位姿估计,证明了该方法的有效性及其在精度和效率方面优于传统方法。

基于循环卷积生成对抗网络的风机齿轮箱故障诊断

风机齿轮箱是风力涡轮传动系统中的关键部分,其故障发生随机、故障样本数量不足,严重影响故障诊断的准确性。针对此问题,提出一种基于循环卷积生成对抗网络的风机齿轮箱故障诊断方法。首先,构建基于循环卷积生成对抗网络的样本生成模型,利用卷积网络和循环网络作为生成器增强样本间的时间相关性;借助Wasserstein距离与梯度惩罚项改进目标函数,并通过博弈对抗机制优化生成器和判别器,提高模型的泛化能力。然后,结合真实样本和生成样本,设计基于堆叠去噪自编码器的故障诊断方法,实现齿轮箱的故障诊断。最后,利用风力涡轮传动系统数据集验证所提出的风机齿轮箱故障诊断方法的性能。结果显示,所提方法能够有效平衡故障样本数据集,进一步提高风机齿轮箱故障诊断的准确率。

深度复数轴向自注意力卷积循环网络的语音增强

单通道语音增强任务中相位估计不准确会导致增强语音的质量较差,针对这一问题,提出了一种基于深度复数轴向自注意力卷积循环网络(deep complex axial self-attention convolutional recurrent network,DCACRN)的语音增强方法,在复数域同时实现了语音幅度信息和相位信息的增强.首先使用基于复数卷积网络的编码器从输入语音信号中提取复数表示的特征,并引入卷积跳连模块用以将特征映射到高维空间进行特征融合,加强信息间的交互和梯度的流动.然后设计了基于轴向自注意力机制的编码器-解码器结构,利用轴向自注意力机制来增强模型的时序建模能力和特征提取能力.最后通过解码器实现对语音信号的重构,同时利用混合损失函数优化网络模型,提升增强语音信号的质量.实验在公开数据集Valentini和DNS Challenge上进行,结果表明所提方法相对于其他模型在客观语音质量评估(perceptual evaluation of speech quality,PESQ)和短时客观可懂度(short-time objective intelligibility,STOI)两项指标上均有提升,在非混响数据集中,PESQ比DCTCRN(deep cosine transform convolutional recurrent network)提高了12.8%,比DCCRN(deep complex convolutional recurrent network)提高了3.9%,验证了该网络模型在语音增强任务中的有效性.

基于轻量化深度卷积循环网络的MVS方法

针对基于深度学习的MVS方法存在网络参数量大、显存占用较高的问题,提出一种基于轻量化深度卷积循环网络的MVS方法。首先,采用轻量化多尺度特征提取网络提取图像的高层语义特征图,构建稀疏代价体减小计算体积;其次,使用卷积循环网络对代价体进行正则化,一次平面扫描完成正则化过程,减少显存占用;最后,通过深度图扩展模块扩展稀疏深度图为稠密深度图,并结合优化算法保证重建精度。在DTU数据集上与最近的方法进行对比,包括传统MVS方法Camp、Furu、Tola、Gipuma,基于深度学习的MVS方法SurfaceNet、PU-Net、MVSNet、R-MVSNet、Point-MVSNet、Fast-MVSNet、GBI-Net、TransMVSNet。实验结果表明:所提方法在精度上与其他方法保持较小差距的前提下,能够将预测时显存开销降低至3.1 GB。

双解码卷积循环网络风噪声有源控制

本文提出一种利用双解码卷积循环网络(Dual-decoder Convolutional Recurrent Network,DCRN)代替FxLMS(Filtered-x Least Mean Square)算法的有源噪声控制方法,考虑到相位信息在有源噪声控制(Active Noise Control,ANC)中的重要性,DCRN网络的输入特征为噪声信号的复数频谱(包括实部谱和虚部谱).网络结构中,采用编码模块从噪声复数频谱中提取特征,利用双解码模块分别估计网络输出的实部谱和虚部谱,采用参数共享机制和组策略以降低训练参数的数量并提高网络的学习能力和泛化能力.特别是针对风噪声,选用新的损失函数以及对训练数据进行正则化处理以提升DCRN的性能.实验结果表明,DCRN方法在仿真环境与有源降噪耳机环境下对一般噪声和风噪声都表现出良好的降噪性能和鲁棒性.

基于注意力机制和复数卷积循环网络的汽车雷达干扰抑制

随着自动驾驶技术的发展,越来越多的汽车装载车载雷达,不同车辆的车载雷达之间会产生相互干扰,导致虚假目标的出现或基底噪声的增加,降低检测性能。针对汽车雷达之间的相互干扰问题,提出了一种基于注意力机制的深度复数卷积循环网络(Deep Complex Convolution Recurrent Network with Attention,DCCRN-Attention),在频域实现干扰抑制。模型使用复数网络将信号的实部和虚部联合起来进行特征学习,能同时预测干扰抑制后目标的幅度和相位,并在跳跃连接中引入注意力机制聚焦于更重要的特征信息,抑制无关信息。实验结果表明,所提模型能有效抑制干扰、提高目标的信噪比(Signal to Noise Ratio,SNR),在评价指标上均优于基线方法。

基于有向图卷积循环网络的分布式光伏出力超短期预测方法

提出一种基于有向图卷积循环网络的分布式光伏超短期功率预测方法,该方法可同时提取光伏出力的时序特征和空间相关性,有效减小预测误差。首先,分析光伏出力数据兼具时序性和空间相关性,利用门控循环网络提取时序特征,构建有向图卷积网络提取传统图卷积无法捕捉的光伏出力有向空间相关性;然后,融合门控循环单元和有向图卷积网络,构建有向图卷积循环网络以提取多光伏站点出力的时空相关性,并利用注意力机制为不同时刻的时空特征分配权重;最后,通过全连接层输出最终的预测结果。采用某地区屋顶光伏实际出力数据在不同预测时间尺度下比较所提方法与其他方法的预测性能,结果表明,预测时间尺度为15、30和60 min时,相对于传统循环网络,所提方法的MAE分别减少16.3%、20.7%和28.1%。

基于卷积循环神经网络的芯片表面字符识别

基于积分图运算的阈值分割将图像二值化,使用仿射变换完成文本字段图像的方向校正,从而实现文本行的定位.在原始卷积循环神经网络(CRNN)的基础上,将骨干网络替换成MobileNet-V3结构,在2层LSTM之间加入注意力机制,同时引入中心损失函数.利用改进的CRNN实现文本行字符的识别.将改进后的CRNN在40510张芯片文本行图像上进行测试.通过小样本数据集进行模型微调训练得到多个子模型,从而实现集成推理,使用3个模型的综合识别准确率稳定在99.97%左右,单张芯片图像的总识别时间小于60 ms.实验结果表明,改进的CRNN算法的准确率比原始CRNN提升了大约27.48%,多模型集成推理的方法可以实现更高的准确率.

基于并行卷积循环网络的单通道语音增强系统

为提升语音增强系统的收敛速度和泛化性,降低对训练数据的要求,提出一种基于并行卷积循环网络的语音增强系统。在卷积循环网络的基础上,使用归一化门控线性单元提升性能和收敛速度;使用并行循环层结构同时处理原始语音特征和经过编码器处理后的语音特征,通过后处理模块处理并行结构的输出。在THCHS30和LibriSpeech语音库及NOISEX92和PNL100 NS噪声库上的实验结果表明,与多个目前最先进的语音增强系统相比,该方法获得了最高36.92%的性能提升和62.36%的收敛速度提升。

基于雷达回波的临近降水预报卷积循环神经网络模型研究

【目的】临近降水预报是涉水灾害预警、洪水预报和调度管理等依赖气象预报决策的重要基础。高精度、高时空分辨率的气象雷达观测能够有效捕捉天气过程变化,发展基于雷达回波外推的临近降水预报方法,是中小流域高精度雨洪预报预警的关键。【方法】以银川贺兰山地区2017—2020年的C波段天气雷达和地面降水资料为基础,开展了ConvLSTM、ConvGRU和PredRNN三种卷积循环神经网络模型在不同降水情景下的预报性能研究,并将三种模型的预报结果与基于半拉格朗日外推的光流法进行对比分析。研究采用临界成功指数(CSI)、命中概率(POD)、虚警率(FAR)、均方根误差(RMSE)和结构相似性指数(SSIM)5种指标评估了三种模型在不同天气系统发展过程中的预报能力。【结果】结果显示:ConvLSTM模型可以较好的预测回波变化过程,而PredRNN模型对回波驻留和发展的过程预报效果较好;随着雨强的增大、预报时长的增加,卷积循环神经网络模型对回波运动的捕捉能力和回波强度变化的预测能力显著强于光流法;ConvLSTM模型能够更好的预报中小雨天气过程,结构更加复杂的PredRNN模型对暴雨过程具有更好的预报效果。【结论】结果表明:三种卷积循环神经网络模型中,ConvLSTM和PredRNN模型的预报效果优于结构较为简单的ConvGRU模型,且三种模型均优于光流法;在实际的应用中,1 h之内的预报可优先考虑ConvLSTM的预报结果,1 h后的预报则应更关注PredRNN模型的预报结果;三种卷积循环神经网络模型随预报时长的增加均出现“模糊化”“平滑化”的现象,需要从模型结构、训练方式等多方面进行改善。

基于轻量级卷积门控循环神经网络的语声增强方法

针对在基于深度学习语声增强方法中因采用因果式的网络输入导致语声增强性能下降的问题,提出了一种基于轻量级卷积门控循环神经网络的语声增强方法。门控循环神经网络能够建模语声信号的时间相关性,但是其全连接结构忽略了语声信号的时频结构特征,并且参数数量庞大,不利于网络的训练。对此,该文采用卷积核替代门控循环神经网络中的全连接结构,在对语声信号时间相关性建模的同时保留了语声信号的时频结构特征,同时降低了网络的参数数量。为充分利用先前帧的特征信息,该网络单元当前时刻的输入融合了上一时刻的输入与输出。针对网络训练过程中容易产生过拟合的问题,该文采用了线性门控机制来控制信息的传输,这缓解了网络训练过程中的过拟合问题,提高了网络的语声增强性能。实验结果表明,该文所提出的网络结构在增强后的语声感知质量、语声短时客观可懂度、分段信噪比等指标上均优于传统的网络结构。

基于循环卷积神经网络的城市住宅污水管道防堵塞监测系统技术研究及应用

随着新时代现代化智慧城市的建设发展,基于物联网技术、大数据技术、BIM技术的城市住宅污水管道防堵塞监测技术正向着数字化、自动化、智能化的方向发展。文章针对基于循环卷积神经网络的城市住宅污水管道防堵塞监测技术进行了研究,并设计了可实际应用于城市住宅污水管道防堵塞监测系统的工程设备。

基于MR图像的卷积循环神经网络预测胶质瘤IDH蛋白表达

目的探讨使用基于MR图像的卷积循环神经网络预测胶质瘤患者异柠檬酸脱氢酶(IDH)蛋白表达。方法选取符合纳入标准的胶质瘤患者236例,IDH蛋白表达阳性83例,IDH蛋白表达阴性153例。应用基于DenseNet-ResNet自动编码器的卷积循环神经网络(CRNN)预测胶质瘤患者IDH蛋白表达,构建基于T_(2)图像(T_(2)-net)、基于T_(1)增强图像(T_(1)C-net)和基于T_(2)+T_(1)增强图像(TU-net)三个独立模型,并用曲线下面积AUC、准确率、召回率、精确率及F1-score对各个模型预测效能进行评价。结果基于DenseNet-ResNet的CRNN网络能够预测胶质瘤IDH的蛋白表达,其中T_(2)-net模型的AUC为0.975、准确率为90.6%、召回率为81.0%、精确率为92.2%、F1-score为89.6%,T_(1)C-net模型的AUC为0.952、准确率为91.1%、召回率为83.0%、精确率为93.2%、F1-score为90.3%,TU-net模型的AUC为0.995、准确率为95.3%、召回率为90.6%、精确率为95.7%、F1-score为95.0%,TU-net模型的AUC、准确率、召回率、精确率及F1-score优于T_(1)-net和T_(2)-net模型。结论DenseNet-ResNet能够准确无创性预测胶质瘤患者的IDH蛋白表达,其中TU-net模型预测效果最佳。

基于特征金字塔卷积循环神经网络的故障诊断方法

变工况、变载荷设备部件不同故障的特征在信号中所占比例和位置不固定,且包括大量不同场景下的原始振动信号的多尺度复杂性.对此,提出一种基于特征金字塔网络(FPN)的卷积循环神经网络(CRNN)滚动轴承故障诊断方法.利用卷积神经网络(CNN)框架,并联CNN的卷积层和循环神经网络(RNN)中的长短时记忆(LSTM)层,形成新的CRNN,以充分利用CNN对空间域信息和RNN对时域信息的学习能力;在每一层中权值共享,减少网络参数;利用FPN构建全新特征图,输入一维信号和堆叠后形成的二维信号,对传感器采集的信号进行特征提取,实现故障诊断.利用行星齿轮箱进行故障试验,并进行5折交叉验证,该方法的诊断准确率平均值为99.20%,比基本神经网络模型至少高3.62%,表明该方法诊断精度高、鲁棒性强;利用凯斯西储大学轴承数据集进行验证,证明该方法具有良好的泛用性;利用t-SNE方法对模型的特征学习效果进行可视化分析,结果表明不同故障类别特征具有良好的聚类效果.

基于卷积循环神经网络的网络流量异常检测技术

随着互联网技术的广泛普及,网络安全问题也随之增加。作为网络系统的主要防御手段之一,对网络流量进行异常检测从过去基于流量负载特征和基于异常特征库匹配的检测方式,逐渐向基于机器学习、深度学习的分类方法转变。文章首先提出一种基于数据包数目的网络流量数据样本划分方法,然后组合使用深度学习中的卷积神经网络和循环神经网络提出一种基于卷积循环神经网络的网络流量异常检测算法,该算法能更充分地提取网络流量数据在空间域和时间域上的特征;最后使用公开网络流量数据集进行流量异常检测实验。实验得到了很高的精度、召回率和准确率,验证了文章方法的有效性。

基于循环卷积神经网络的实体关系抽取方法研究

针对目前大多数关系抽取中对于文本语料中较长的实体共现句,往往只能获取到局部的特征,并不能学习到长距离依赖信息的问题,提出了一种基于循环卷积神经网络与注意力机制的实体关系抽取模型。将擅长处理远距离依赖关系的循环神经网络GRU加入到卷积神经网络的向量表示阶段,通过双向GRU学习得到词语的上下文信息向量,在卷积神经网络的池化层采取分段最大池化方法,在获取实体对结构信息的同时,提取更细粒度的特征信息,同时在模型中加入基于句子级别的注意力机制。在NYT数据集的实验结果表明提出的方法能有效提高实体关系抽取的准确率与召回率。

基于卷积循环神经网络深度学习的短期风速预测

由于风速具有随机性和间歇性的特点,以传统方法难以实现风速的精准测量及预测。风速信号对于风电机组输出功率稳定、电能质量提升优化等具有重要作用。基于此,提出一种基于卷积与循环神经网络相结合的深度学习实现风速预测的方法,并与其它方法做了对比分析。以某风电场2014—2015年机组历史大数据为依据,经过数据预处理随机选取44天数据对设计模型进行训练验证,结果与实际风速基本一致,并且效果好于其他方法。从该风场2015年历史大数据中再随机选取12天数据,进一步对模型泛化性能进行检验,结果表明该模型仍然能够实现风速的准确预测,泛化性能良好。

基于循环卷积神经网络的藏文句类识别

句子是语言的最小使用单位,句类识别是为了进一步细化句法和句义研究。由于藏文句尾通常没有特殊的标点符号来识别不同句类,因此这一藏文语言特性就变成了一大难题。该文提出了基于语境和功能特征为一体的句子用途分类方案。首先,该文介绍了文法中藏文句子分类及其特征。其次,收集了大量藏文句子并对其进行了人工标注。最后,采用循环卷积神经网络对藏文句类进行了自动识别。实验表明,该模型对藏文句类识别有较为显著的效果。

基于多种小波变换的一维卷积循环神经网络的风电机组轴承故障诊断

为解决在复杂工况下风力发电机组轴承故障诊断虚警率高的问题,提出一种端到端的混合深度学习框架——基于多种小波变换的一维卷积循环神经网络。首先,通过多种小波变换得到多个时-频矩阵,以充分提取信号特征;再通过一种扩展的LSTM,对多通道时-频矩阵不同时间步信息进行提取,捕获时-频数据时空特征;最后,通过全局池化层和分类层对故障状态进行分类。实验结果表明:在复杂工况下,多种小波变换的一维卷积循环神经网络对风力发电机组轴承故障识别率能够达到95%以上。