基于Halo注意力机制的双阶段临近降水预报网络

先前基于深度学习进行临近降水预报的方法试图在统一架构中建模雷达回波的时空演变,然而,这些方法可能难以完全捕捉到这种复杂的时空关系.本文提出了一种基于Halo注意力机制的双阶段临近降水预报网络,该网络将降水预测的时空演变过程分为运动趋势预测和空间外观重建两个阶段.首先,可学习光流模块对雷达回波的运动趋势进行建模并生成粗略的预测结果.其次,特征重建模块对历史雷达回波序列的空间外观变化建模并对粗粒度预测结果的空间外观进行特征细化重建,生成精细的雷达回波图.通过在CIKM数据集上的实验表明,本文所提出的方法与主流方法相比,平均的海德克技能得分和关键成功指数分别提高了4.60%和3.63%,达到了0.48和0.45;结构相似性提高了4.84%,达0.52;均方误差降低了6.13%,达70.23.

随机初始化神经网络剪枝的稀疏二值规划方法

传统深度神经网络剪枝方法往往以预训练模型为初始网络并需要在剪枝后进行微调。受到近年来edgepopup等基于随机初始化网络的剪枝算法优异性能的启发,提出了一种基于稀疏二值规划的随机初始化网络剪枝算法。该算法将剪枝训练过程建模为一个稀疏二值约束优化问题。其核心思想是利用稀疏二值规划来学习一个二值掩膜,利用该掩膜可以从随机初始化的神经网络上裁剪出一个未经训练却性能良好的稀疏网络。与之前基于随机初始化网络的剪枝算法相比,该算法找到的稀疏网络在多个稀疏度下都具有更好的分类泛化性能。与edge-popup算法相比,在ImageNet数据集分类任务中,模型在稀疏度为70%时精度提升7.98个百分点。在CIFAR-10数据集分类任务中,模型在稀疏度为50%时精度提升2.48个百分点。

基于深度神经网络二阶信息的结构化剪枝算法

现有结构化剪枝算法通常运用深度神经网络(DNN)的一阶或者零阶信息对通道进行剪枝,为利用二阶信息加快DNN网络模型收敛速度,借鉴HAWQ算法思想提出一种新的结构化剪枝算法。采用幂迭代法得到经过预训练的网络参数对应Hessian矩阵的主特征向量,据此向量衡量网络通道的重要性并进行通道剪枝,同时对剪枝后的网络参数进行微调提高DNN分类性能。实验结果表明,该算法在网络参数量和每秒浮点运算次数分别减少29.9%和34.6%的情况下,在ResNet110网络上的分类准确率提升了0.74%,剪枝效果优于PF、LCCL等经典剪枝算法。

基于伪孪生网络双层优化的对比学习

目前,基于伪孪生网络的对比学习算法使用各种组件以获得最优学生网络,但忽略教师网络在下游任务中的表现,因此,文中提出基于伪孪生网络双层优化的对比学习,促进学生网络和教师网络相互学习,获得最优教师网络。双层优化策略包括基于近邻优化的学生网络优化策略和基于随机梯度下降的教师网络优化策略。基于近邻优化的学生网络优化策略让教师网络成为约束项,帮助学生网络更好地向教师网络学习。基于随机梯度下降的教师网络优化策略求解近似教师网络,梯度更新教师网络。在5个数据集上的实验表明,文中算法取得较高的k-NN(k=1)分类精度和线性分类精度,特别在批次大小较小时,优势较大。

基于梯度追踪的结构化剪枝算法

针对深度卷积神经网络存在的过参数化问题,提出一种梯度追踪的结构化剪枝算法。在优化器步骤中选择梯度最大的滤波器,将其索引与参数幅值最大的滤波器索引合并,形成一个并集;根据上述并集更新模型参数;使用一种动态的滤波器选择方法,从而获得压缩后的模型。实验结果表明,采用梯度追踪的剪枝算法使用参数信息和梯度信息,能有效地剪除卷积神经网络的冗余参数。最后结论是,上述方法在压缩深度卷积神经网络的同时,能够更好地保持网络精度。

终是心头一道伤

小时候,我在一所村办小学上学,一个年级不到30个学生,3个老师换着不同的年级讲语数英。我自认为不是个内向的孩子,可课间的大部分时间却都坐在座位上,连大气儿也不敢出,努力将自己的存在感降到最低。

是的,饭也堵不住我们的嘴

每天宅在家里,干吗呢?这种紧急关头我怎么可能看得进去书呢?!当然是刷微博啦!于是每天一觉醒来,我就拿起手机躺在床上一直刷到晚上,当然除了三餐和去厕所……“你们小屁孩一个个瞎紧张个什么劲儿……”“这次严重多了!好吧!”“知道啦!咱这不是都躲在家里嘛,你快去写你的作业去……”于是在刷微博之余,我们开通了一个新的副业:哔哔机。