以子图融合为最小单位的混合精度推理

近几年卷积神经网络作为深度学习最重要的技术,在图像分类、物体检测、语音识别等领域均有所建树。在此期间,由多层卷积神经网络组成的深度神经网络横空出世,在各种任务准确性方面具有显著提升。然而,神经网络的权重往往被限定在单精度类型,使网络体积相较于特定硬件平台上的内存空间更大,且floating point 16、INT 8等单精度类型已无法满足现在一些模型推理的现实需求。为此,提出一种以子图为最小单位,通过判断相邻结点之间的融合关系,添加了丰富比特位的混合精度推理算法。首先,在原有单精度量化设计的搜索空间中增加floating point 16半精度的比特配置,使最终搜索空间变大,为寻找最优解提供更多机会。其次,使用子图融合的思想,通过整数线性规划将融合后的不同子图精度配置,根据模型大小、推理延迟和位宽操作数3个约束对计算图进行划分,使最后累积的扰动误差减少。最终,在ResNet系列网络上验证发现,所提模型精度相较于HAWQ V3的损失没超过1%的同时,相较于其他混合精度量化方法在推理速度方面得到了提升,在ResNet18网络中推理速度分别提升18.15%、19.21%,在ResNet50网络中推理速度分别提升13.15%、13.70%。

基于贝叶斯网络的复合双轴转台精度推理研究

为精准预测复合双轴转台精度,分析了多因素对系统精度影响规律。利用复合双轴转台统计系统实验数据,学习构建以内轴精度、外轴精度、自准直精度和待检编码器精度为主要节点的贝叶斯网络结构;在Netica中建立系统精度推理模型,并通过证据敏感性分析和平均绝对误差(MAE)分析验证贝叶斯网络(BN)模型的有效性;运用自学习贝叶斯网络的概率推理,分析主要目标节点各变量的后验概率变化,对系统精度变化规律进行原因诊断和支持解释。研究结果表明:复合双轴转台精度自学习BN模型能够实现系统精度准确推理预测,系统精度超差的MAE值基本稳定在5%以内,且角度间隔0.125°和时间间隔20 s为系统最优控制参数,为贝叶斯网络技术在复合双轴转台精度推理中的应用提供了参考。

一种提升CV领域深度学习网络推理精度的技术研究

当前,在AI视觉领域中目标检测主要靠单个模型的性能来决定网络推理精度,而现有多种流行算法受到原有模型固有缺陷限制,导致无法达到更高精度的推理。本文中提出了基于动态调度策略的异构神经网络集群推理的方法,该方法通过动态调度策略网络根据从输入图像抽取的特征来在各个异构网络中选取推理网络,可有效克服单个学习模型对某些数据集的不适应性,显著提升了推理的准确率和召回率。同时,动态调度策略网络是一个深度比较浅的学习网络,计算复杂度很低,引入的额外计算开销非常小。