基于边缘智能的分布式协同推理策略

为解决在资源受限的边缘设备上部署和执行深度学习模型问题,提出一种结合模型分区和数据并行执行的分布式协同推理策略(DecDNN),通过层粒度自适应模型分割算法(AMCA)在边云之间实现模型的并行推理。为避免数据的隐私泄露,在边端之间提出基于全局置乱切分的分布式随机梯度下降算法对数据进行分区,提出一种聚合方案,以产生具有最佳整体推理延迟的分布式并行策略。仿真结果表明,与现有推理策略相比,该策略减少了20%的通信开销和9%的执行延迟,支持多种深度学习模型的推理。