面向大规模网络测量的数据恢复算法:基于关联学习的张量填充

网络应用,如网络状态跟踪、服务等级协议保障和网络故障定位等,依赖于完整准确的吞吐量测量数据.由于测量代价大,网络监控系统通常难以获得全网吞吐量测量数据.稀疏网络测量技术基于采样的方式降低测量代价,通过张量填充等算法挖掘数据内部的时空相关性,从部分网络测量数据恢复缺失数据.然而,现有研究仅考虑了单个性能指标,忽略了多个指标之间的关联信息,导致恢复精度受限且整体测量代价依然很大.本文提出了一个面向大规模网络测量的数据恢复算法——基于关联学习的张量填充(Association Learning based Tensor Completion,ALTC).为了捕获网络性能指标之间的复杂关系,设计了一个关联学习模型,使用低测量开销的往返时延推测高测量开销的吞吐量,降低网络测量代价.在此基础上设计了一个张量填充模型,同时学习吞吐量测量数据内部的时空相关性和来自往返时延的外部辅助关联信息,最终以更高的恢复精度获取全网吞吐量数据.实验表明,在相同的吞吐量测量代价下,本文所提算法的恢复误差比目前主流方法的恢复误差降低了13%,达到了更好的恢复效果.

网络性能数据恢复算法

【目的】本文将部分观测的网络性能数据建模为张量,借助于深度神经网络强大的特征提取能力来恢复缺失数据。【方法】与依赖于张量分解的传统张量填充不同,本文基于深度卷积自编码器设计了一种新的张量填充方案(DCAE)。它可以处理稀疏矩阵数据的输入,学习数据的复杂关系,并重构缺失数据。【结果】我们使用了三个公开的真实世界网络性能数据集进行了广泛的实验,实验结果表明,即使采样率非常低,DCAE也可以显著提高恢复精度。【局限】由于网络攻击等,网络性能数据不可避免存在异常,影响恢复结果,未来希望对异常数据进行处理达到鲁棒的恢复效果。【结论】所提模型可以捕获网络性能数据之间的非线性关系,具有高数据恢复精度,可以为高层网络应用恢复缺失数据。