[发明专利]基于深度学习的网络流量矩阵估计、模型训练方法和系统

说明书

本发明涉及网络工程和人工智能技术领域，尤其是一种基于深度学习的网络流量矩阵估计、模型训练方法和系统。本发明针对包含映射模块和重构模块的基础模型进行训练，提取训练完成的映射模块作为网络流量矩阵估计模型。映射模块结合链路负载计算流量矩阵，重构模块结合流量矩阵重构链路负载估计值。本发明能够在数据集不完整的情况下，利用双损失机制保证基础模型对现实TM估计的准确性、鲁棒性与实时性，本发明解决了实际生活中大量存在的训练数据集缺失导致的模型欠收敛问题。

技术领域

本发明涉及网络工程和人工智能技术领域，尤其是一种基于深度学习的网络流量矩阵估计、模型训练方法和系统。

背景技术

流量矩阵（Traffic Matrix，简称TM）用于表示所有可能的网络节点之间的流量需求大小，网络节点之间的流量往往被称为源点流量（OD-flows）。TM所反映出的网络状态在许多网络管理问题中有着重要意义，例如流量工程，异常检测和容量规划等。但是随着网络规模的不断扩大，通过采集每一个数据包传送轨迹直接测量源点流量的方式已经不切实际。目前，更为可行的方案是利用网络断层扫描（Network Tomography，简称NT）求解欠定方程组，由链路级别的流量（链路负载，Link-loads）来估计对应时刻的TM。

近十年来，越来越多的学者开始投入网络流量估计领域的工作，现在主流的TM估计方法大致可以分为三类：基于NT的方案，基于矩阵分解的方案和基于深度学习的方案。在第一类方案中对TM的分布作假设以求得尽可能准确的估计，经典的有Vardi等人的泊松分布与Zhang等人的重力模型。这种估计方案极度依赖所设立的前提条件。第二类方案尝试利用奇异值（SVD）分解与主成分分析（PCA）来复原缺失的流量大小。例如，Roughan等人提出稀疏正则化矩阵分解（SRMF）方法。以上两个方案依赖假设和统计学技术，在精确度上表现差异性较大，难以满足精确估计的需求。

第三类基于深度学习的方案借助深度神经网络学习链路负载与源点流量之间对应关系，接着使用训练好的模型以链路负载序列为输入估计TM。在确保较高精确度的同时，不同于以上两种方案，这种基于深度学习的方法不依赖任何假设和统计学技术。Jiang等人首次引入一个反向传播神经网络（BPNN）来估计网络流量矩阵。接着Nie等人也构建了一个基于深度信念网络的（DBN）的流量估计模型。之后卷积神经网络（CNN），循环神经网络（LSTM）和变分自编码器（VAE）等也陆续投入到TM估计相关任务中。

尽管基于深度学习的方法可以在最少假设的情况下取得理想的结果，但是几乎所有的方法都需要充足且完整的流量数据来支撑模型的训练。换而言之，考虑到在测量源点流量的过程中几乎一定会出现缺失和错误的情形，目前还没有人提出一个贴合实际情况的TM估计方案。

发明内容

为了克服上述现有技术中由于源点流量缺失使得深度学习模型在TM估计上的应用难以达到理想效果的缺陷，本发明提出了一种基于深度学习的网络流量矩阵估计模型训练方法，该训练方法训练的网络流量矩阵估计模型可在源点流量缺失的情况下，实现高精度的网络流量矩阵估计。

本发明提出的一种基于深度学习的网络流量矩阵估计模型训练方法，包括以下步骤：

S1、构建基础模型，基础模型包括映射模块和重构模块；映射模块和重构模块均为神经网络模型；

令网络中已知流量的源点对的集合为Q，未知流量的源点对的集合为U；

映射模块的输入为链路负载；映射模块的输出为网络的源点流量估计矩阵X1，X1用于描述网络中各源点对的流量计算值；

重构模块的输入为源点流量组合矩阵X，X用于描述网络中各源点对的流量，X由已知流量的源点对的实际流量和未知流量的源点对的流量计算值组合而成；重构模块的输出为源点流量组合矩阵X对应的链路负载估计值Y’；