[发明专利]基于深度强化学习的动态服务功能链编排方法及系统

说明书

本发明公开了基于深度强化学习的动态服务功能链编排方法及系统，根据SDN控制器获取历史网络状态；网络状态包括支持移动边缘计算的物联网网络中产生的服务功能链请求流信息以及对应的网络资源状态信息；设定深度强化学习参数并初始化神经网络的权重；根据智能体与环境交互产生的经验样本训练神经网络；对于实时获取的服务功能链请求流，利用训练好的神经网络，采用启发式算法，确定并部署满足服务功能链请求流要求的虚拟化网络功能的放置与路由路径，综合考虑了网络资源状态信息，实现了在减少物联网请求流对资源消耗成本和时延的同时实现了网络的负载均衡，并提高了网络流量接收率。

技术领域

本发明属于边缘计算技术领域，涉及一种基于深度强化学习的动态服务功能链编排方法及系统，用于解决边缘计算背景下的虚拟网络功能放置和路由问题。

背景技术

随着物联网的迅速发展，物联网终端的数量正在持续增长，导致了海量的计算密集型和延迟敏感型的物联网请求流，例如无人驾驶、增强现实和人脸识别等。尽管传统的云计算可以为这些物联网数据提供较高的计算能力，但它不能满足数据的低时延和低能耗要求。将数据传输至远程的云数据中心将造成较大的网络延迟并将消耗巨量的带宽和传输资源。为了解决这个问题，边缘计算通过在靠近物联网终端的网络边缘部署一系列边缘服务器为物联网数据提供计算和存储资源，以达到降低数据处理的时延和能耗的目的。同时，为保证给物联网终端提供稳定，安全，高效的网络服务，网络服务提供商通常需要按照流量的业务需求，规定数据包在网络中传输时，需要按顺序经过不同的网络功能，即服务功能链。网络功能虚拟化改变了网络功能只能在专有平台上实现的情况，解耦了物理网络设备和运行于其之上的网络功能，灵活地为用户提供各种网络服务，并能够快速支持新服务，降低了设备投资和运营费用。软件定义网络中逻辑集中的控制器将服务功能链部署至物理网络中并将流表下发至数据平面以实现流量路由，实现了更加灵活的流量控制能力和网络的可编程性。然而，在支持移动边缘计算的物联网网络中，由于边缘云的资源有限，且每种类型的虚拟化网络功能不只有一个实例，相同类型的虚拟化网络功能可以部署在不同的微云上，这给优化虚拟网络功能的放置和路由路径的选择以合理分配及利用资源增加了难度。而现有的服务功能链部署方法都存在某些方面的不足。传统的求解组合问题的精确方法虽然可以得到全局最优解，但不适用于网络规模和物联网请求流数量较大的情况；启发式算法虽然可以在一定时间内求得可行解，但容易陷入局部最优解且在大多数情况下很难适应动态的网络变化。因此，我们需制定一种优化策略，以从多VNF实例支持的基于移动边缘计算物联网网络环境中动态部署服务功能链，以满足具有服务功能链要求的物联网请求流要求，从而最小化物联网请求流的成本和时延，提高物联网请求流的接收率，确保网络的负载均衡。

发明内容

本发明所要解决的技术问题是如何在实现网络负载均衡的条件下提高物联网请求流的接收率，目的在于提供一种基于深度强化学习的动态服务功能链编排方法及系统，综合考虑了网络资源状态信息，实现了在减少物联网请求流对资源消耗成本和时延的同时实现了网络的负载均衡，并提高了网络流量接收率。

本发明通过下述技术方案实现：

一方面，本发明提供基于深度强化学习的动态服务功能链编排方法，包括以下步骤：

S1、根据SDN控制器获取历史网络状态；网络状态包括支持移动边缘计算的物联网网络中产生的服务功能链请求流信息以及对应的网络资源状态信息；

S2、根据网络状态设定深度强化学习参数并初始化神经网络的权重；

S3、根据智能体与环境交互产生的经验样本训练神经网络；

S4、对于实时获取的服务功能链请求流，利用训练好的神经网络，采用启发式算法，确定并部署满足服务功能链请求流要求的虚拟化网络功能的放置与路由路径。