[发明专利]一种用于异构网络的动态最优网络选择方法及装置

说明书

本发明实施例公开了一种用于异构网络的动态最优网络选择方法及装置，通过先初始化算法参数为预设值，然后在探索阶段使用不同的网络发送特定数量的数据包，达到预设的探索数后，分别计算两个网络的Q值，找出目前最优网络，完成探索阶段。完成探索阶段后，算法开始学习阶段，当有新的数据包到来时，通过学习之前的行为来计算每种网络传输数据成功的概率，异构网络节点使用上个阶段的最优网络来计算新的Q值，然后和上个阶段另外一个网络的Q值进行比较，最后选择Q值较大的网络进行数据包转发。

技术领域

本发明涉及异构网络的选择领域，尤其涉及一种用于异构网络的动态最优网络选择方法及装置。

背景技术

异构网络通过不同的网络技术来分发负载来提高网络的整体性能，为高密度覆盖地区成本、密集、大面积或临时变化事件提供支持。但是当前异构网络网络选择所面临的主要挑战包括：移动数据流量呈爆炸式的增长导致网络负荷不断增加；网络资源利用率低；不同类型网络演进使得网络结构日趋复杂，网络协同效率不佳。因此，如何优化网络传输技术的选择是异构网络面临的一项主要挑战。

为了应对异构网络传输技术选择带来的网络整体容量不高，利用率低和网络的协同效率差，从而使异构网络的性能达不到预期。现在异构网络的传输技术主要有：微蜂窝网络中的微网络通过较低发射功率提高频率复用；异构网络采用无线特性来分配网络之间的数据；通过拆分数据提高网络容量；车载网络推选节点作为网关转发数据包，由于不同的网络采用不同的标准和数据格式，这些方法需要异构网络通过一个新的机制在不同的网络间交换控制信息，存在时延较高、能耗较大，不能较好解决容量低、效率低和协同性差的问题。

因此，提供一个能够解决异构网络传输技术中时延高、能耗大，容量低、效率低和协同性差等问题的方法及装置为本领域技术人员需要解决的技术问题。

发明内容

本发明实施例提供了一种用于异构网络的动态最优网络选择方法及装置，结合强化学习理论来优化传输技术的选择，提出一个新的强化学习算法来允许每个节点学习之前的操作来提高网络性能。

本发明实施例提供了一种用于异构网络的动态最优网络选择方法，包括：

S1：获取到参数Exp＝true、标志标量FlagW＝true、计数变量Expcount＝0；

S2：获取数据包后，判断是否参数Exp＝true，若是，则执行S3，若不是，则执行S7；

S3：判断是否标志标量FlagW＝true，若是，则执行S4，若不是则执行S5；

S4：选择使用第二网络发送数据包，并令FlagW＝flase，再执行S6；

S5：选择使用第一网络发送数据包，并令FlagW＝true，再执行S6；

S6：将计数变量Expcount加一，判断计数变量Expcount是否大于预置阈值，若大于，令Exp＝flase并比较通过预置公式对第一网络和第二网络进行计算得到的Q值大小，令较大的Q值为第一Q值，令较小的Q值为第二Q值，选择与第一Q值对应的网络为当前最优网络，并执行S2，若不大于，则执行S2；

S7：获取到新的数据包后，通过预置公式对当前最优网络进行计算得到第三Q值，并比较第二Q值与第三Q值的大小，得到最大Q值，并选择与最大Q值对应的网络进行数据包发送。

优选地，所述预置公式为：

Q(t_i)＝(1-α)Q(t_i-1)+α[SR(t_i-1-t_i)+CQ(t_i)-Q(t_i-1)]