[发明专利]一种接入网络选择方法及装置

权利要求书

1.一种接入网络选择方法，其特征在于，所述方法包括：

获取环境状态信息；

其中，所述环境状态信息包括多个终端设备的位置信息、第一接入网络模型参数、第二接入网络模型参数；所述多个终端设备处于第一接入网络和第二接入网络的覆盖区域，所述第一接入网络与所述第二接入网络支持的接入技术不同；

根据所述环境状态信息以及强化学习模型，得到第一决策信息；

其中，所述强化学习模型的优化目标为所述多个终端设备的总吞吐量，所述强化学习模型的输入参数包括环境状态信息，所述强化学习模型的输出参数包括为所述多个终端设备选择的接入网络；

其中，所述第一决策信息用于指示从所述第一接入网络和所述第二接入网络中为所述多个终端设备选择的接入网络。

2.根据权利要求1所述方法，其特征在于，所述方法还包括：

配置所述强化学习模型的训练参数；其中，所述强化学习模型包括动作神经网络和评价神经网络，所述动作神经网络用于决策所述多个终端设备选择的接入网络，所述评价神经网络用于所述评价所述多个终端设备选择的接入网络；

在第一决策时隙根据所述环境状态信息以及所述动作神经网络得到第二决策信息，执行所述第二决策信息获得所述多个终端设备的总吞吐量；其中，所述第二决策信息为用于指示从所述第一接入网络和所述第二接入网络中为所述多个终端设备初步选择的接入网络；

根据所述多个终端设备的总吞吐量确定所述终端设备执行所述第二决策信息时的奖励值；

根据第一决策时隙下终端设备的位置信息、第二决策时隙下终端设备的位置信息、所述奖励值以及所述评价神经网络确定时间差分误差；其中，所述时间差分误差用于调整所述强化学习模型的训练参数；

根据所述时间差分误差确定所述神经网络的损失函数，根据所述损失函数更新所述强化学习模型的训练参数，直至所述奖励值收敛。

3.根据权利要求1或2所述方法，其特征在于，所述方法还包括：

根据所述第一接入网络模型参数和所述终端设备的位置信息计算得到第一速率，根据所述第二接入网络模型参数和所述终端设备的位置信息计算得到第二速率；其中，所述第一速率为所述终端设备接入所述第一接入网络时的数据速率，所述第二速率为所述终端设备接入第二接入网络时的数据速率。

4.根据权利要求2所述方法，其特征在于，所述执行所述第二决策信息获得所述多个终端设备的总吞吐量，包括：

根据第一速率、第二速率、第一决策变量和第二决策变量确定所述多个终端设备的总吞吐量，所述多个终端设备的总吞吐量为所述多个终端设备接入所述第一接入网络或者所述第二接入网络时的数据速率之和；

其中，所述第一决策变量和所述第二决策变量可以根据所述第二决策信息而获得；所述第一决策变量用于表示所述终端设备与所述第一接入网络的接入情况，所述第二决策变量用于表示所述终端设备与所述第二接入网络的接入情况。

5.根据权利要求1-4任一项所述方法，其特征在于，所述第二决策时隙为所述第一决策时隙的下一个决策时隙；

所述获取环境状态信息，包括：在每一个决策时隙开始时，获取所述决策时隙下的环境状态信息。

6.一种接入网络选择装置，其特征在于，所述装置包括：

获取单元，用于获取环境状态信息；

其中，所述环境状态信息包括多个终端设备的位置信息、第一接入网络模型参数、第二接入网络模型参数；所述多个终端设备处于第一接入网络和第二接入网络的覆盖区域，所述第一接入网络与所述第二接入网络支持的接入技术不同；

训练单元，用于根据所述环境状态信息以及强化学习模型，得到第一决策信息；

其中，所述强化学习模型的优化目标为所述多个终端设备的总吞吐量，所述强化学习模型的输入参数包括环境状态信息，所述强化学习模型的输出参数包括为所述多个终端设备选择的接入网络；

其中，所述第一决策信息用于指示从所述第一接入网络和所述第二接入网络中为所述多个终端设备选择的接入网络。