[发明专利]一种接入网络选择方法及装置

说明书

本申请公开了一种接入网络选择方法及装置，涉及通信技术领域，用于为终端设备进行接入网络选择。具体方案为：获取环境状态信息；其中，环境状态信息包括多个终端设备的位置信息、第一接入网络模型参数、第二接入网络模型参数；多个终端设备处于第一接入网络和第二接入网络的覆盖区域，第一接入网络与第二接入网络支持的接入技术不同；根据环境状态信息以及强化学习模型，得到第一决策信息；其中，强化学习模型的优化目标为多个终端设备的总吞吐量，强化学习模型的输入参数包括环境状态信息，强化学习模型的输出参数包括为多个终端设备选择的接入网络；其中，第一决策信息用于指示从第一接入网络和第二接入网络中为多个终端设备选择的接入网络。

技术领域

本申请实施例涉及通信技术领域，尤其涉及一种接入网络选择方法及装置。

背景技术

随着第五代移动通信技术(5th generation mobile networks，5G)的飞速发展，数据流量呈现爆炸式增长，传统的地面蜂窝网络面临容量、覆盖范围等严峻挑战，基于不同接入技术标准的无线网络长期共存，形成相互融合的异构无线网络，其中，空天地一体化网络是一种典型的异构无线网络融合的结果。

空天地一体化网络包括地基网络、空基网络和天基网络。其中，地基网络主要由地面互联网、蜂窝接入网等组成，地基网络能够覆盖地面上大部分用户密集的区域；天基网络主要由高轨卫星及低轨卫星组成，空基网络主要由无人机及高空通信平台组成，天基网络以及空基网络可以作为地基网络的延伸，使得网络覆盖范围更广。

在空天地一体化网络架构下，一些用户密集的区域会同时存在多种接入网络，例如卫星接入网络、蜂窝接入网络等，不同的接入网络在网络容量、通信资源、接入协议、应用场景等方面互不相同，因而不同的接入网络也对应着不同的网络性能和服务质量(qualityof service，QoS)。此时，如果用户从多种接入网络中选择的接入网络不能满足用户业务传输的网络性能要求，则会影响该用户的业务数据传输。因此，如何为用户选择合适的接入网络成为亟需解决的问题。

发明内容

本申请实施例提供一种接入网络选择方法及装置，能够实现在空天地一体化网络中高效、自适应地为用户进行接入网络选择，进而有效提升整体网络性能和服务质量。

为达到上述目的，本申请实施例采用如下技术方案：

第一方面，提供了一种接入网络选择装置，所述方法包括：获取环境状态信息；其中，环境状态信息包括多个终端设备的位置信息、第一接入网络模型参数、第二接入网络模型参数；多个终端设备处于第一接入网络和第二接入网络的覆盖区域，第一接入网络与第二接入网络支持的接入技术不同；根据环境状态信息以及强化学习模型，得到第一决策信息；其中，强化学习模型的优化目标为多个终端设备的总吞吐量，强化学习模型的输入参数包括环境状态信息，强化学习模型的输出参数包括为多个终端设备选择的接入网络；其中，第一决策信息用于指示从第一接入网络和第二接入网络中为多个终端设备选择的接入网络。

基于第一方面所述的方法，可以通过与环境的实时交互获取环境状态信息，根据获得的环境状态信息和强化学习模型为多个终端设备决策选择的接入网络，能够实现高效、自适应地网络接入选择，进而有效提升接入网络整体网络性能和服务质量。

一种可能的设计中，所述方法还包括：配置强化学习模型的训练参数；其中，强化学习模型包括动作神经网络和评价神经网络，动作神经网络用于决策多个终端设备选择的接入网络，评价神经网络用于评价多个终端设备选择的接入网络；在第一决策时隙根据环境状态信息以及动作神经网络得到第二决策信息，执行第二决策信息获得多个终端设备的总吞吐量；其中，第二决策信息为用于指示从第一接入网络和第二接入网络中为多个终端设备初步选择的接入网络；根据多个终端设备的总吞吐量确定终端设备执行第二决策信息时的奖励值；根据第一决策时隙下终端设备的位置信息、第二决策时隙下终端设备的位置信息、奖励值以及评价神经网络确定时间差分误差；其中，时间差分误差用于调整强化学习模型的训练参数；根据时间差分误差确定神经网络的损失函数，根据损失函数更新强化学习模型的训练参数，直至奖励值收敛。