[发明专利]用于使用机器学习来设计波束网格的装置和方法

说明书

用于确定波束网格(GoB)的系统、方法、装置和计算机程序产品被提供。一种方法可以包括：收集用于训练神经网络的网络数据，使用所收集的数据来训练神经网络以学习评估将给定波束包括到波束网格(GoB)中的收益的非折扣累积奖励Q，迭代地应用经训练的神经网络来选择至少一个最优波束以包括在波束网格(GoB)中，以及从波束网格(GoB)中选择一个或多个波束以向用户设备进行发射或从用户设备接收传输。

技术领域

一些示例实施例总体上可以涉及移动或无线电信系统，诸如长期演进(LTE)或第五代(5G)无线电接入技术或新无线电(NR)接入技术、或其他通信系统。例如，某些实施例可以涉及大规模多输入多输出(MIMO)和通过机器学习被优化的波束网格(GoB)。

背景技术

移动或无线电信系统的示例可以包括通用移动电信系统(UMTS)地面无线电接入网(UTRAN)、长期演进(LTE)演进型UTRAN(E-UTRAN)、高级LTE(LTE-A)、MulteFire、LTE-APro、和/或第五代(5G)无线电接入技术或新无线电(NR)接入技术。第五代(5G)无线系统是指下一代(NG)无线电系统和网络架构。5G主要构建在新无线电(NR)上，但是5G(或NG)网络也可以构建在E-UTRA无线电上。据估计，NR将提供10-20Gbit/s或更高量级的比特率，并且将至少支持增强型移动宽带(eMBB)和超可靠低时延通信(URLLC)以及大规模机器类型通信(mMTC)。NR被预期为实现极度宽带和超鲁棒低时延连接性和大规模联网，以支持物联网(IoT)。随着IoT和机器到机器(M2M)通信变得更加普遍，将存在对于如下网络的增长的需求，这些网络满足更低功率、低数据速率和长电池寿命的需求。要指出的是，在5G中，可以向用户设备提供无线电接入功能的节点(也即，类似于E-UTRAN中的节点B或LTE中的eNB)当构建在NR无线电上时可以被命名为gNB，并且当构建在E-UTRA无线电上时可以被命名为NG-eNB。

发明内容

一种实施例针对一种装置，该装置可以包括至少一个处理器和包括计算机程序代码的至少一个存储器。至少一个存储器和计算机程序代码被配置为，与至少一个处理器一起，使该装置至少：收集用于训练神经网络的网络数据；使用所收集的数据来训练神经网络以学习非折扣累积奖励(Q)，非折扣累积奖励(Q)评估将给定波束包括到波束网格(GoB)中的收益；应用经训练的神经网络来选择至少一个波束以包括在波束网格(GoB)中以优化性能度量，其中经训练的神经网络被重复应用，直到用于波束网格的所需要的数目的波束被选择；以及从波束网格(GoB)中选择一个或多个波束，以向用户设备进行发射或从用户设备接收传输。

另一实施例针对一种方法，该方法可以包括：收集用于训练神经网络的网络数据；使用所收集的数据来训练神经网络以学习非折扣累积奖励(Q)，非折扣累积奖励(Q)评估将给定波束包括到波束网格(GoB)中的收益；应用经训练的神经网络来选择至少一个波束以包括在波束网格(GoB)中以优化性能度量，其中经训练的神经网络被重复应用，直到用于波束网格的所需要的数目的波束被选择；以及从波束网格(GoB)中选择一个或多个波束，以向用户设备进行发射或从用户设备接收传输。

另一实施例针对一种装置，该装置可以包括：收集部件，用于收集用于训练神经网络的网络数据；训练部件，用于使用所收集的数据来训练神经网络以学习非折扣累积奖励(Q)，非折扣累积奖励(Q)评估将给定波束包括到波束网格(GoB)中的收益；应用部件，用于应用经训练的神经网络来选择至少一个波束以包括在波束网格(GoB)中以优化性能度量，其中经训练的神经网络被重复应用，直到用于波束网格的所需要的数目的波束被选择；以及选择部件，用于从波束网格(GoB)中选择一个或多个波束，以向用户设备进行发射或从用户设备接收传输。