[发明专利]用于使用机器学习来设计波束网格的装置和方法

权利要求书

1.一种装置，包括：

至少一个处理器；以及

至少一个存储器，包括计算机程序代码，

所述至少一个存储器和所述计算机程序代码被配置为，与所述至少一个处理器一起，使所述装置至少：

收集用于训练神经网络的网络数据；

使用所收集的所述数据来训练所述神经网络以学习非折扣累积奖励(Q)，所述非折扣累积奖励(Q)评估将给定波束包括到波束网格(GoB)中的收益；

应用经训练的所述神经网络来选择至少一个波束以包括在所述波束网格(GoB)中以优化性能度量，其中经训练的所述神经网络被重复应用，直到用于所述波束网格的所需要的数目的波束被选择；以及

从所述波束网格(GoB)中选择一个或多个波束，以向用户设备进行发射或从所述用户设备接收传输。

2.根据权利要求1所述的装置，其中所收集的所述数据包括以下至少之一：

从统计模型或从用于多个实际部署的射线跟踪数据中收集的仿真数据；以及

从预定义波束网格(GoB)上的测量中收集的在线数据。

3.根据权利要求1所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为，与所述至少一个处理器一起，使所述装置至少：

将(Q)近似为其中v是特征向量并且w是权重向量。

4.根据权利要求3所述的装置，其中所述特征向量v包括以下至少之一：

离散傅立叶变换(DFT)波束的数目；

合并波束的数目；

锥形波束的数目；

所述波束的波束指向方向；

所述波束的波束宽度；以及

所述波束的最大波束赋形增益。

5.根据权利要求1-4中任一项所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为，与所述至少一个处理器一起，使所述装置至少：

迭代地应用所述神经网络的所述训练，直到所述权重向量w或所述近似函数在迭代之间没有足够地改变。

6.根据权利要求1-4中任一项所述的装置，其中所述神经网络的所述训练包括：

(a)针对所有状态和动作来初始化所述权重向量w和所述(Q)函数；以及

(b)选择(s,a)对并且根据下式更新w：

其中是以所述权重向量w针对状态动作对(s,a)而计算的所述函数的梯度；以及

重复步骤(b)，直到所述w向量或所述近似函数在迭代之间没有足够地改变。

7.根据权利要求1-4中任一项所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为，与所述至少一个处理器一起，使所述装置至少：

选择具有最大(Q)值的所述至少一个波束以包括在所述波束网格(GoB)中。

8.根据权利要求1-4中任一项所述的装置，

其中所述性能度量包括业务密度加权的波束赋形增益，并且

其中所述应用包括：应用经训练的所述神经网络来选择根据以下奖励而使所述业务密度加权的波束赋形增益最大化的所述至少一个波束，以包括在所述波束网格(GoB)中：

9.根据权利要求1-4中任一项所述的装置，

其中所述性能度量包括覆盖优化，并且

其中所述应用包括：应用经训练的所述神经网络来选择根据以下奖励而使最小参考信号接收功率(RSRP)最大化的所述至少一个波束，以包括在所述波束网格(GoB)中：

10.根据权利要求1-4中任一项所述的装置，

其中所述性能度量包括波束赋形增益的几何平均值，并且

其中所述应用包括：应用经训练的所述神经网络来选择根据以下奖励而使所述波束赋形增益的所述几何平均值最大化的所述至少一个波束，以包括在所述波束网格(GoB)中：