[发明专利]在神经网络中动态地规范化数据的方法和装置

权利要求书

1.一种与机器学习模型一起使用的装置，所述装置包括：

至少一个规范化计算器，所述至少一个规范化计算器用于生成多个替代规范化输出，所述多个替代规范化输出与针对所述机器学习模型的输入数据相关联，所述多个替代规范化输出中的不同替代规范化输出是基于不同规范化技术的；

软加权引擎，所述软加权引擎用于基于所述输入数据生成多个权重；以及

规范化输出生成器，所述规范化输出生成器用于基于所述多个替代规范化输出和所述多个权重来生成最终规范化输出。

2.根据权利要求1所述的装置，其中，所述规范化输出生成器用于将所述最终规范化输出生成为以下项之和：所述多个权重中的权重与所述多个替代规范化输出中的相应替代规范化输出的乘积。

3.根据权利要求1所述的装置，其中，所述输入数据是第一输入数据并且所述多个权重是第一多个权重，所述软加权引擎用于基于与所述第一输入数据不同的第二输入数据来生成第二多个权重，所述第二多个权重由于所述第一输入数据和所述第二输入数据之间的区别而不同于所述第一多个权重。

4.根据权利要求1至3中任一项所述的装置，其中，所述软加权引擎包括：

聚合分析器，所述聚合分析器用于将所述输入数据聚合为第一向量；以及

映射分析器，所述映射分析器用于将所述第一向量映射到第二向量，所述第二向量中的元素数量与所述不同规范化技术的数量相同，所述多个权重是基于所述第二向量中的值的。

5.根据权利要求4所述的装置，其中，所述软加权引擎包括缩放分析器，所述缩放分析器用于对所述第二向量中的值进行缩放。

6.根据权利要求1至3中任一项所述的装置，其中，所述机器学习模型为具有多个层的神经网络。

7.根据权利要求6所述的装置，其中，所述输入数据是针对所述神经网络中的第一层的第一输入数据并且所述多个权重是第一多个权重，所述软加权引擎用于基于针对所述神经网络中的第二层的第二输入数据来生成第二多个权重，所述第二输入数据是基于所述最终规范化输出的。

8.根据权利要求7所述的装置，其中，所述多个替代规范化输出是与所述神经网络中的所述第一层相关联的第一多个替代规范化输出，并且所述最终规范化输出是与所述神经网络中的所述第一层相关联的第一最终规范化输出，所述至少一个规范化计算器用于生成与第二输入数据相关联的第二多个替代规范化输出，所述规范化输出生成器用于基于所述第二多个替代规范化输出和所述第二多个权重来生成第二最终规范化输出。

9.根据权利要求1至3中任一项所述的装置，其中，所述软加权引擎用于与所述替代规范化输出独立地生成所述多个权重。

10.根据权利要求1至3中任一项所述的装置，其中，所述多个权重与软权重相对应，所述软权重具有在从0到1的范围内的可能不同的值。

11.至少一个非暂时性计算机可读介质，包括指令，所述指令当被执行时使至少一个处理器执行至少以下操作：

生成多个替代规范化输出，所述多个替代规范化输出与针对机器学习模型的输入数据相关联，所述多个替代规范化输出中的不同替代规范化输出是基于不同规范化技术的；

基于所述输入数据生成多个权重；以及

基于所述多个替代规范化输出和所述多个权重来生成最终规范化输出。

12.根据权利要求11所述的至少一个非暂时性计算机可读介质，其中，所述指令还使所述至少一个处理器将所述最终规范化输出生成为以下项之和：所述多个权重中的权重与所述多个替代规范化输出中的相应替代规范化输出的乘积。