[发明专利]用于减少参数表存储空间的方法、装置、设备和计算机可读存储介质

说明书

本公开的实施例涉及用于减少参数表存储空间的方法、装置、设备和计算机可读存储介质。该方法包括：在用于根据非线性函数的输入值计算非线性函数的输出值的查找表系统中存储参数表，参数表仅包括与非线性函数的定义域中的中值的一侧的输入值相关联的索引值和与索引值对应的参数值；利用与一侧的输入值相关联的索引值和与索引值对应的参数值之间的对应关系，确定与关联于另一侧的输入值的索引值对应的参数值；以及使用另一侧的输入值和确定的对应的参数值来计算输出值。使用本公开的技术方案，可以减少查找表系统中针对非线性函数的参数表存储空间。此外，本公开的技术方案适合各种查找表系统拟合方式，并且几乎不增加额外的计算要求。

技术领域

本公开的实施例总体上涉及文本处理领域，并且更具体地涉及用于减少参数表存储空间的方法、装置、设备和计算机可读存储介质。

背景技术

近年来，深度学习受到了广泛的关注，也被应用到越来越多的场景中。在深度学习中，使用了很多非线性函数，常见的非线性函数包括激活函数sigmoid、tanh等。这些非线性函数的计算往往比较复杂，例如需要使用诸如指数计算、对数计算、除法等复杂操作。因此，如果在实现相关的处理器时直接使用这些复杂操作来进行计算，那么在处理器和存储器面积、功耗等多个方面中都会存在很大挑战。为此，可以采取的做法包括将这些非线性函数通过一定的方式进行拟合，然后保存通过拟合而产生的参数表，并且在需要计算这些非线性函数时利用查找表(LUT)系统通过调用参数表中所存储的参数来进行计算。

然而，在使用查找表系统时，如果想要实现较高的精度，就需要具有较高存储空间的参数表。同时，随着非线性函数的计算并行度的增加，参数表的份数也需要随之增加，这一点对于处理器面积也会带来很大的挑战。再者，针对现有技术中的查找表系统，如果不采取额外的优化方案的话，那么当参数表的存储空间大小被确定为、且精度也有一定的要求时，查找表系统可支持的范围会比较小，对于那些落在参数表之外的输入值，虽然可以通过一定的手段进行优化，但还是不可避免地有很大的精度损失

发明内容

根据本公开的示例实施例，提供了一种在资源面积和灵活性权衡后的折衷方案。

在本公开的第一方面中，提供了一种用于减少参数表存储空间的方法，该方法包括：在查找表系统中存储参数表，查找表系统用于根据非线性函数的输入值计算非线性函数的输出值，参数表包括与非线性函数的定义域中的中值的一侧的输入值相关联的索引值和与索引值对应的参数值、并且不包括与中值的另一侧的输入值相关联的索引值和对应的参数值；利用与一侧的输入值相关联的索引值和与索引值对应的参数值之间的对应关系，确定与关联于另一侧的输入值的索引值对应的参数值；以及基于非线性函数的对称形式以及与非线性函数相关联的计算公式，使用另一侧的输入值和确定的对应的参数值，计算输出值。

在本公开的第二方面中，提供了一种用于减少参数表存储空间的装置，该装置包括：存储模块，被配置用于在查找表系统中存储参数表，查找表系统用于根据非线性函数的输入值计算非线性函数的输出值，参数表包括与非线性函数的定义域中的中值的一侧的输入值相关联的索引值和与索引值对应的参数值、并且不包括与中值的另一侧的输入值相关联的索引值和对应的参数值；第一确定模块，被配置用于利用与一侧的输入值相关联的索引值和与索引值对应的参数值之间的对应关系，确定与关联于另一侧的输入值的索引值对应的参数值；以及第一计算模块，被配置用于基于非线性函数的对称形式以及与非线性函数相关联的计算公式，使用另一侧的输入值和确定的对应的参数值，计算输出值。

在本公开的第三方面中，提供了一种电子设备。该电子设备包括：一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第一方面的方法。

在本公开的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。