[发明专利]蛋白质语言模型的量化方法、装置、设备和存储介质

权利要求书

1.一种蛋白质语言模型的量化方法，其特征在于，所述方法包括：

采用均匀对称量化方法对蛋白质语言模型的权重值进行量化；

通过校准数据集确定所述蛋白质语言模型的激活值的第一截断范围，并基于第一断点p_l和第二断点p_u将所述第一截断范围划分为至少两个第一截断子范围，基于各所述第一截断子范围的中心，将各所述第一截断子范围划分为至少两个量化区间；所述第一断点p_l的确定方式如下：

；

所述第二断点p_u的确定方式如下：

；

其中，m和n表示超参数，r_l表示第一截断范围的最小值，r_u表示第一截断范围的最大值；

通过分段线性量化方法分别对所述至少两个量化区间的激活值进行量化；

基于量化后的权重值以及量化后的激活值，配置得到量化后的蛋白质语言模型。

2.根据权利要求1所述的方法，其特征在于，所述通过校准数据集确定所述蛋白质语言模型的激活值的第一截断范围包括：

选取校准数据集输入给蛋白质语言模型，以获取模型每一个张量对应激活值的第一截断范围[r_l，r_u]；其中，

其中，表示对应张量激活值最小topk的中位数，表示对应张量激活值最大topk的中位数，r表示对应张量激活值。

3.根据权利要求1所述的方法，其特征在于，所述通过分段线性量化方法分别对所述至少两个量化区间的激活值进行量化包括：

；

其中，b表示激活值量化的bits数，表示量化后又经过反量化的近似激活值，uni（）表示均匀对称量化。

4.根据权利要求1所述的方法，其特征在于，所述采用均匀对称量化方法对蛋白质语言模型的权重值进行量化包括：

确定所述蛋白质语言模型的权重值的第二截断范围；

针对所述第二截断范围，采用均匀对称量化方法对蛋白质语言模型的权重值进行量化。

5.根据权利要求4所述的方法，其特征在于，所述采用均匀对称量化方法对蛋白质语言模型的权重值进行量化包括：

其中，表示量化之后又反量化的近似权重值，表示蛋白质语言模型的权重值，b表示要量化到的bit数，N表示量化级别的数量，[r_l^’，r_u^’]表示第二截断范围，r_q表示量化之后的权重值，clamp表示截断函数，s表示量化的比例因子，Z表示量化偏移值，表示取整函数。