[发明专利]可配置的BF16格式矩阵乘法数据通路实现方法、部件及装置

权利要求书

1.一种可配置的BF16格式矩阵乘法数据通路实现方法，其特征在于，包括：

1)进行数据通路配置，包括数据通路数C，单个数据通路支持的数据宽度V的配置；

2)选择一条数据通路，在该数据通路中选择处理器中计算部件所支持的计算粒度，将原有矩阵乘操作切分成一个或多个微操作，并按照设定的连续微操作的流水线间隔执行。

2.根据权利要求1所述的可配置的BF16格式矩阵乘法数据通路实现方法，其特征在于，步骤2)包括：

A2.1)选择一条数据通路PATH_i；

A2.2)激活数据通路PATH_i的16位浮点乘法模块fmul16和32位浮点加法模块fadd32；

A2.3)在该数据通路中以乘累加操作为计算粒度，将原有矩阵乘操作切分为基于乘累加操作的4个微操作，将每一个微操作通过数据通路PATH_i的16位浮点乘法模块fmul16和32位浮点加法模块fadd32完成乘累加操作，且连续微操作的流水线间隔为3拍。

3.根据权利要求2所述的可配置的BF16格式矩阵乘法数据通路实现方法，其特征在于，原有矩阵乘操作的输入第一个源操作数opa和第二个源操作数opb为两组矩阵数据，一组矩阵数据的尺寸为2×4，另一组矩阵数据的尺寸为4×2，输出的目的操作数res为尺寸为2×2的矩阵数据；步骤A2.3)中将每一个微操作通过数据通路PATH_i的16位浮点乘法模块fmul16和32位浮点加法模块fadd32完成乘累加操作包括：依次针对n、j、k进行三个层次嵌套的循环遍历，且在第三层循环遍历中根据下式计算目的操作数的索引为n的子向量中索引为j的元素：

res[n][j]+＝opa[n][k]*opb[j][k]

上式中，res[n][j]表示元素长度为32位的目的操作数res的索引为n的子向量中索引为j的元素，“+＝”表示累加运算，opa[n][k]表示元素长度为16位的第一个源操作数opa的索引为n的子向量中索引为k的元素，opb[j][k]表示元素长度为16位的第二个源操作数opb的索引为j的子向量中索引为k的元素，其中n,j取值范围为[0,2)，k取值范围为[0,4)，n为操作元素对应的第一个源操作数opa的行号，j为操作元素对应的第二个源操作数opb的行号，k为操作元素对应的矩阵列号。

4.根据权利要求1所述的可配置的BF16格式矩阵乘法数据通路实现方法，其特征在于，步骤2)包括：

B2.1)选择一条数据通路PATH_i；

B2.2)激活数据通路PATH_i的16位浮点乘法模块fmul16、32位浮点加法模块fadd32和64位浮点加法模块fadd64，其中64位浮点加法模块fadd64支持两路并行32位浮点加法操作；

B2.3)在该数据通路中以乘累加操作为计算粒度，将原有矩阵乘操作切分为基于点乘操作的2个微操作，将每一个微操作通过数据通路PATH_i的16位浮点乘法模块fmul16、32位浮点加法模块fadd32和64位浮点加法模块fadd64完成点乘操作，且连续微操作的流水线间隔为3拍。