[发明专利]可配置的BF16格式矩阵乘法数据通路实现方法、部件及装置

说明书

本发明公开了一种可配置的BF16格式矩阵乘法数据通路实现方法、部件及装置，本发明可配置的BF16格式矩阵乘法数据通路实现方法包括：进行数据通路配置，包括数据通路数C，单个数据通路支持的数据宽度V的配置；选择一条数据通路，在该数据通路中选择处理器中计算部件所支持的计算粒度，将原有矩阵乘操作切分一个或多个微操作，并按照设定的连续微操作的流水线间隔执行。本发明基于现有典型数据执行通路提供一种灵活的BF16格式矩阵乘法数据通路实现方式，能够提升BF16设计的硬件设计效率，并提供更高的系统性能，支持多种数据的执行粒度。

技术领域

本发明涉及微处理器设计时的微处理器体系结构和执行部件设计，具体涉及一种可配置的BF16格式矩阵乘法数据通路实现方法、部件及装置。

背景技术

人工智能应用近年发展速度迅猛，被广泛应用在如图像识别、目标识别和自然语言处理等领域。以图像识别领域为例，2016年IMAGENET比赛的冠军的图像识别错误率已低于人类的错误率。人工智能领域同时吸引了学术界和工业界的关注，并正快速走向应用阶段。人工智能应用正成为新兴应用的代表之一。其应用同时表现出对计算和存储计算能力的强烈需求，考虑到此类应用具有一定的容错能力，其运算所使用的数据类型与传统应用不同，Google提出BF16格式，以此替代fp16或fp32。BF16格式可以保持与fp16相同的数据长度的同时，提高数据本身的表示范围，提高应用的精度。

BF16格式的数据长度为16位，其中符号位占1位，阶码占8位，尾数占7位，具有与fp32相同的阶码长度。基于BF16的指令主要服务于人工智能应用，计算类指令主要包括点乘和矩阵乘两种操作。矩阵乘指令的源操作数为三个矩阵，其矩阵大小分别2x4、4x2和2x2。矩阵数据以向量的形式在处理器中保存，基础向量的数据长度为128位。考虑到BF16的数据编码方式与FP32的重叠部分，BF16矩阵乘法操作的数据通路设计可以天然的依托原有fp32数据格式的数据通路，但是其数据执行通路的有效计算带宽取决于fp32，考虑到BF16的宽度为fp32的一半，上述方案的计算带宽将下降为理想设计的一半。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种可配置的BF16格式矩阵乘法数据通路实现方法、部件及装置，本发明基于现有典型数据执行通路提供一种灵活的BF16格式矩阵乘法数据通路实现方式，能够提升BF16设计的硬件设计效率，并提供更高的系统性能，支持多种数据的执行粒度。

为了解决上述技术问题，本发明采用的技术方案为：

一种可配置的BF16格式矩阵乘法数据通路实现方法，包括：

1)进行数据通路配置，包括数据通路数C，单个数据通路支持的数据宽度V的配置；

2)选择一条数据通路，在该数据通路中选择处理器中计算部件所支持的计算粒度，将原有矩阵乘操作切分一个或多个微操作，并按照设定的连续微操作的流水线间隔执行。

可选地，步骤2)包括：

A2.1)选择一条数据通路PATH_i；

A2.2)激活数据通路PATH_i的16位浮点乘法模块fmul16和32位浮点加法模块fadd32；

A2.3)在该数据通路中以乘累加操作为计算粒度，将原有矩阵乘操作切分为基于乘累加操作的4个微操作，将每一个微操作通过数据通路PATH_i的16位浮点乘法模块fmul16和32位浮点加法模块fadd32完成乘累加操作，且连续微操作的流水线间隔为3拍。