[发明专利]在基于处理器的系统中使用矩阵处理器提供高效浮点运算

说明书

本发明揭示在基于处理器的系统中使用矩阵处理器提供高效浮点运算。就此来说，基于矩阵处理器的装置提供矩阵处理器，所述矩阵处理器包括正部分和累加器及负部分和累加器。随着所述矩阵处理器处理多对浮点操作数，所述矩阵处理器基于第一浮点操作数及第二浮点操作数计算中间乘积且确定所述中间乘积的正负号。基于所述正负号，所述矩阵处理器用所述正部分和累加器或所述负部分和累加器的部分和分数使所述中间乘积归一化，随后将所述中间乘积与所述正和累加器或所述负和累加器相加。在处理所有对浮点操作数之后，所述矩阵处理器从所述正部分和累加器减去所述负部分和累加器以产生最终和，随后使所述最终和重新归一化一次。

优先权申请案

本申请案主张名为“在基于处理器的系统中使用矩阵处理器提供高效浮点加法运算(PROVIDING EFFICIENT FLOATING-POINT ADDITION OPERATIONS USING MATRIXPROCESSORS IN PROCESSOR-BASED SYSTEMS)”且在2017年8月31日提交的美国临时专利申请案第62/552,890号的优先权，所述申请案的内容的全文以引用的方式并入本文中。

本申请案还主张名为“在基于处理器的系统中使用矩阵处理器提供高效浮点运算(PROVIDING EFFICIENT FLOATING-POINT OPERATIONS USING MATRIX PROCESSORS INPROCESSOR-BASED SYSTEMS)”且在2018年8月30日提交的美国专利申请案第16/118,099号的优先权，所述申请案的内容的全文以引用的方式并入本文中。

技术领域

本发明的科技大体上涉及基于处理器的系统中的矩阵处理，且尤其涉及适用于矩阵乘法的高效浮点运算的技术及设备。

背景技术

机器学习领域涉及开发及研究可通过从样本输入构建模型来做出经数据驱动的预测或决策的算法。在设计及编程具有可接受性能的明确算法困难或不可行时，可应用机器学习来计算任务。被称为“深度学习”的一种类别的机器学习技术采用含有多个隐藏层的人工神经网络(ANN)以执行例如图案分析及分类的任务。ANN首先通过基于典型输入及对应所需输出的实例而确定运算参数来“训练”。ANN可随后执行“推断”，其中所确定的运算参数用来对新输入进行分类、识别及/或处理。

在用于深度学习的ANN中，ANN内的每一隐藏层使用来自先前层的输出作为输入。因为每一层表示为二维矩阵，所以涉及深度学习的绝大部分计算运算由矩阵乘法运算组成。因此，矩阵乘法运算的优化具有大大改进深度学习应用的性能的潜能。特定地说，执行浮点矩阵乘法运算的处理单元比执行基于整数矩阵乘法的处理单元占据更大芯片区域且消耗更多功率。因此，执行浮点矩阵乘法运算的更高效设备为合乎需要的。

发明内容

具体实施方式中所揭示的方面包含在基于处理器的系统中使用矩阵处理器提供高效浮点运算。就此来说，在一个方面中，提供一种包括矩阵处理器的基于矩阵处理器的装置。矩阵处理器包含正部分和累加器及负部分和累加器。随着矩阵处理器处理多对浮点操作数(例如作为非限制性实例在执行矩阵乘法运算时)，矩阵处理器基于第一浮点操作数及第二浮点操作数计算中间乘积。在确定中间乘积的正负号(即，中间乘积为正还是负)之后，矩阵处理器取决于正负号用正部分和累加器或负部分和累加器的部分和分数使中间乘积归一化。如果中间乘积为正，那么矩阵处理器将中间乘积与正和累加器相加，或如果中间乘积为负，那么将中间乘积与负和累加器相加。在处理所有对浮点操作数之后，矩阵处理器从正部分和累加器的值减去负部分和累加器的值以得出最终和，随后使最终和重新归一化一次(相较于在加上每一中间乘积之后执行重新归一化)。以此方式，矩阵处理器减小用于重新归一化的处理器循环的数目，由此改进功率消耗及总体处理器性能。