[发明专利]性能预测和机器学习编译优化方法及装置

权利要求书

1.一种性能预测方法，其特征在于，包括：

确定待预测性能的算子规划；所述算子规划为对应算子在编译器上的数据运算过程；

以所述算子规划中每一张量为节点，以各个张量之间的连接关系为边，建立各个张量对应节点之间的连接关系，以构建所述算子规划的描述图；其中，任一节点的节点特征为对应张量的规划信息，任一条边的边特征为所述任一条边连接的点对应张量的尺寸信息；

将所述描述图输入至性能预测模型，得到所述性能预测模型输出的算子规划的性能预测结果；

其中，所述性能预测模型是基于样本算子规划及其样本性能参数训练得到的；

所述张量的规划信息包括张量的规划操作的类型信息、张量的规划操作的数量信息和张量的数据类型中的至少一种；

所述算子规划的性能预测结果包括所述算子规划在编译器上的运行时间和/或所述算子规划在编译器上的运行功耗。

2.根据权利要求1所述的性能预测方法，其特征在于，所述样本算子规划是基于如下方法确定的：

确定初始样本算子规划；

改变所述初始样本算子规划中任一张量的规划信息和/或任一张量的尺寸信息，生成所述初始样本算子规划对应的若干个衍生算子规划，作为所述样本算子规划。

3.一种机器学习编译优化方法，其特征在于，包括：

加载机器学习模型，所述机器学习模型包括至少一种算子，每种算子对应多个算子规划；所述算子规划为对应算子在编译器上的数据运算过程；

采用各种算子的目标算子规划运行所述机器学习模型中的各种算子；

其中，各种算子的目标算子规划是基于对应算子的多个算子规划的性能预测结果确定的；

所述性能预测结果是基于权利要求1至2任一项所述的性能预测方法确定的；

任一种算子的目标算子规划是基于如下方法确定的：

从所述任一种算子的所有算子规划中选取出运行时间最短或运行功耗最少的算子规划作为所述目标算子规划；所述性能预测结果包括所述运行时间最短或运行功耗最少。

4.一种性能预测装置，其特征在于，包括：

算子规划确定单元，用于确定待预测性能的算子规划；所述算子规划为对应算子在编译器上的数据运算过程；

描述图构建单元，用于以所述算子规划中每一张量为节点，以各个张量之间的连接关系为边，建立各个张量对应节点之间的连接关系，以构建所述算子规划的描述图；其中，任一节点的节点特征为对应张量的规划信息，任一条边的边特征为所述任一条边连接的点对应张量的尺寸信息；

性能预测单元，用于将所述描述图输入至性能预测模型，得到所述性能预测模型输出的所述算子规划的性能预测结果；

其中，所述性能预测模型是基于样本算子规划及其样本性能参数训练得到的；

所述张量的规划信息包括张量的规划操作的类型信息、张量的规划操作的数量信息和张量的数据类型中的至少一种；

所述算子规划的性能预测结果包括所述算子规划在编译器上的运行时间和/或所述算子规划在编译器上的运行功耗。

5.一种机器学习编译优化装置，其特征在于，包括：

模型加载单元，用于加载机器学习模型，所述机器学习模型包括至少一种算子，每种算子对应多个算子规划；所述算子规划为对应算子在编译器上的数据运算过程；

编译优化单元，用于采用各种算子的目标算子规划运行所述机器学习模型中的各种算子；

其中，各种算子的目标算子规划是基于对应算子的多个算子规划的性能预测结果确定的；

所述性能预测结果是基于权利要求1至2任一项所述的性能预测方法确定的；

任一种算子的目标算子规划是基于如下方法确定的：

从所述任一种算子的所有算子规划中选取出运行时间最短或运行功耗最少的算子规划作为所述目标算子规划；所述性能预测结果包括所述运行时间最短或运行功耗最少。

6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至2任一项所述性能预测方法，或者权利要求3所述机器学习编译优化方法的步骤。

7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至2任一项所述性能预测方法，或者权利要求3所述机器学习编译优化方法的步骤。