[发明专利]性能预测和机器学习编译优化方法及装置

说明书

本发明提供一种性能预测和机器学习编译优化方法及装置，该方法包括：确定待预测性能的算子规划；以算子规划中每一张量为节点，以各个张量之间的连接关系为边，构建算子规划的描述图；其中，任一节点的节点特征为对应张量的规划信息，任一条边的边特征为该条边连接的点对应张量的尺寸信息；将描述图输入至性能预测模型，得到性能预测模型输出的算子规划的性能预测结果；其中，性能预测模型是基于样本算子规划及其样本性能参数训练得到的。本发明提供的一种性能预测和机器学习编译优化方法及装置，充分考虑了算子规划内部数据流中各个张量的规划信息，提高了算子规划性能预测的准确性。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种性能预测和机器学习编译优化方法及装置。

背景技术

对算子在编译器上的执行性能进行预测是机器学习编译优化的核心之一，传统的性能预测方法是采用解析表达方法构建性能预测模型，效率较低。构建基于学习的性能预测模型是新兴的应用方向，由于算子在编译优化时其内部构成可以表示为图网络，在此基础上，可以基于图神经网络来构建性能预测模型，目前基于图神经网络对算子进行性能预测的研究较少，现有的基于图神经网络的性能预测方法通常是采用抽象语法树(AbstractSyntax Code，AST)构建图网络，性能预测的准确性较低。

发明内容

本发明提供一种性能预测和机器学习编译优化方法及装置，用以解决现有技术中算子性能预测的准确性较低的缺陷。

本发明提供一种性能预测方法，包括：

确定待预测性能的算子规划；

以所述算子规划中每一张量为节点，以各个张量之间的连接关系为边，构建所述算子规划的描述图；其中，任一节点的节点特征为对应张量的规划信息，任一条边的边特征为所述任一条边连接的点对应张量的尺寸信息；

将所述描述图输入至性能预测模型，得到所述性能预测模型输出的所述算子规划的性能预测结果；

其中，所述性能预测模型是基于样本算子规划及其样本性能参数训练得到的。

根据本发明提供的一种性能预测方法，所述张量的规划信息包括张量的规划操作的类型信息、张量的规划操作的数量信息和张量的数据类型中的至少一种。

根据本发明提供的一种性能预测方法，所述样本算子规划是基于如下方法确定的：

确定初始样本算子规划；

改变所述初始样本算子规划中任一张量的规划信息和/或任一张量的尺寸信息，生成所述初始样本算子规划对应的若干个衍生算子规划，作为所述样本算子规划。

根据本发明提供的一种性能预测方法，所述算子规划的性能预测结果包括所述算子规划在编译器上的运行时间和/或所述算子规划在编译器上的运行功耗。

本发明还提供一种机器学习编译优化方法，包括：

加载机器学习模型，所述机器学习模型包括至少一种算子，每种算子对应多个算子规划；

采用各种算子的目标算子规划运行所述机器学习模型中的各种算子；

其中，各种算子的目标算子规划是基于对应算子的多个算子规划的性能预测结果确定的；

所述性能预测结果是基于上述任一种所述性能预测方法确定的。

根据本发明提供的一种机器学习编译优化方法，任一种算子的目标算子规划是基于如下方法确定的：

从所述任一种算子的所有算子规划中选取出运行时间最短或运行功耗最少的算子规划作为所述目标算子规划。

本发明还提供一种性能预测装置，包括：

算子规划确定单元，用于确定待预测性能的算子规划；