[发明专利]优化策略生成方法和算子构建方法

说明书

本发明提供一种优化策略生成方法和算子构建方法，其中，优化策略生成方法包括：确定策略抽象描述；基于所述策略抽象描述构建融合算子；对所述融合算子进行性能优化，基于性能优化后的融合算子下的策略抽象描述，确定通用优化策略，克服了利用传统方案中的开发方式开发模型的效率低下以及成本较大的缺陷，降低了模型开发的复杂度，将硬件复杂度和算法复杂度解耦，生成了适用于各类模型的通用优化策略，实现整个内核开发并行度的提升。

技术领域

本发明涉及计算机技术领域，尤其涉及一种优化策略生成方法和算子构建方法。

背景技术

目前，各类模型主要是基于芯片的指令集架构或者指令抽象开发得到的，采用的是手写大算子、半自动化模板或者纯手写内核的开发方式。

但是，上述开发方式将变化的策略部分与不变的硬件抽象耦合在一起，导致每一策略均需重新写算子，不仅耗费了大量的时间精力，还加大了模型开发的难度，并且，对于重新写的算子，又需引入新的调试时间，导致模型的开发效率低下。

发明内容

本发明提供一种优化策略生成方法和算子构建方法，用以解决现有技术中模型开发复杂度大、效率低下以及成本较大的缺陷。

本发明提供一种优化策略生成方法，包括：

确定策略抽象描述；

基于所述策略抽象描述构建融合算子；

对所述融合算子进行性能优化，基于性能优化后的融合算子下的策略抽象描述，确定通用优化策略。

根据本发明提供的一种优化策略生成方法，所述基于所述策略抽象描述构建融合算子，包括：

基于所述策略抽象描述构建功能覆盖测试框架；

对所述功能覆盖测试框架的功能覆盖进行验证，若验证通过，则基于所述功能覆盖测试框架，构建融合算子。

根据本发明提供的一种优化策略生成方法，所述对所述融合算子进行性能优化，基于性能优化后的融合算子下的策略抽象描述，确定通用优化策略，包括：

对所述融合算子进行性能优化，基于性能优化后的融合算子下的策略抽象描述，确定性能优化策略；

对所述性能优化策略进行功能覆盖性调整，得到所述通用优化策略。

根据本发明提供的一种优化策略生成方法，所述确定策略抽象描述，包括：

确定目标模型的硬件配置和负荷量；

基于所述硬件配置、负荷量以及硬件特性，确定所述策略抽象描述。

根据本发明提供的一种优化策略生成方法，所述硬件特性包括缓冲区容量、寄存器带宽、存储器带宽、仲裁优先级中的至少一种。

根据本发明提供的一种优化策略生成方法，所述策略抽象描述包括多个属性，以及各个属性所包含的取值、预设值、子属性中的至少一种。

本发明还提供一种算子构建方法，包括：

确定通用优化策略，所述通用优化策略是基于如上述任一项所述的优化策略生成方法生成的；

基于所述通用优化策略，进行算子构建。

本发明还提供一种优化策略生成方法，包括：

基本算子确定单元，用于确定策略抽象描述；

融合算子构建单元，用于基于所述策略抽象描述构建融合算子；

性能优化单元，用于对所述融合算子进行性能优化，基于性能优化后的融合算子下的策略抽象描述，确定通用优化策略。

本发明还提供一种算子构建方法，包括：