[发明专利]一种异构众核架构上基于算子融合的数据复用方法

说明书

本发明公开一种异构众核架构上基于算子融合的数据复用方法，将DNN算子库中依次调用的至少两个算子A、B进行功能融合，获得融合算子C，执行以下操作：S1、融合算子C从主存中读取数据到局存中，并将读取的数据作为算子A的输入；S2、算子A将获取的数据作为输入，进行相应的运算，完成算子A的功能计算，此时算子A将结果保留在局存中不写回主存；S3、算子A将局存中的计算结果传递给算子B，作为算子B的输入；S4、算子B将来自算子A的数据作为输入；S5、算子B完成运算后，将最终的计算结果从局存写回主存；S6、算子C运算结束。本发明极大减少了内存访问次数，提高了数据的复用率，综合提升了可融合算子的效率。

技术领域

本发明涉及一种异构众核架构上基于算子融合的数据复用方法，属于深度学习技术领域。

背景技术

近年来，人工智能的迅速发展将深刻改变世界发展模式和人类生活方式，为抢抓人工智能发展重大战略机遇，各国均在构筑先发优势。DNN算子库是针对人工智能的底层算力支撑库，是针对人工智能深度学习的基础，算子虽然已众核化加速，但每调用一个算子，都需将算子的输入数据从内存中读入LDM，完成运算后再将此算子的计算结果从LDM写回内存，这样每个算子调用就需要两次内存访问。现实中的AI应用需要对各种算子按需进行不断地调用，对于异构众核架构，频繁的内存访问势必会影响整体性能的提升。基于此况，如何减少内存的访问次数，提升数据复用率，对众核化背景下的AI应用具有重大的意义。

目前，DNN算子库算子已被众核化加速，虽然单个算子已经有了较大的性能提升，但是在异构众核架构下，带宽资源是系统的瓶颈，如何减少算子与内存不必要的交互才是优化性能的关键所在。如果只是单个算子的加速，虽然在计算速度上有了很大性能提升，但是对于现实的AI应用，需要对不同的算子进行不断的调用，单纯的算子调用并不能得到进一步的性能提升。虽然AI应用对算子的调用具有一定的规律性，前后相邻两个算子有如下关系：前一个算子的输出是后续算子的数据输入，如果只是单纯的调用已有算子，每个算子又不断地从内存中读取写入数据，会对内存造成很大的压力，目前还没有一项技术能够减少访存，节约带宽资源。

发明内容

本发明的目的是提供一种异构众核架构上基于算子融合的数据复用方法，其极大减少了内存访问次数，缓解了访存压力，提高了数据的复用率，综合提升了可融合算子的效率。

为达到上述目的，本发明采用的技术方案是：提供一种异构众核架构上基于算子融合的数据复用方法，将DNN算子库中依次调用的至少两个算子A、B进行功能融合，获得融合算子C，执行以下操作：

S1、融合算子C从主存中读取数据到局存中，并将读取的数据作为算子A的输入；

S2、算子A将获取的数据作为输入，进行相应的运算，完成算子A的功能计算，此时算子A将结果保留在局存中不写回主存；

S3、算子A将局存中的计算结果传递给算子B，作为算子B的输入；

S4、算子B将来自算子A的数据作为输入，进行相应的运算，完成算子B的功能运算；

S5、算子B完成运算后，将最终的计算结果从局存写回主存；

S6、算子C运算结束。

由于上述技术方案的运用，本发明与现有技术相比具有下列优点：

本发明利用异构众核架构，通过探索AI应用中算子调用的规律，将DNN算子库中依次调用的多个算子进行功能融合，在数据读入LDM后完成后续所有算子的更新，省略了中间算子计算结果存入内存以及后续算子从内存读取数据的访存操作，转而变成第一个算子从内存中读取数据，最后一个算子将结果一次性写入内存，极大减少了内存访问次数，缓解了访存压力，提高了数据的复用率，综合提升了可融合算子的效率，为众核化加速的AI应用性能的提升提供新的途径。

附图说明

附图1为算子示意图；

附图2为融合算子示意图；

附图3为算子融合流程示意图。

具体实施方式