[发明专利]基于数据流的深度网络加速方法、装置、设备及存储介质

说明书

本申请公布了提供一种基于数据流的深度网络加速方法、装置、设备及存储介质，所述方法包括：获取待处理数据所需要的目标深度网络信息；根据所述目标深度网络信息，匹配预先设置的与所述目标深度网络信息对应的目标网络配置规则，其中，所述目标网络配置规则包括预先配置的计算引擎、第一数据流存储模块以及全局数据流网络之间的配置规则；根据所述目标网络配置规则，配置得到目标数据流网络；通过所述目标数据流网络对所述待处理数据进行处理。通过数据流对深度网络进行加速，减少片外数据通信，因此没有指令空闲开销，可以提高深度网络的硬件加速效率，而且，通过进行网络配置，可以配置不同的深度网络模型，支持多种不同的深度网络模型。

技术领域

本申请涉及人工智能领域，更具体的说，是涉及一种基于数据流的深度网络加速方法、装置、设备及存储介质。

背景技术

基于神经网络的深度学习应用程序的进步要求底层硬件平台具有高处理能力。当基于CPU的平台无法满足这种不断增长的需求时，许多公司开发了专用硬件加速器来支持该领域的进步。现有的硬件加速器的共同想法是加速在深度学习算法应用中更频繁使用的某些特定类型的计算。现有的硬件架构基于具有可扩展指令集的指令执行，然后通过将常用计算实现为定制指令来实现加速。基于指令的架构实现通常表示为片上系统(SoC)设计。在基于指令的体系结构中，许多时钟周期被浪费用于非计算相关操作。为了支持更通用的指令体系结构，深度学习神经网络内的计算通常被分解为多个指令。因此一个计算通常需要多个时钟周期。处理器中的算术和逻辑单元(ALU)通常是以硬件实现的不同操作的集合。由于有限的指令表达式和有限的I/O带宽，大多数ALU资源在执行单个指令时处于空闲状态，比如，在做乘法与加法时，会先读取乘法的数据，由于I/O速度受带宽影响，使得加法需要等待乘法计算完成并写入存储器中，再读取出计算结果及加法数据进行加法计算，在乘法计算与读写过程中，加法计算单元是空闲状态。因此存在基于指令的硬件加速效率低的问题。

发明内容

本申请的目的是针对上述现有技术存在的缺陷，提供一种基于数据流的深度网络加速方法、装置、设备及存储介质，解决了有限的指令表达式和有限的I/O带宽，大多数ALU资源在执行单个指令时处于空闲状态，加速效率低的问题。

本申请的目的是通过以下技术方案来实现的：

第一方面，提供一种基于数据流的深度网络加速方法，所述方法包括：

获取待处理数据所需要的目标深度网络信息；

根据所述目标深度网络信息，匹配预先设置的与所述目标深度网络信息对应的目标网络配置规则，其中，所述目标网络配置规则包括预先配置的计算引擎、第一数据流存储模块以及全局数据流网络之间的配置规则；

根据所述目标网络配置规则，配置得到目标数据流网络；

通过所述目标数据流网络对所述待处理数据进行处理。

可选的，所述根据所述目标网络配置规则，配置得到目标数据流网络，包括：

根据所述全局数据流网络，配置多个计算引擎之间的并行或串行；

根据所述第一数据流存储模块及所述多个计算引擎之间的并行或串行，得到所述多个计算引擎的数据流路径；

基于所述数据流路径，形成所述目标数据流网络。

可选的，所述通过所述目标数据流网络对所述待处理数据进行处理，包括：

将所述待处理数据读取到所述第一数据流存储模块；

在所述第一数据流存储模块中，根据所述待处理数据的数据格式以及数据路径，按预先设置的生成规则为所述待处理数据生成地址序列；

每个时钟周期，根据地址序列从所述第一数据流存储模块中读取与所述目标数据流网络中与计算引擎相应的数据量进行输入，并获取第一数据流存储模块及计算引擎的状态。