[发明专利]一种数据处理方法、装置及计算机可读存储介质

说明书

本发明实施例提供一种数据处理方法、装置及计算机可读存储介质，该方法应用于包括DSP和加速层的数据处理系统，加速层包括多个硬件，包括：通过DSP获取业务请求，业务请求携带有待处理数据和任务类型的标识，待处理数据为图像和/或视频；通过DSP根据标识确定算法模型；通过DSP将第一算法模型的输入数据划分为多个数据组，第一算法模型属于确定的算法模型，输入数据为待处理数据或待处理数据被处理后的数据；通过第一硬件对第一数据组或第一数据组被处理后的数据进行处理，同时通过DSP对第二数据组或第二数据组被处理后的数据进行处理，第一数据组和第二数据组属于多个数据组。本发明实施例，可以提高数据处理效率。

技术领域

本发明涉及机器学习领域，具体涉及一种数据处理方法、装置及计算机可读存储介质。

背景技术

随着计算机技术的不断发展，需要处理的数据越来越多。因此，为了提高数据处理效率，业界引入了深度学习(deep learning)。深度学习是学习样本数据的内在规律和表示层次，以便可以使机器能够像人一样具有分析学习能力，能够处理数据。然而，随着深度学习中模型的结构越来越复杂，如果所有模型都通过软件来实现的话，模型处理数据的过程都是在数字信号处理器(digital signal processor，DSP)上进行，以致降低了数据处理效率。

发明内容

本发明实施例提供一种数据处理方法、装置及计算机可读存储介质，用于提高数据处理效率。

第一方面提供一种数据处理方法，所述方法应用于数据处理系统，所述数据处理系统包括数字信号处理器DSP和加速层，所述加速层包括多个硬件，所述硬件为深度学习中用于算子运算的专用芯片，包括：

通过所述DSP获取业务请求，所述业务请求携带有待处理数据和任务类型的标识，所述待处理数据为图像和/或视频；

通过所述DSP根据所述任务类型的标识确定算法模型；

通过所述DSP将第一算法模型的输入数据划分为多个数据组，所述第一算法模型属于确定的算法模型，所述输入数据为所述待处理数据或所述待处理数据被处理后的数据；

通过第一硬件对第一数据组或所述第一数据组被处理后的数据进行处理，同时通过所述DSP对第二数据组或所述第二数据组被处理后的数据进行处理，所述第一硬件为所述多个硬件中的一个硬件，所述第一数据组和所述第二数据组属于所述多个数据组。

由于算法模型处理数据的过程中不仅在DSP上进行，而且在硬件上进行，而硬件为研发人员根据需要自主研发的深度学习中用于算子运算的专用芯片，只用于处理某一个或多个算子的运算，可以提高这些算子的计算效率，从而可以提高数据处理效率。此外，由于实现了硬件和DSP的并行处理，因此，可以进一步提高数据处理效率。算子可以为激活算子、归一化算子、特征提取算子、防过拟合算子等。

作为一种可能的实现方式，所述通过所述DSP将第一算法模型的输入数据划分为多个数据组包括：

在第一算法模型的输入数据包括N个数据，所述N个数据分组处理不影响所述第一算法模型的输出结果，以及所述N大于M的情况下，通过所述DSP根据所述M对所述N个数据进行划分，得到多个数据组，所述N为大于1的整数，所述M为所述任务对应的缓存器当前能够处理的数据的数量。

在缓存器的空间不够，且分开处理不影响处理结果的情况下，可以对待处理数据进行分组处理，因此，不需要等待缓存器的空间足够之后再进行处理，可以保证任务快速处理，从而可以提高数据处理效率。

作为一种可能的实现方式，所述方法还包括：

通过所述DSP根据所述任务类型的标识为所述任务配置硬件链路HL；

所述任务对应的缓存器为所述HL对应的缓存器。

作为一种可能的实现方式，所述方法还包括：