[发明专利]深度学习网络加速方法、装置、设备及存储介质

说明书

本发明公开了深度学习网络加速方法、装置、设备及存储介质，涉及人工智能技术，在确定所述CPU测试参数集中的测试总耗时超出预设的测试时长阈值时，将所述基础模型对应的模型参数集及模型结构根据预设的模型调整策略进行调整，采用模型压缩的方法，对模型进行一系列的参数、知识等进行压缩处理，减小生成模型的大小，实现了降低对CPU资源的消耗程度，反馈结果更加快速，而且提升了运算效率。

技术领域

本发明涉及人工智能的智能决策技术领域，尤其涉及一种深度学习网络加速方法、装置、设备及存储介质。

背景技术

目前，随着人工智能的飞速发展，慢慢地渗入到各行各业，前期在耗费GPU的资源上对模型进行加速，然将其转入CPU端进行部署时，会因为CPU性能的问题，而导致各种时间的延迟。例如，有一些神经网络模型部署于智能终端的CPU中时，若神经网络模型在部署之前未充分考虑到其具体运行时对CPU资源的消耗程度，后续在实际模型运行进行各种运算的过程中，会导致CPU性能参数超标，从而导致各种结果反馈的延时，影响运算效率。

发明内容

本发明实施例提供了一种深度学习网络加速方法、装置、设备及存储介质，旨在解决现有技术中神经网络模型在部署之前未充分考虑到其具体运行时对CPU资源的消耗程度，后续在实际模型运行进行各种运算的过程中，会导致CPU性能参数超标，使得各种结果反馈的延时，影响运算效率的问题。

第一方面，本发明实施例提供了一种深度学习网络加速方法，其包括：

获取已存储的训练集；其中，所述训练集中包括多个训练数据；

根据所述训练集对待训练基础模型进行训练，得到基础模型，并得到与所述基础模型对应的模型参数集；

获取已存储的校验集，通过所述校验集对所述基础模型进行模型校验，若所述基础模型通过模型校验，保存所述基础模型及对应的所述模型参数集；

获取已存储的测试集，将所述测试集输入至所述基础模型进行运算直至得到测试结果，并得到CPU测试参数集；

若确定所述CPU测试参数集中的测试总耗时超出预设的测试时长阈值，将所述基础模型对应的模型参数集及模型结构根据预设的模型调整策略进行调整，得到调整后基础模型，以调整后基础模型更新作为待训练基础模型，返回执行所述根据所述训练集对待训练基础模型进行模型训练，得到基础模型，并得到与所述基础模型对应的模型参数集的步骤；以及

若确定所述CPU测试参数集中的测试总耗时未超出预设的测试时长阈值，将所述基础模型发送至目的端进行部署。

第二方面，本发明实施例提供了一种深度学习网络加速装置，其包括：

训练集获取单元，用于获取已存储的训练集；其中，所述训练集中包括多个训练数据；

基础模型获取单元，用于根据所述训练集对待训练基础模型进行训练，得到基础模型，并得到与所述基础模型对应的模型参数集；

校验单元，用于获取已存储的校验集，通过所述校验集对所述基础模型进行模型校验，若所述基础模型通过模型校验，保存所述基础模型及对应的所述模型参数集；

测试结果获取单元，用于获取已存储的测试集，将所述测试集输入至所述基础模型进行运算直至得到测试结果，并得到CPU测试参数集；

模型调整单元，用于若确定所述CPU测试参数集中的测试总耗时超出预设的测试时长阈值，将所述基础模型对应的模型参数集及模型结构根据预设的模型调整策略进行调整，得到调整后基础模型，以调整后基础模型更新作为待训练基础模型，返回执行所述根据所述训练集对待训练基础模型进行模型训练，得到基础模型，并得到与所述基础模型对应的模型参数集的步骤；以及

模型发送单元，用于若确定所述CPU测试参数集中的测试总耗时未超出预设的测试时长阈值，将所述基础模型发送至目的端进行部署。