[发明专利]一种神经网络模型的数据存储系统及方法

说明书

本发明提供一种神经网络模型的数据存储系统及方法，涉及数据存储技术领域，包括一存储模块和一处理模块，所述存储模块包括第一存储模块和第二存储模块，用于保存所述神经网络模型的参数数据；所述处理模块连接所述第一存储模块，用于对所述第一存储模块中保存的所述参数数据进行训练，并按照一定预设规则，将所述第一存储模块中的所述参数数据分批次转移至所述第二存储模块中；所述处理模块连接所述第二存储模块，并根据所述第二存储模块中保存的所述参数数据进行推理。本发明的有益效果是：以较低的成本扩大了神经网络模型中数据的存储容量，同时不增加较多的额外功耗。

技术领域

本发明涉及数据存储技术领域，尤其涉及一种神经网络模型的数据存储系统及方法。

背景技术

近年来，深度学习技术得到了飞速发展，在解决高级抽象认知问题，例如图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐和智能机器人等领域得到了广泛应用，成为学术界和工业界的研究热点。随着人工智能的发展，神经网络和深度学习在视觉识别语音识别等领域已经得到了广泛的发展，较多层的神经元可以实现更加复杂的识别任务，训练后的模型的精度也会更高，但是较多的神经元意味着更多的参数，需要占用更多的空间。

深度学习的训练过程需要不断地读取模型中的参数，并且不断更新，直到模型的正确率达到一个所要求的值。为了提升训练过程的访问数据的速度，现有技术中，模型的参数一般存储在DRAM中，但由于DRAM的易失性，需要不断地进行数据的刷新，由此造成功耗的增加，同时较多层的神经网络模型，需要较大的空间来存储数据，大容量DRAM的成本较高，但较小的DRAM空间一方面限制更多层的深度学习模型的使用，同时也使得用户在训练神经网络模型时，无法使用其他的应用，这对存储空间有限的平台讲尤其重要。因此需要一种数据存储系统和存储方法，来解决现有技术的缺陷。

发明内容

针对现有技术中存在的问题，本发明提供一种神经网络模型的数据存储系统，具体包括：

存储模块，所述存储模块用于保存所述神经网络模型的参数数据，所述存储模块包括第一存储单元和第二存储单元，于开始训练所述神经网络模型之前，所述神经网络模型的所有所述参数数据均保存在所述第一存储单元内；

处理模块，连接所述存储模块，所述处理模块具体包括：

读取单元，用于读取所述第一存储单元中保存的所述参数数据以对所述神经网络模型进行训练；

转移单元，连接所述读取单元，用于按照预设规则将所述第一存储单元中的所有所述参数数据转移至所述第二存储单元中。

优选的，所述处理模块还包括一推理单元，连接所述转移单元，用于根据所述第二存储单元中保存的所述神经网络模型的所述参数数据对外部输入的原始数据进行推理，得到推理结果并输出。

优选的，所述转移单元包括：

第一设置子单元，用于设置所述参数数据的转移参数，所述转移参数包括概率阈值、训练间隔和比较次数；

第一比较子单元，连接所述第一设置子单元，用于在所述神经网络模型的训练过程中，每经过所述训练间隔次数的训练，选取连续的所述比较次数的训练结果进行一次比较，并输出相应的比较结果；

所述比较结果包括所述参数数据中各个比特的数据之间的变化概率；

第一判断子单元，连接所述第一比较子单元，用于按照所述参数数据的数据排列顺序，将所述参数数据中各个比特的数据的所述变化概率依次与预先设置的所述概率阈值进行对比，并在首次出现所述变化概率不小于所述概率阈值时退出对比过程，并输出第一判断结果；

第一转移子单元，连接所述第一判断子单元，用于根据所述第一判断结果，按照预设的转移方式，将所述第一存储单元中的所述变化概率小于所述概率阈值的连续多个比特的数据依次转移至所述第二存储单元中；