[发明专利]基于参数共享的网络模型训练系统、方法、装置和介质

说明书

本发明公开了一种基于参数共享的网络模型训练系统、方法、装置和介质。所述系统包括第一参数模块和第二参数模块，所述第一参数模块用于获取第一本地端对网络模型进行训练时所形成的第一模型参数，并将所述第一模型参数同步到区块链；所述第二参数模块用于从区块链中获取第二本地端请求的第二模型参数并同步到第二本地端；所述第二模型参数用于供第二本地端对网络模型进行训练。本发明通过区块链来实现模型参数的共享，有利于网络模型的大规模应用和相互学习；由于各本地端之间无需进行网络模型训练集和测试集的交换，从而在高效传播网络模型参数的基础上避免敏感数据的泄漏。本发明广泛应用于人工智能技术领域。

技术领域

本发明涉及人工智能技术领域，尤其是一种基于参数共享的网络模型训练系统、方法、装置和介质。

背景技术

知识图谱和神经网络等网络模型是重要的人工智能工具，具有广泛的用途。例如知识图谱可以用于网络搜索、链接预测、推荐和自然语言处理等用途。这些人工智能工具需要经过训练和测试等步骤后才具有相应的性能，而训练得到的模型参数表示网络模型的形态，模型参数可以通过存储而固定下来并用于下次使用。

根据网络模型的原理，网络模型的性能与其模型参数有关，而模型参数是由训练和测试网络模型时所用的训练集和测试集决定的。在一些特殊领域，所涉及的训练集和测试集具有一定的隐私性和机密性，例如医疗领域所用的训练集和测试集一般是医院的病人数据，金融领域所用的训练集和测试集一般是保险公司的保险数据，这些数据难以公开交流使用，不利于网络模型的大规模应用。

发明内容

为了解决上述技术问题，本发明的目在于提供一种基于参数共享的网络模型训练系统、方法、装置和介质。

本发明包括一种基于参数共享的网络模型训练系统，包括：

第一参数模块，用于获取第一本地端对网络模型进行训练时所形成的第一模型参数，并将所述第一模型参数同步到区块链；

第二参数模块，用于从区块链中获取第二本地端请求的第二模型参数并同步到第二本地端；所述第二模型参数用于供第二本地端对网络模型进行训练。

进一步地，所述第一参数模块还用于在将获取到的第一模型参数同步到区块链之前，对第一模型参数进行剪枝处理。

进一步地，所述第一参数模块还用于在将获取到的第一模型参数同步到区块链之后，对经过剪枝处理的第一模型参数进行压缩处理。

进一步地，还包括令牌消耗模块，所述令牌消耗模块用于在第二模型参数同步到第二本地端之后，从第二本地端扣减令牌。

进一步地，还包括令牌分配模块，所述令牌分配模块用于在令牌消耗模块从第二本地端扣减令牌之后，将令牌消耗模块扣减所得的令牌分配至各待分配本地端；所述待分配本地端是指被用作第二模型参数的部分第一模型参数所对应的第一本地端。

进一步地，所述令牌分配模块包括：

质量分值子模块，用于计算各待分配本地端同步到区块链的第一模型参数的质量分值；

比例分配子模块，用于以各待分配本地端对应的质量分值作为分配比例，将令牌消耗模块扣减所得的令牌按比例分配至各待分配本地端。

进一步地，所述第一模型参数的质量分值是根据第一模型参数的冗余度计算的。

另一方面，本发明实施例还包括一种基于参数共享的网络模型训练方法，包括以下步骤：

当接收到第一本地端的请求时，获取第一本地端对网络模型进行训练时所形成的第一模型参数，并将所述第一模型参数同步到区块链；

当接收到第二本地端的请求时，从区块链中获取第二本地端请求的第二模型参数并同步到第二本地端；所述第二模型参数用于供第二本地端对网络模型进行训练。