[发明专利]模型结果的训练/验证/管理方法/系统、介质及设备在审
| 申请号: | 201910104386.3 | 申请日: | 2019-02-01 |
| 公开(公告)号: | CN109918444A | 公开(公告)日: | 2019-06-21 |
| 发明(设计)人: | 林锦达;刘军;高庆忠;周志华;蒋伟;夏伏彪 | 申请(专利权)人: | 上海尚阵智能科技有限公司 |
| 主分类号: | G06F16/27 | 分类号: | G06F16/27;G06N5/04;G06Q40/04 |
| 代理公司: | 上海光华专利事务所(普通合伙) 31219 | 代理人: | 徐秋平 |
| 地址: | 201203 上海市浦东新区中国*** | 国省代码: | 上海;31 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 中间结果 任务发布节点 模型结果 验证 哈希 保存 衡量 工作量 共享网络 哈希运算 模型复制 损失函数 训练过程 训练模型 训练网络 中心化 区块 数组 记账 管理 广播 发布 应用 网络 | ||
1.一种模型结果的训练方法,其特征在于,应用于包括任务发布节点、训练节点、验证节点及记账节点的任务训练网络中;所述模型结果的训练方法包括:
待任务发布节点发布AI训练任务后,对待训练模型进行训练并保存N个中间结果模型;
将N个中间结果模型进行哈希运算,以获取N个第一哈希值,并广播N个第一哈希值,以验证所保存的N个不同的中间结果模型是否为将同一个中间结果模型复制N次给出的;同时保存训练过程中针对N个中间结果模型对应的N个数组长度为M的损失函数。
2.一种基于权1所述模型结果的训练方法的模型结果的验证方法,其特征在于,应用于包括任务发布节点、训练节点、验证节点及记账节点的任务训练网络中;其中,所述任务训练网络通过共识机制选出2L+1个所述验证节点;L为正整数;所述模型结果的验证方法包括:
从训练节点处随机挑选K个第一哈希值及其对应的K个中间结果模型;再从所述训练节点处获得其对应的K个长度为M的第二损失函数;
对获得的K个中间结果模型进行哈希运算,得到K个第二哈希值,判断该K个第二哈希值与训练节点公布的K个第一哈希值是否完全一一对应,以验证所述训练节点公布的第一哈希值是否有对应的中间结果模型存在;
在通过哈希验证的中间结果模型上继续进行迭代训练,得到K个长度为M的第一损失函数;
根据第一损失函数和第二损失函数进行误差评判,以验证训练节点的工作量是否造假。
3.根据权利要求2所述的模型结果的验证方法,其特征在于,
所述对所述第一损失函数和第二损失函数进行误差评判,以验证所述训练者的工作量是否造假的步骤包括:对所述第一损失函数和所述第二损失函数做差,以获取两者的数组差;根据所述数组差,计算用于评判所述训练者的工作量是否造成的衡量指标。
于本发明的一实施例中,在2L+1个所述验证节点给出判断结果以后,所述计帐节点进行统计并最终裁决训练节点是否工作量造假,将结果广播全网所有节点。
4.根据权利要求3所述的模型结果的验证方法,其特征在于,所述衡量指标采用阿兰方差。
5.根据权利要求4所述的模型结果的验证方法,其特征在于,所述计算用于评判所述训练者的工作量是否造假的衡量指标的步骤包括:对所述阿兰方差进行一阶拟合,以获取到与所述阿兰方差对应的斜率;判断所述斜率的符号是否大于0,若是,则表示所述训练者的工作量造假;如否,则表示所述训练者的工作量真实。
6.根据权利要求3所述的模型结果的验证方法,其特征在于,所述验证节点对所述的K个中间结果模型进行工作量是否造假的裁决标准为只有K个中间结果模型均无造假,才给出训练节点无造假。
7.根据权利要求3所述的模型结果的验证方法,其特征在于,采用用于计算梯度的梯度下降算法、只采用一个样本的随机梯度下降算法,和采用部分样本的小批量梯度下降算法来计算M次迭代的损失函数。
8.一种基于权2至权7任一项所述模型结果的验证方法的模型结果的管理方法,其特征在于,应用于包括任务发布节点、训练节点、验证节点及记账节点的任务训练网络中;所述模型结果的管理方法包括:
统计2L+1个验证节点的验证结果;
将大于L+1个验证节点的验证结果一致的结果进行验证记录,并广播该验证记录给全网所有节点。
9.一种模型结果的训练系统,其特征在于,应用于包括任务发布节点、训练节点、验证节点及记账节点的任务训练网络中;所述模型结果的训练系统包括:
第一训练模块,用于待任务发布节点发布AI训练任务后,对待训练模型进行训练;
存储模块,用于保存N个中间结果模型;同时保存训练过程中针对N个中间结果模型对应的N个数组长度为M的损失函数
第一处理模块,用于将N个中间结果模型进行哈希运算,以获取N个第一哈希值,并通过第一广播模块广播N个第一哈希值,以验证所保存的N个不同的中间结果模型是否为将同一个中间结果模型复制N次给出的。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海尚阵智能科技有限公司,未经上海尚阵智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910104386.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:关联信息的同步方法和装置
- 下一篇:基于区块链的挖矿装置及方法





