[发明专利]一种机器学习系统的训练方法和训练系统

说明书

本申请公开一种机器学习系统的训练方法和系统，利用训练数据对所述机器学习系统进行训练，所述训练方法包括：将训练数据分配给多个工作机；将每一个工作机分配得到的训练数据划分为多个数据片；获取每一个工作机基于每一个数据片计算出的本地权重和本地损失函数值；汇总这些本地权重和本地损失函数值，获得当前权重和当前损失函数值；利用当前权重和/或当前损失函数值执行模型异常检测；当检测结果为第一类异常，将上一次汇总后的权重和上一次汇总后的损失函数值输入所述机器学习系统进行训练；当检测结果为第二类异常，将当前权重和/或当前损失函数值修正为第一阈值内的当前权重和/或当前损失函数值，并输入机器学习系统进行训练。

技术领域

本申请涉及大数据处理领域，尤其涉及一种机器学习系统的训练方法和训练系统。

背景技术

现如今，服务好用户是各互联网公司都希望实现的目标。为此，绝大部分公司都采用机器学习的方式捕捉用户的偏好和习惯，提供个性化的服务。举例来说，各网站可以利用机器学习系统，收集用户上网的行为数据，为不同性别/年龄的用户提供不同的搜索结果，做到最大程度地根据用户的喜好提供服务。

上述的机器学习系统可以收集大量用户的行为数据，例如用户浏览/点击/购买/顶帖子/发表对帖子的意见等等，并利用某些机器学习算法，离线对机器学习系统进行训练。在得到一个预测模型之后，放在线上系统，对用户提供服务。例如亚马逊的推荐系统，其可以根据用户以往的行为日志(比如包含昨天以及昨天再向前推2周的日志)，学习用户偏好之后，给不同用户推荐不同的商品.

这种利用以往用户行为数据，离线进行训练，得到模型的方式称为离线学习。然而正常情况下用户行为和兴趣可能在一天之内都会发生显著变化，由于离线学习系统中用户当下产生的日志并不能马上加入到系统中去训练，离线学习显然不能捕获这种变化。

在线学习就是模型随着接收的新训练数据，不断更新模型本身。因而它能取得更好的效果。在线学习精度比较高，但由于数据采集的时间段比较短，模型受数据中噪声影响比较大，造成模型训练不稳定；同时由于在线学习采用异步更新模型的方式，训练数据不断流入模型，模型不断进行更新学习，经常由于某些不可控的问题导致模型训练卡死，出现训练失败，导致无法产出可用的模型、影响线上服务、损害用户体验。

发明内容

鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的机器学习系统的训练方法和训练系统。

为解决上述问题，本申请公开一种机器学习系统的训练方法，利用训练数据对所述机器学习系统进行训练，所述训练方法包括：

将所述训练数据分配给多个工作机；

将每一个工作机分配得到的训练数据划分为多个数据片；

获取每一个工作机基于每一个数据片计算出的本地权重和本地损失函数值；

汇总每一个工作机基于每一个数据片计算出的所述本地权重和本地损失函数值，获得当前权重和当前损失函数值；

利用当前权重和/或当前损失函数值执行模型异常检测；

当所述模型异常检测的结果为第一类异常，将上一次汇总后的权重和上一次汇总后的损失函数值输入所述机器学习系统进行训练；

当所述模型异常检测的结果为第二类异常，将当前权重和/或当前损失函数值修正为第一阈值内的当前权重和/或当前损失函数值，并输入所述机器学习系统进行训练。

本申请实施例至少具有以下优点：