[发明专利]一种机器学习的通用数据备份方法和系统

说明书

本发明公开了一种机器学习的通用数据备份方法和系统，方法包括：将分类器要用到的数据源的接口进行统一的标准化的管理，并通过同一个网关来服务所有的数据请求；在所述网关中新增数据源时，基于预先设定的备份机制，进行相应的数据备份。本发明通过使数据接入方不再关心数据备份逻辑，降低了数据者的工作量。且通过统一维护数据备份逻辑，提高了离线系统使用数据的效率，降低了使用成本。

技术领域

本发明属于一种数据备份系统，尤其是一种机器学习的通用数据备份方 法和系统。

背景技术

目前，在机器学习离线系统的建设中，需要备份各种线上使用的数据以 供离线计算使用。传统的数据备份方式为由每个数据源的提供者负责对应数 据的备份。随着规模的增加，数据源的数量越来越多，备份的成本会越来越 高，并且由于不同数据源由不同的负责人备份，很难形成统一的备份格式， 为离线计算的数据访问造成很大的阻力。

发明内容

本发明所要解决的技术问题是提供一种机器学习的通用数据备份方法和 系统。

本发明解决上述技术问题所采取的技术方案如下：

一种机器学习的通用数据备份方法，包括：

将分类器要用到的数据源的接口进行统一的标准化的管理，并通过同一 个网关来服务所有的数据请求；

在所述网关中新增数据源时，基于预先设定的备份机制，进行相应的数 据备份。

优选的是，将分类器要用到的数据源的接口进行统一的标准化的管理， 包括：

将所有的数据接口都收拢到一个单独的服务中，同时在该服务中建立一 套与数据源充分解耦的备份机制。

优选的是，还包括：

在所述服务中，所述与数据源充分解耦的备份机制是与实际数据接口相 独立的，统一的备份机制，且具有统一的备份格式。

优选的是，还包括：获取上述数据备份，并根据上述统一备份格式，获 取离线训练所需要的数据。

优选的是，所述备份机制，具体包括：数据备份逻辑、备份格式以及备 份算法。

一种机器学习的通用数据备份系统，包括：

分发模块，用于将分类器要用到的数据源的接口进行统一的标准化的管 理，并通过同一个网关来服务所有的数据请求；

备份模块，用于在所述网关中新增数据源时，基于预先设定的备份机制， 进行相应的数据备份。

优选的是，将分类器要用到的数据源的接口进行统一的标准化的管理， 包括：

将所有的数据接口都收拢到一个单独的服务中，同时在该服务中建立一 套与数据源充分解耦的备份机制。

优选的是，还包括：

在所述服务中，所述与数据源充分解耦的备份机制是与实际数据接口相 独立的，统一的备份机制，且具有统一的备份格式。

优选的是，还包括：获取上述数据备份，并根据上述统一备份格式，获 取离线训练所需要的数据。

优选的是，所述备份机制，具体包括：数据备份逻辑、备份格式以及备 份算法。

本发明采取上述方案取得有益效果如下：

1、通过使数据接入方不再关心数据备份逻辑，降低了数据者的工作量。

2、通过统一维护数据备份逻辑，提高了离线系统使用数据的效率，降低 了使用成本。