[发明专利]面向混合云场景的数据迁移任务调度系统

权利要求书

1.一种面向混合云场景的数据迁移任务调度系统，其特征在于，该系统包括，

数据模型，用于传输数据；

适配器，用于数据导入导出以及身份验证；

任务调度管理平台，用于处理任务、协调数据导入和导出、数据分页、失败请求重试、速率限制、事件通知以及日志监控；其中，任务调度管理平台构建在适配器和数据模型之上，任务调度管理平台用于提供高度抽象的接口，允许数据提供方适配接入。

2.根据权利要求1所述的面向混合云场景的数据迁移任务调度系统，其特征在于，所述数据模型包括视频、照片、音乐、邮件、文章及云对象存储对象；

数据模型是由数据流和元数据组成；

其中，元数据包括文件名、文件类型、文件描述、文件大小、文件权限及最后修改时间。

3.根据权利要求1或2所述的面向混合云场景的数据迁移任务调度系统，其特征在于，所述适配器包括数据适配器和身份验证适配器，同时适配器支持自定义扩展；

数据适配器包括数据导出器和数据导入器，数据导出器调用数据来源方api，将来源方的数据转换为数据模型；数据导入器调用数据目的方api，将数据模型转换为目标方数据；

身份验证适配器用于调用提供方的身份验证api。

4.根据权利要求3所述的面向混合云场景的数据迁移任务调度系统，其特征在于，所述数据导出器定义一个抽象的导出器接口，暴露导出器接口对应的导出方法；导出器接口包括导出权限数据和导出信息两个输入参数；导出信息包括分页信息和数据迁移文件列表。

5.根据权利要求4所述的面向混合云场景的数据迁移任务调度系统，其特征在于，所述数据导入器定义一个抽象的导入器接口，暴露导入器接口对应的导出方法；接入器接口包括通用数据模型和导入权限数据两个输入参数。

6.根据权利要求5所述的面向混合云场景的数据迁移任务调度系统，其特征在于，使用身份验证适配器获得各服务提供方的导入权限数据和导出权限数据；

其中，导入权限数据和导出权限数据是一个合法的token，具体为：

输入用户名和密码调用提供方api，提供方验证通过后，返回合法的token值，数据适配器携带该token值获得合法的数据迁移权限；

或，

导入权限数据和导出权限数据是secret key，具体为云服务对象存储sdk。

7.根据权利要求6所述的面向混合云场景的数据迁移任务调度系统，其特征在于，所述任务管理平台工作过程具体如下：

(1)、任务管理平台启动时，接收用户的输入参数；其中，用户的输入参数是本地配置文件或通过ui页面输入文件；用户的输入参数包括用户名、密码、分页参数或文件列表；

(2)、调用身份验证适配器验证身份信息；

(3)、验证通过后，启动工作线程，执行数据导出器和数据导入器传输数据；

(4)、判断数据导出器下载是否失败和/或数据导入器上传失败：

①、若是，则执行步骤(5)；

②、若否，则记录成功日志；

(5)、触发重试机制；

(6)、设置重试阈值，并判断重试次数是否超过阈值：

①、若是，则记录失败日志；

②、若否，则跳转至步骤(5)。

8.根据权利要求7所述的面向混合云场景的数据迁移任务调度系统，其特征在于，所述任务管理平台输入限流速度构建数据流限速器，数据流限速器重写InputStream的read接口，在read接口中做限速处理；数据导出器和数据导入器使用数据流限速器传输数据，达到限速功能。