[发明专利]面向混合云场景的数据迁移任务调度系统

说明书

本发明公开了一种面向混合云场景的数据迁移任务调度系统，属于云存储技术领域，本发明要解决的技术问题为如何降低混合云的开发成本，同时优化混合云场景下的迁移任务调度，采用的技术方案为：该系统包括数据模型、适配器及任务调度管理平台，数据模型用于传输数据；适配器用于数据导入导出以及身份验证；任务调度管理平台用于处理任务、协调数据导入和导出、数据分页、失败请求重试、速率限制、事件通知以及日志监控；其中，任务调度管理平台构建在适配器和数据模型之上，任务调度管理平台用于提供高度抽象的接口，允许数据提供方适配接入。

技术领域

本发明涉及云存储技术领域，具体地说是一种面向混合云场景的数据迁移任务调度系统。

背景技术

混合云融合了公有云和私有云，实现了公有云上的资源和自有数据中心的资源内网互联互通，使用混合云可以满足大量数据存储的需求，还可以保证数据的安全。根据企业的需求，这些环境可能需要包括：至少1个私有云和至少1个公共云、2个或更多私有云、2个或更多公共云。在实际生活中，混合云数据迁移包括从公有云迁移到私有云、从私有云迁移到公有云，各公有云之间的迁移。

现有技术在面对混合云众多迁移场景时，难以高效率的应对，主要问题如下：

①多个服务提供方之间需要对接大量的api，增加对接成本和难度；

②数据迁移调度不够完善，缺少完善的限速和重试机制、日志监控、事件通知；

③面对新加入的公有云提供方，扩展难度大。

故如何降低混合云的开发成本，同时优化混合云场景下的迁移任务调度是目前亟待解决的技术问题。

发明内容

本发明的技术任务是提供一种面向混合云场景的数据迁移任务调度系统，来解决如何降低混合云的开发成本，同时优化混合云场景下的迁移任务调度的问题。

本发明的技术任务是按以下方式实现的，一种面向混合云场景的数据迁移任务调度系统，该系统包括，

数据模型，用于传输数据；

适配器，用于数据导入导出以及身份验证；

任务调度管理平台，用于处理任务、协调数据导入和导出、数据分页、失败请求重试、速率限制、事件通知以及日志监控；其中，任务调度管理平台构建在适配器和数据模型之上，任务调度管理平台用于提供高度抽象的接口，允许数据提供方适配接入。其中，高度抽象的接口指的是向外暴露通用灵活的接口(包含但不限于导入适配器和导出适配器等)，通过这些接口允许第三方接入该系统。

作为优选，所述数据模型包括视频、照片、音乐、邮件、文章及云对象存储对象；

数据模型是由数据流和元数据组成；

其中，元数据包括文件名、文件类型、文件描述、文件大小、文件权限及最后修改时间。

更优地，所述适配器包括数据适配器和身份验证适配器，同时适配器支持自定义扩展；

数据适配器包括数据导出器和数据导入器，数据导出器调用数据来源方api，将来源方的数据转换为数据模型；数据导入器调用数据目的方api，将数据模型转换为目标方数据；

身份验证适配器用于调用提供方的身份验证api。

更优地，所述数据导出器定义一个抽象的导出器接口，暴露导出器接口对应的导出方法；导出器接口包括导出权限数据和导出信息两个输入参数；导出信息包括分页信息和数据迁移文件列表。

更优地，所述数据导入器定义一个抽象的导入器接口，暴露导入器接口对应的导出方法；接入器接口包括通用数据模型和导入权限数据两个输入参数。

更优地，使用身份验证适配器获得各服务提供方的导入权限数据和导出权限数据；