[发明专利]基于对象存储站点同步机制的数据自动处理方法及装置

说明书

本发明公开了一种基于对象存储站点同步机制的数据自动处理方法及装置，该方法包括如下步骤：S1、将处理参数和过程配置预配置为策略；S2、在上传对象时，自定义请求头携带策略id，业务RGW将策略记录在bilog和metadata中；S3、利用站点同步机制，在全量同步的时候通过metadata获取策略id，在增量同步的时候通过bilog获取策略id，并连同对象信息，生成处理请求，发往消息队列；S4、处理服务从存储拉取对象，根据策略进行处理。本发明利用ceph多站点数据同步功能，将数据分发到不同的处理服务，实现异步的数据处理功能，不需要依赖额外的组件实现数据转发，不影响存储基础功能使用。

技术领域

本发明涉及一种数据自动处理方法，特别是涉及一种基于对象存储站点同步机制的数据自动处理方法及装置。

背景技术

相关概念

对象存储

对象存储（Object Storage Service，OSS），也叫基于对象的存储，是一种解决和处理离散单元的方法，可提供基于分布式系统之上的对象形式的数据存储服务。对象存储和我们经常接触到的块和文件系统等存储形态不同，它提供RESTful API数据读写接口及丰富的SDK接口，并且常以网络服务的形式提供数据的访问。

Ceph

Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。

Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。

RGW

RGW全称RADOS gateway，是Ceph对外提供的对象存储服务，接口与S3和Swift兼容。

RGW分为业务RGW和同步RGW两种：

业务RGW：主要负责通过s3或swift协议提供对象存储服务。

同步RGW：主要负载不同站点间数据同步。

Object metadata

对象元数据记录了对象的属性，包括所属桶、版本信息、自定义标签、权限等。

Bilog

对象操作日志，对象的每次修改都会记录一条单独的bilog。

Ceph multisite

Ceph RGW 多数据中心（multisite）功能旨在实现异地双活，提供了备份容灾的能力。并且具有多个数据中心供用户选择，存放资源。

主节点在对外提供服务时，用户数据在主节点落盘后即向用户回应“写成功”应答，然后实时记录数据变化的相关日志信息。备节点则实时比较主备数据差异，并及时将差异化数据拉回备节点。异步复制技术适用于远距离的容灾方案，对系统性能影响较小。

Ceph 数据同步

在ceph中，数据的存储单元是bucket，在索引池内，一个bucket会分为若干个bucket shard对象，用于记录对象元数据，bilog，gclog（垃圾回收日志），bucket header（对象存储单元头信息），合并大对象等功能。