[发明专利]一种数据采集方法及装置

权利要求书

1.一种数据采集方法，所述方法基于数据采集系统，所述系统包括数据库同步组件和数据库同步代理；所述方法包括：

针对每个预设的数据库，获取该数据库的元数据；

根据所述元数据，确定可用信息，所述可用信息示出所要采集的数据在所述数据库中的存储位置；

根据所述可用信息，对所述数据库同步组件进行容器化，得到容器组件；

根据所述可用信息，建立所述容器组件与所述数据库同步代理之间的连接；

采用连接后的容器组件与所述数据库同步代理，进行数据采集。

2.根据权利要求1所述的方法，其特征在于，根据所述元数据，确定可用信息之前，所述方法还包括：

根据历史上的预设时间段内，所述数据采集系统接收到的各个数据获取请求，确定所述数据采集系统在所述预设时间段内，采集到的各个数据的描述信息；

根据所述元数据，确定可用信息，包括：

在所述元数据中，确定出与所述描述信息匹配的数据，作为可用信息。

3.根据权利要求1所述的方法，其特征在于，根据所述可用信息，对所述数据库同步组件进行容器化，得到容器组件，包括：

根据数据库中对应于所述可用信息的数据的存储位置进行处理，得到若干个分片；

根据得到的各个分片，对所述数据库同步组件进行容器化，使得得到的容器组件包括若干数据同步接口，所述数据同步接口与所述分片一一对应。

4.根据权利要求3所述的方法，其特征在于，根据所述可用信息，建立所述容器组件与所述数据库同步代理之间的连接，包括：

将根据所述可用信息得到的数据同步接口，添加至所述数据库同步代理，以建立所述容器组件与所述数据库同步代理之间的连接。

5.根据权利要求1所述的方法，其特征在于，采用连接后的容器组件与所述数据库同步代理，进行数据采集之前，所述方法还包括：

根据所述可用信息，生成所述数据库同步代理的指定接口；所述指定接口用于获取对应于所述可用信息的数据获取请求。

6.根据权利要求5所述的方法，其特征在于，采用连接后的容器组件与所述数据库同步代理，进行数据采集，包括：

在检测到数据获取请求时，确定该数据获取请求与所述指定接口是否匹配；

若是，则使得数据库同步代理根据所述数据获取请求生成数据获取指令，发送至所述容器组件，以使得所述容器组件根据所述获取指令从所述数据获取请求对应的数据库获取数据。

7.根据权利要求6所述的方法，其特征在于，采用连接后的容器组件与所述数据库同步代理，进行数据采集之前，所述方法还包括：

根据所述可用信息生成第一测试请求，并根据除所述可用信息以外的信息生成第二测试请求；

将所述第一测试请求和第二测试请求输入所述指定接口；

在根据所述第一测试请求采集到的数据的状态为正常，且根据所述第二测试请求采集到的数据的状态为异常时，判断所述数据采集系统的状态为正常；

采用连接后的容器组件与所述数据库同步代理，进行数据采集，包括：

在所述数据采集系统的状态为正常的条件下，进行数据采集。

8.一种数据采集装置，其特征在于，所述装置用于数据采集系统，所述系统包括数据库同步组件和数据库同步代理；所述装置包括：

元数据获取模块，配置为针对每个预设的数据库，获取该数据库的元数据；

可用信息确定模块，配置为根据所述元数据，确定可用信息，所述可用信息示出所要采集的数据在所述数据库中的存储位置；

容器组件生成模块，配置为根据所述可用信息，对所述数据库同步组件进行容器化，得到容器组件；

连接模块，配置为根据所述可用信息，建立所述容器组件与所述数据库同步代理之间的连接；

采集模块，配置为采用连接后的容器组件与所述数据库同步代理，进行数据采集。