[发明专利]数据加载方法和系统

摘要

本发明提供一种数据加载方法和系统，所述方法包括按预设规则生成对应于待加载数据的分片信息表。其中，分片信息表包括待加载数据中每组数据的数据表主键和对应的分片索引。在各节点的配置文件中分别配置本节点所要处理的分片索引和任务数。各节点的任务分配单元分别读取本节点的配置文件，配置本节点加载数据的任务执行单元数量。各任务执行单元根据分配的分片索引加载对应的数据，删除分片信息表中对应的数据表主键。本发明通过对待加载数据进行分片，生成分片信息表，通过分片索引对各节点分配加载任务，并在加载数据时删除对应的数据主键，实现了避免重复加载数据，且支持分布式并发加载数据，且无需在数据库中标记加载状态，提高了加载速度。

主权项

一种数据加载方法，其特征在于，所述方法包括：按预设规则生成对应于待加载数据的分片信息表；其中，所述分片信息表包括所述待加载数据中每组数据的数据表主键和对应的分片索引；在各节点的配置文件中分别配置本节点所要处理的分片索引和任务数；各节点的任务分配单元分别读取本节点的配置文件，配置本节点中加载所述待加载数据的任务执行单元的数量；各任务执行单元根据本节点的任务分配单元分配的分片索引加载对应的数据，删除所加载数据在所述分片信息表中的数据表主键。