[发明专利]一种导入数据的方法及装置

说明书

技术领域

本发明涉及通信技术领域，尤其涉及一种导入数据的方法及装置。

背景技术

目前，用户可以通过客户端将数据导入到MySQL服务器中存储，以节省用户所使用终端的存储空间。

由于MySQL服务器存储了许多用户的数据，因此，为了保证MySQL服务器中存储的数据的安全性，通常采用中间服务器将客户端与MySQL服务器隔离开，用户不能通过客户端直接将数据导入MySQL服务器，而要通过中间服务器将数据导入到MySQL服务器中，如图1所示。

图1为现有技术中导入数据的系统结构示意图，图1所示的系统中包括客户端、作为中间服务器集群的Deferred Job服务器集群、数据存储区以及MySQL服务器集群。其中，Deferred Job服务器集群由作为中间服务器的各Deferred Job服务器构成，MySQL服务器集群由各MySQL服务器构成。

基于图1所示的系统，当用户要将数据导入MySQL服务器中时，先将数据上传到数据存储区中（由于Deferred Job服务器并没有用于存储数据的存储空间，因此由数据存储区存储用户上传的数据），并通过客户端向Deferred Job服务器添加任务，添加的任务包含要导入的数据的数据标识以及要导入到的MySQL服务器的服务器标识。Deferred Job服务器根据添加的任务中包含的数据标识，从数据存储区中获取相应的数据，并根据添加的任务中包含的服务器标识，在指定的时间段将获取的数据导入到相应的MySQL服务器中。

在现有技术中，考虑到在每天早上的2点到6点各MySQL服务器的负载较低，因此现有技术中Deferred Job服务器在每天早上的2点到6点将获取的数据导入到相应的MySQL服务器中。

但是，在实际应用场景中，并不能保证每个MySQL服务器在早上2点到6点的负载都很低，也即，不能保证每个MySQL服务器在早上2点到6点都适合进行数据导入，如果某些MySQL服务器在早上2点到6点的负载仍然很高，那么在这个时间段向这些MySQL服务器导入数据势必会急剧增加MySQL服务器的负载，可能会导致MySQL服务器瘫痪。另外，在早上2点到6点这个时间段进行数据导入也并不能保证所有的数据都可以在这个时间段导入MySQL服务器，如果早上6点结束时仍有数据尚未导入MySQL服务器，则也只能等到下一个早上2点到6点才能导入，这也降低了导入数据的效率。

发明内容

本发明实施例提供一种导入数据的方法及装置，用以解决现有技术中导入数据的方法可能会导致MySQL服务器瘫痪，以及导入数据的效率较低的问题。

本发明实施例提供的一种导入数据的方法，包括：

中间服务器获取各数据库服务器的负载状态信息；并

针对每个数据库服务器，根据获取到的该数据库服务器的负载状态信息，确定向该数据库服务器导入数据的速率，其中，该数据库服务器的负载越大，确定的向该数据库服务器导入数据的速率越小；以及

当接收到客户端添加的任务时，根据所述任务中包含的数据标识，获取数据存储区中所述数据标识对应的数据；并

根据所述任务中包含的服务器标识，以确定出的向所述服务器标识对应的数据库服务器导入数据的速率，向所述服务器标识对应的数据库服务器导入获取到的所述数据。

本发明实施例提供的一种导入数据的方法，包括：

数据库服务器向中间服务器提供所述数据库服务器的负载状态信息，使所述中间服务器根据所述数据库服务器的负载状态信息，确定向所述数据库服务器导入数据的速率；

接收所述中间服务器以确定的所述速率导入的数据。

本发明实施例提供的一种导入数据的装置，包括：

负载获取模块，用于获取各数据库服务器的负载状态信息；

确定模块，用于针对每个数据库服务器，根据负载获取模块获取到的该数据库服务器的负载状态信息，确定向该数据库服务器导入数据的速率，其中，该数据库服务器的负载越大，确定的向该数据库服务器导入数据的速率越小；

数据获取模块，用于当接收到客户端添加的任务时，根据所述任务中包含的数据标识，获取数据存储区中所述数据标识对应的数据；

导入模块，用于根据所述任务中包含的服务器标识，以所述确定模块确定出的向所述服务器标识对应的数据库服务器导入数据的速率，向所述服务器标识对应的数据库服务器导入所述数据获取模块获取到的所述数据。

本发明实施例提供的一种导入数据的装置，包括：