[发明专利]同步数据的方法和装置

说明书

本发明公开了一种同步数据的方法和装置。其中，该方法包括：获取数据同步任务的状态信息；如果数据同步任务的状态信息为未完成状态，则发送数据同步请求；获取注册账户进行数据同步的历史等待时间；获取数据同步请求等待时间；根据数据同步请求等待时间和历史等待时间，确定注册账户的访问频率；根据注册账户的访问频率访问媒体资源，以便根据所述请求下载的数据类型进行数据下载。本发明解决了现有技术在同步数据时没有合理请求任务的策略的技术问题。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种同步数据的方法和装置。

背景技术

目前，数据同步程序自动从搜索引擎，例如：百度、搜狗、360、神马等同步用户投放广告的物料数据和前一天消费数据。其中，搜索引擎提供给数据同步程序访问的API是基于Http协议的WebAPI或者WebService，使得数据同步程序为客户端去访问搜索引擎的API获取搜索引擎营销的相关数据。

在现有技术中，数据同步程序根据账户信息调用媒体API(ApplicationProgramming Interface,应用程序编程接口)获取要下载数据，媒体同时自动创建一个请求下载的任务，并把任务的ID反馈给数据同步程序。数据同步程序根据任务的ID访问媒体API获取任务的状态；其中，请求媒体API获取任务的状态时，如果有错误或者媒体数据准备未就绪时，数据同步程序根据向媒体API发送三次请求，每次请求之间间隔3秒，如果三次数据请求都失败，则数据同步程序抛出异常并提示本次下载失败的信息；如果任务状态未完成或者任务发生异常时，数据同步程序一直向媒体API循环请求直到任务状态成功为止，每次请求时间的间隔为1秒。

由于账户之间的物料数据和消费数据的数据量可能有很大差异，所以媒体API在接收到数据同步程序的请求任务时生成数据消耗时间不相同；其中，针对物料数据大和消费数据大的账户，可能会出现同步错误的情况而且出现网络问题或者媒体API接口异常，数据同步程序反馈的任务状态是未完成状态，从而数据同步程序将会一直处在循环之中；按照每次请求时间间隔为1秒，因为请求次数太频繁，服务器就会访问阻塞。媒体API检测出数据同步程序太频繁的访问，也可能将访问的IP出现进行封杀。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种同步数据的方法和装置，以至少解决现有技术在同步数据时没有合理请求任务的策略的技术问题。

根据本发明实施例的一个方面，提供了一种同步数据的方法，包括：获取数据同步任务的状态信息；如果数据同步任务的状态信息为未完成状态，则发送数据同步请求；其中，数据同步请求中至少包括：注册账户的账户信息和请求下载的数据类型；获取注册账户进行数据同步的历史等待时间；获取数据同步请求等待时间，数据同步请求等待时间指发起数据同步请求到当前时刻所经过的时间；根据数据同步请求等待时间和历史等待时间，确定注册账户的访问频率；根据注册账户的访问频率访问媒体资源，以便根据请求下载的数据类型进行数据下载。

进一步地，根据数据同步请求等待时间和历史等待时间，确定注册账户的访问频率，包括：比较数据同步请求等待时间和历史等待时间的大小；如果数据同步请求等待时间小于历史等待时间，则确定第一频率为注册账户的访问频率，第一频率的取值大于零、且小于最大访问频率，且第一频率随数据同步请求等待时间的增加而逐步增大；如果数据同步请求等待时间等于历史等待时间，则确定最大访问频率为注册账户的访问频率；如果数据同步请求等待时间小于历史等待时间，则确定第二频率为注册账户的访问频率，第二频率的取值大于零、且小于最大访问频率，且第二频率随数据同步请求等待时间的增加而逐步减少。

进一步地，第一频率与数据同步请求等待时间成正比，第二频率与数据同步请求等待时间成反比。

进一步地，在发送数据同步请求后，方法还包括：对数据同步请求等待时间进行计时；如果数据同步请求等待时间超过预设时间阈值，则停止访问媒体资源，并输出数据同步失败的提示信息。