[发明专利]一种数据回流方法、装置、设备及系统

说明书

本说明书实施例提供一种数据回流方法、装置、设备及系统。离线数据处理平台在将业务数据回流至数据库服务器后，生成与业务数据对应的回流控制数据并回流至数据库服务器，实时在线业务服务器以预设的时间间隔从数据库服务器中获取回流控制数据，并根据回流控制数据判断最新版本的业务数据是否回流完成，以及获取最新版本的业务数据，实时在线业务服务器可以及时地感知最新版本的业务数据回流完成，并且获取的最新版本的数据为同一批次的业务数据。

技术领域

本说明书涉及数据处理技术领域，尤其涉及一种回流方法、装置、设备及系统。

背景技术

互联网行业产生的数据量非常大，这些数据的计算量也非常大，因而无法在实时在线服务器上进行实时地处理，而是要借助于一些大型的分布式离线数据处理平台来处理。比如ODPS（OpenData Processing Service）开放数据处理服务就是一种通用的离线数据处理平台，向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题。通常各种业务数据，比如相关的日志数据、浏览数据、用户数据、交易数据、商品数据等通过离线数据处理平台处理后，需将处理后的业务数据回流到数据库服务器，以便在用户查询这些业务数据时，实时在线服务器可以从数据库服务器中读取处理后的业务数据显示给用户。由于业务数据一直在更新，如何让实时在线服务器在第一时间感知到业务数据回流完成，并获取最新的业务数据给用户十分关键。

发明内容

基于此，本说明书提供了一种数据回流方法、装置、设备及系统。

根据本说明书实施例的第一方面，提供一种数据回流系统，所述数据回流系统包括：离线数据处理平台、数据库服务器以及实时在线业务服务器；

所述离线数据处理平台用于在将业务数据回流到数据库服务器后，根据所述业务数据生成回流控制数据，其中，所述回流控制数据包括业务数据的类型、业务数据的回流时间以及业务数据的版本标识；将所述回流控制数据回流至所述数据库服务器；

所述实时在线业务服务器用于以预设的时间间隔从所述数据库服务器中获取所述回流控制数据，并根据所述回流控制数据获取最新版本的业务数据。

根据本说明书实施例的第二方面，提供一种数据回流方法，所述方法用于离线数据处理平台，包括：

在将业务数据回流到数据库服务器后，根据所述业务数据生成回流控制数据，其中，所述回流控制数据包括所述业务数据的类型、所述业务数据的版本标识以及所述业务数据的回流时间；

将所述回流控制数据回流至所述数据库服务器，以使实时在线业务服务器以预设的时间间隔从所述数据库服务器中获取所述回流控制数据，并根据所述回流控制数据获取最新版本的业务数据。

根据本说明书实施例的第三方面，提供一种数据回流方法，所述方法用于实时在线业务服务器，包括：

以预设的时间间隔从数据库服务器中获取回流控制数据，其中，所述回流控制数据由离线数据处理平台将业务数据回流到数据库服务器之后，根据所述业务数据生成并回流至所述数据库服务器，所述回流控制数据包括所述业务数据的类型、所述业务数据的版本标识以及所述业务数据的回流时间；

根据所述回流控制数据获取最新版本的业务数据。

根据本说明书实施例的第四方面，提供一种数据回流装置，包括：

回流控制数据生成模块，用于在将业务数据回流到数据库服务器后，根据所述业务数据生成回流控制数据，其中，所述回流控制数据包括所述业务数据的类型、所述业务数据的版本标识以及所述业务数据的回流时间；

回流模块，用于将所述回流控制数据回流至所述数据库服务器，以使实时在线业务服务器以预设的时间间隔从所述数据库服务器中获取所述回流控制数据，并根据所述回流控制数据获取最新版本的业务数据。