[发明专利]一种线上服务系统、数据加载方法、装置及设备

说明书

本发明实施例提供了一种线上服务系统、数据加载方法、装置及设备，所述系统包括：数据库、线上服务器和kafka服务器，其中kafka服务器为：基于kafka架构的服务器。本发明实施例通过将运营商或用户上传的数据分别存储到数据库和kafka服务器中，线上服务器在相邻两次从数据库获得全量数据的时间间隔内，从kafka服务器中实时获取增量数据，基于此能够将增量数据及时的同步到线上服务器中。

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种线上服务系统、数据加载方法、装置及设备。

背景技术

随着互联技术的快速发展，为用户提供线上服务的运营商越来越多，基于此各种线上服务系统应运而生。上述线上服务系统可以理解为：用于通过互联网为用户提供数据服务的系统，例如，通过互联网为用户提供视频数据、新闻数据等等的系统。

现有技术中一种线上服务系统包括：数据库和线上服务器，其中，数据库用于获得并存储运营商想要通过互联网为用户提供的各种数据，也就是，数据库用于获得并存储线上服务系统为用户提供数据服务所需的数据；线上服务器用于存储按照固定时间间隔从上述数据库中获得的数据，通常是上述数据库中所存储数据的一部分，另外，线上服务器是直接面向用户的设备，也就是，线上服务器是依据其所存储的数据通过互联网直接为用户提供数据服务的设备。

线上服务器按照固定的时间间隔每次从数据库中获得的该线上服务器对应的数据称为全量数据。线上服务器在相邻两次从数据库中获得全量数据的时间间隔中，上述数据库还有可能存储新的数据，这些新的数据称之为增量数据，线上服务器只能在上述相邻两次从数据库获得全量数据中后一次获得上述增量数据，这样线上服务器无法及时获得上述增量数据，也就无法为用户提供针对上述增量数据的数据服务。

基于此如何将增量数据及时地同步到线上服务器中，是开发人员迫切关心的问题。

发明内容

本发明实施例的目的在于提供一种线上服务系统、数据加载方法、装置及设备，以实现将增量数据及时的同步到线上服务器中。具体技术方案如下：

本发明实施的一方面提供了一种线上服务系统，所述系统包括：数据库、线上服务器和kafka服务器，所述kafka服务器为：基于kafka架构的服务器；

所述数据库，用于获得并存储所述线上服务系统为用户提供数据服务所需的数据；

所述线上服务器，用于按照预设的时间间隔，从所述数据库获得所述线上服务器对应的全量数据，并在满足增量数据加载条件的情况下，确定所述线上服务器所存储数据中最新一条数据的存储时间点，从所述kafka服务器加载目标增量数据，其中，所述目标增量数据为：所述kafka服务器在所述存储时间点之后存储、且与所述线上服务器对应的数据；

所述kafka服务器，用于获得并缓存所述线上服务系统为用户提供数据服务所需的数据，获得所述存储时间点，并根据所述存储时间点，从自身存储的数据中确定所述目标增量数据，向所述线上服务器反馈所述目标增量数据。

可选的，所述系统还包括：分布式中心节点；

所述kafka服务器，还用于将所述目标增量数据反馈至所述线上服务器后，向所述分布式中心节点发送所述目标增量数据的数据信息；

所述分布式中心节点，用于接收所述kafka服务器发送的所述数据信息，并根据所述数据信息监控所述线上服务器的数据状态。

可选的，所述数据信息包括以下信息中的至少一种：

所述目标增量数据中所包含数据的条数；

所述目标增量数据中所包含数据的数据索引；

目标增量数据的名称；

向线上服务器发送目标增量数据的时间。