[发明专利]一种线上服务系统、数据加载方法、装置及设备

权利要求书

1.一种线上服务系统，其特征在于，所述系统包括：数据库、线上服务器和kafka服务器，所述kafka服务器为：基于kafka架构的服务器；

所述数据库，用于获得并存储所述线上服务系统为用户提供数据服务所需的数据；

所述线上服务器，用于按照预设的时间间隔，从所述数据库获得所述线上服务器对应的全量数据，并在满足增量数据加载条件的情况下，确定所述线上服务器所存储数据中最新一条数据的存储时间点，从所述kafka服务器加载目标增量数据，其中，所述目标增量数据为：所述kafka服务器在所述存储时间点之后存储、且与所述线上服务器对应的数据；

所述kafka服务器，用于获得并缓存所述线上服务系统为用户提供数据服务所需的数据，获得所述存储时间点，并根据所述存储时间点，从自身存储的数据中确定所述目标增量数据，向所述线上服务器反馈所述目标增量数据；

所述满足增量数据加载条件的情况包括：

按照预设的时间间隔，从所述数据库获得所述线上服务器对应的全量数据后，达到预设的增量数据加载时间间隔；或

按照预设的时间间隔，从所述数据库获得所述线上服务器对应的全量数据后，检测接收到所述kafka服务器发送的增量数据加载指令。

2.如权利要求1所述的系统，其特征在于，所述系统还包括：分布式中心节点；

所述kafka服务器，还用于将所述目标增量数据反馈至所述线上服务器后，向所述分布式中心节点发送所述目标增量数据的数据信息；

所述分布式中心节点，用于接收所述kafka服务器发送的所述数据信息，并根据所述数据信息监控所述线上服务器的数据状态。

3.根据权利要求2所述的系统，其特征在于，所述数据信息包括以下信息中的至少一种：

所述目标增量数据中所包含数据的条数；

所述目标增量数据中所包含数据的数据索引；

目标增量数据的名称；

向线上服务器发送目标增量数据的时间。

4.如权利要求1-3中任一项所述的系统，其特征在于，所述获得并缓存所述线上服务系统为用户提供数据服务所需的数据，包括：

获得所述线上服务系统为用户提供数据服务所需的数据；

确定所获得数据的数据类型；

获得所确定数据类型对应的业务类型；

计算所获得数据的标识的哈希值；

根据计算得到的哈希值和所获得业务类型对应分区的序号，确定用于存储所获得数据的分区，并将所获得的数据缓存至所确定的分区中。

5.如权利要求4所述的系统，其特征在于，所述根据所述存储时间点，从自身存储的数据中确定所述目标增量数据，包括：

确定所述线上服务器对应的业务类型；

在所确定业务类型对应的分区中，查找在所述存储时间点之后存储、且与所述线上服务器对应的数据，并将查找到的数据确定为目标增量数据。