[发明专利]数据处理系统及方法

权利要求书

1.一种数据处理系统，其特征在于，包括：Kafka集群，用于接收所述Beats的采集数据；为所述采集数据按照所属的主题Topic确定用于存储所述采集数据的指定分区partition；并将所述采集数据发送给订阅所述Topic的所述Logstash集群中的服务器；

Logstash集群的各服务器，用于从所述Kafka集群获取订阅的采集数据；将所述采集数据及其对应指定参数发送给所述Elasticsearch集群；所述指定参数包括所述采集数据的：主题Topic、指定分区partition以及读取进度offset；

Elasticsearch集群，用于接收所述Logstash集群发送的采集数据及其对应指定参数；将所述采集数据及其对应的指定参数发送至所述Kibana；

Kibana，用于响应于在展示界面实施的用户操作，展示用户指定数据的分析结果；

所述分析结果中包括所述用户指定数据在各时间段的数据量分布、所述用户指定数据的最新一条采集数据对应的主题Topic、指定分区partition及其读取进度offset。

2.根据权利要求1所述的系统，其特征在于，所述Kafka集群在执行当所述数据处理系统出现故障需要恢复数据时，用于：

接收到所述Logstash集群中的所述服务器的重新上线通知后，确定记录的所述Logstash集群中的所述服务器针对所述partition的已消费数据的offset；

根据确定的所述offset开始，向所述Logstash集群中的所述服务器发送其订阅的数据。

3.根据权利要求1所述的系统，其特征在于，所述Logstash集群在执行将所述采集数据及其对应指定参数的发送给所述Elasticsearch集群时，用于：

将所述指定参数映射成逻辑标识符，其中，每条采集数据对应唯一的所述逻辑标识符；

将所述采集数据及其对应的逻辑标识符发送给所述Elasticsearch集群。

4.根据权利要求3所述的系统，其特征在于，所述Logstash集群在执行将所述指定参数映射成逻辑标识符时，用于：

通过Hash插件配置参数，其中，所述参数包括：数据来源以及涉及的算法；

采用配置好的参数对所述Topic、所述partition以及所述offset进行处理，获取所述逻辑标识符。

5.根据权利要求4所述的系统，其特征在于，所述参数还包括：随机关键词，其中，所述随机关键词用于对所述逻辑标识符进行加密。

6.根据权利要求1所述的系统，其特征在于，所述Elasticsearch集群在执行发送至所述Kibana进行展示的数据还包括：逻辑标识符；所述逻辑标识符为所述Logstash集群基于所述指定参数生成的；所述Elasticsearch集群中存储有数据记录，所述数据记录中存储有历史采集数据及其对应的逻辑标识符，用于：

在所述数据记录中，查找所述采集数据对应的逻辑标识符；

若查找到，则对所述数据记录中的所述采集数据及其对应的逻辑标识符进行更新；

若未查找到，则将所述逻辑标识符及其对应的采集数据添加到所述数据记录中。

7.根据权利要求6所述的系统，其特征在于，所述Elasticsearch集群在执行在所述数据记录中，查找所述采集数据对应的逻辑标识符之前，用于：

确定满足预设的查找触发条件，所述预设的查找触发条件包括以下中的至少一种：

对所述采集数据进行分析后确定所述采集数据异常；

所述Logstash集群的上线通知的接收时间与当前时间的时间差小于预设时间差。

8.根据权利要求1所述的系统，其特征在于，所述Kibana还用于：

对所述用户指定数据进行分析，确定是否存在接收异常；

若存在接收异常输出告警通知。