[发明专利]一种通用云原生的分布式实时流数据总线系统

说明书

本发明公开了一种通用云原生的分布式实时流数据总线系统，属于数据处理技术领域，包括：至少一个数据总线实例，用于将数据输入源的消费数据传输至目标数据源；分布式协作系统，分别连接至少一个数据总线实例，用于数据总线实例注册时形成注册信息，数据总线实例根据注册信息选举其中一个数据总线实例作为主节点；主节点为主节点和每个从节点分配数据管道任务，并将执行的数据管道任务的状态信息存储至分布式协作系统。本发明技术方案的有益效果在于：通过分布式协作系统与数据总线实例交互，实现通用的异构数据系统之间的实时数据同步与订阅管理，开发复杂性降低，耦合度降低，扩展性提高，软件维护与管理难度降低，系统可用性提高。

技术领域

本发明涉及数据处理技术领域，具体涉及一种通用云原生的分布式实时流数据总线系统。

背景技术

伴随着互联网在线教育领域的用户并发量和数据量的扩增，为了提高其扩展性、保障可靠性与稳定性，应用系统通常使用多个数据存储，其中，每个数据存储分别用于满足特定的业务需求和场景，通过关系数据库(例如MYSQL、PostgreSQL、Oracle等)存储格式化数据和满足事务需求，通过分布式多用户能力的搜索引擎(例如Elastic Search等)提供搜索功能，通过Redis实现高速缓存。通常，以多数据存储中的一个数据存储作为主存储和数据源，其他数据存储作为从存储。主存储产生数据后通过特定的模式，实时、近实时或者周期性将数据同步到从存储中。

现有技术中通过双写(多写)模式、变更日志表模式和变化数据捕获模式等，以解决多数据存储中主存储到从存储数据的同步问题。

其中，双写(多写)模式：应用系统对一个数据存储执行写操作后，接着对另一个或者多个数据存储执行写操作。为了解决数据一致性的问题，通常采用分布式事务或轮询校验与同步处理；分布式事务是通过跨多个异构数据存储的事务实现写操作；轮询校验与同步是通过额外服务或者进程，定期轮询检查主存储与从存储之间的数据任务写入状态，当发现从存储写入异常时，启用修复机制进行数据修复。

变更日志表模式：当数据发生变更时，将更改项作为同一事务的一部分，并添加至相关的日志表中，通过额外服务或者进程周期性地轮询日志表中的事件，并将其写入一个或者多个数据存储源中，当所有数据存储均确认后，再从日志表中将对应的事件删除。

变化数据捕获模式：增量数据获取基于数据库的日志捕获已提交的数据变更，应用系统将变更的日志转换成特定格式，并写入对应的消息队列，应用系统获取消息并写入从存储中。对于需要的数据场景，停止增量数据获取，遍历当前的所有历史数据，转存到目标系统，使用表级锁或者数据库保障数据的一致性。

采用上述处理方式存在诸多问题：例如采用双写模式与变更日志模式对业务系统的侵入较大，耦合性高，导致相关组件的通用性较差，尤其对于双写模式，在检查周期内，存在数据存在不一致的问题；双写模式下与业务系统耦合时，应用系统的并发量增加，进而导致系统压力较大，无法平滑扩展，扩展性、隔离性较差；变更日志表模式需要跨多个后端存储，难以实现，对于异常时的维护诊断复杂且困难；变化数据捕获模式下，应用系统不支持云原生化部署，维护管理和部署困难，无法同步进行日志捕获事件与历史数据转存。

发明内容

本发明的目的在于，提供一种通用云原生的分布式实时流数据总线系统。

本发明所解决的技术问题可以采用以下技术方案来实现：

本发明提供一种通用云原生的分布式实时流数据总线系统，包括：

至少一个数据总线实例，用于根据数据管道任务将数据输入源的消费数据通过至少一个所述数据总线实例传输至目标数据源；

一分布式协作系统，分别连接至少一个所述数据总线实例，分布式协作系统于所述数据总线实例注册时形成一注册信息，所述数据总线实例根据每个所述数据总线实例的注册信息选举其中一个所述数据总线实例作为主节点，其他所述数据总线实例作为从节点；