[发明专利]一种紧耦合可扩展的大数据交互方法

摘要

本发明提供一种紧耦合可扩展的大数据交互方法，通过构建分布式紧耦合的客户端驱动层，在保证一致性的基础上，能够避免客户端或服务端的单点失效，并减少了客户端之间的通信开销，使系统在以元数据查询类为主的场景下具有接近线性的可扩展性，满足大数据的在线高并发交互分析需求。上述方法可以保证数据的读写一致性，虽然单纯读操作会出现延迟现象，但可以保证读取版本的顺序一致。在需要读取最新版本情况下，可以主动执行一次数据同步过程。此外，该方法具备很好的容错性，只要失效节点数小于半数，其他节点读写数据不受影响，当节点回复后，只需一次读写操作通过步骤即可同步。

主权项

一种紧耦合可扩展的大数据交互方法, 其特征在于通过构建分布式紧耦合的客户端驱动层，在保证一致性的基础上，能够避免客户端或服务端的单点失效，并减少了客户端之间的通信开销，使系统在以元数据查询类为主的场景下具有接近线性的可扩展性，满足大数据的在线高并发交互分析需求，具体步骤如下：1）在应用服务器中部署多个应用实例，各应用实例间进行负载均衡；2）在每个实例的进程空间中动态链接客户端驱动，客户端接受应用发送的交互请求，完成Sql解析、执行路径优化、任务调度、发送操作请求和结果汇聚；3）应用实例得到返回结果并在业务逻辑层处理，避免客户端或服务端的单点失效，并减少了客户端之间的通信开销，由于上述架构的客户端驱动只需要保存少量系统的元数据状态，并且元数据是以读取和查询类操作为主，因此能够有效扩展、支持高并发，当发生元数据写操作时，存在着元数据同步问题，因此需要通过节点间交互保障读写一致性；4）读写同步过程为每次读写时，先从本节点读到当前版本；进行数据更新后，版本号加1,向所有个节点发送写数据更新请求；节点收到新版本更新后，若之前没有同意更高的版本，则赞成返回，否则通知发送方最新的版本号；5）当未收到半数以上同意票后，取各节点返回的最大的版本号，若最大版本号与自己发出的相同，表明更新冲突，等待最新版本数据同步，否则从半数以上个节点读取最新版本数据，当收到最新版本数据后，重新设置当前版本继续进行更新；6）当收到半数个节点以上个同意票后，向所有节点提交结果；收到半数个节点的确认后，读写操作完成；根据权利要求1所述的一种分布式多节点紧耦合大数据交互方法，其特征在于，在以元数据读操作为主的类场景下具有很好的可扩展性，但发生元数据写操作时，存在着元数据同步问题，因此需要通过节点间交互保障读写一致性，多节点紧耦合系统的读写同步过程如下：（1）每次读写时，先从本节点读到当前版本d_v；（2）进行数据更新后，版本号v+1,向所有n个节点发送写请求d_v+1；（3）节点n_i收到d_v+1后，若之前没有同意更高的版本，即v_i<v+1则赞成返回，否则通知发送方最新的版本号v_i ；（4）当未收到半数以上同意票后，取各节点返回的最大的版本号v_m ；4.1）当v_m= v+1,表明更新冲突，等待最新版本v_m同步；4.2）否则，向n/2+1个节点读取最新版本v_m；4.3）当收到最大版本号后，设置当前版本v= v_m继续执行步骤（2）；（5）否则，当收到半数n/2+1个节点以上个同意票后，向所有节点提交结果；（6）收到n/2+1个节点的确认后，读写操作完成；（7）单纯读操作受步骤（6）影响，会出现延迟现象，但能保证读取版本的顺序一致，在需要读取最新版本情况下，主动执行一次步骤4.1）以同步数据；（8）只要失效节点数小于n/2+1，其他节点读写数据不受影响，当节点回复后，只需一次读写操作，通过步骤4.2）、4.3）即可同步。