[发明专利]分布式集群的模拟系统、方法和装置

说明书

技术领域

本发明涉及网络搜索技术领域，尤其涉及一种分布式集群的模拟系统、方法和装置。

背景技术

对于类似网络搜索引擎的分布式集群系统，在分布式集群的可靠性、性能等测试中，需要连接测试模块的下游所分布的集群以获得检索数据，但是机器资源非常有限，无法在线下搭建对应的集群，因此需要一种方式能够模拟线上规模的分布集群以解决测试难题。

现有技术通常以一个模块、一个服务为单位进行单独模拟，完成各类依赖模拟后端的测试。

现有技术存在的问题是：(1)基于单个模块无法模拟分布式集群中的数据交互；(2)依赖于被测代码插桩，模拟回放的数据需要依赖模块的录制通信包(dump)功能，如果模块没有录制通信包(dump)功能，还需要修改模块代码添加录制通信包(dump)功能；(3)性能较低、测试资源(主要是机器资源)使用较多，如果要模拟分布式集群，需要启动多个模拟工具；(4)针对任意流动的数据流，无法进行数据录制/回放。

发明内容

本发明旨在至少解决上述技术问题之一。

本发明的第一个目的在于提出一种可以节省资源、降低测试复杂性、提高测试效率以及实现对流动的数据流模拟以进行测试的分布式集群的模拟系统。

本发明的第二个目的在于提出一种网桥。

本发明的第三个目的在于提出一种分布式集群的模拟方法。

为了实现上述目的，根据本发明的第一方面实施例的分布式集群的模拟系统包括：上游搜索模块、网桥和下游分布式集群，其中所述下游分布式集群包括多个下游搜索模块，所述网桥分别与所述上游搜索模块和所述多个下游搜索模块相连，所述上游搜索模块用于发送压力请求；所述网桥用于接收所述压力请求并将所述压力请求发送至所述多个下游搜索模块，并接收所述多个下游搜索模块根据所述压力请求返回的数据包，以及保存所述上游搜索模块与所述多个下游搜索模块之间的通信数据包；所述网桥还用于根据所述上游搜索模块与所述多个下游搜索模块之间的通信数据包按照预定的格式生成词典，并根据所述上游搜索模块发送的压力请求在所述词典中查找所述压力请求对应的数据包并将所述压力请求对应的数据包返回至所述上游搜索模块；以及所述多个下游搜索模块用于根据所述压力请求返回数据包至所述网桥。

根据本发明实施例的分布式集群的模拟系统，通过网桥可以模拟一个分布式集群，节省资源，系统自身可以保存上游搜索模块与多个下游搜索模块之间的通信数据包，无需依赖外部资源，降低测试复杂性、提高测试效率，并且可以实现对任意流动的数据流进行模拟以进行测试，例如大度通信和调度特点决定数据流没有固定可预测的方向，单个模块无法实现测试模拟。

为了实现上述目的，根据本发明的第二方面实施例的网桥包括：模式选择模块，所述模式选择模块用于接收用户输入的录制模式或回放模式；通信模块，所述通信模块用于接收上游搜索模块发送的压力请求并在所述录制模式下将所述压力请求发送至下游分布式集群，其中所述下游分布式集群包括多个下游搜索模块，以及接收所述多个下游搜索模块根据所述压力请求返回的数据包并将所述返回的数据包发送至所述上游搜索模块；录制模块，所述录制模块与所述通信模块相连，用于保存所述压力请求和所述返回的数据包；以及模拟模块，所述模拟模块分别与所述通信模块、所述录制模块和所述模式选择模块相连，用于在所述回放模式下根据所述压力请求和所述返回的数据包生成词典，并根据所述上游搜索模块发送的压力请求在所述词典中查找所述压力请求对应的返回数据包。

根据本发明实施例的网桥，分别与上游搜索模块和多个下游搜索模块相连，在上游搜索模块与多个下游搜索模块的通信过程中录制通信数据包，无需依赖外部资源，能够有效降低测试复杂性、提高测试效率，并且可以实现对任意流动的数据流进行测试模拟，例如大度通信和调度特点决定数据流没有固定可预测的方向，单个模块无法实现测试模拟。