[发明专利]基于Linux系统的数据处理方法、装置及系统

说明书

本发明公开了一种基于Linux系统的数据处理方法、装置及系统，预先将本地机房中的一部分设备设置为包含第一类设备和第二类设备的本地设备，一部分设备设置为异地模拟设备，该方法应用于第一类设备，该方法包括：基于预定规则利用第一类设备Linux系统中的流控模块设置具有延时传输数据包功能的流控规则，基于流控规则为第一类设备的防火墙设置数据包传输规则，并为第一类设备设置具有流控规则的虚拟网卡，基于防火墙的数据包传输规则将数据包发送至异地模拟设备；通过具有流控规则的虚拟网卡接收来自异地模拟设备的数据包，以此在本地机房中模拟异地机房的数据传输过程。通过本发明，可以较为准确地模拟异地机房之间的网络通信。

技术领域

本发明涉及通信技术领域，具体涉及一种基于Linux系统的数据处理方法、装置及系统。

背景技术

在对分布式系统的高可用测试中，常常涉及到多活和多AZ(Availability Zone，可用区)的场景，这些AZ分布在不同机房中，可能跨城市或地区；无论是同城多AZ，还是异地多活，都涉及到长物理距离下分布式应用进行网络通信会产生较长延迟的问题，物理距离越长，延迟越高，整体延迟分布在几ms(毫秒)到几十ms之间。这些因为物理距离产生的延时对于分布式应用可能会产生很大的影响，尤其是当出现AZ整体出现问题或多数节点出现问题时。这些影响包括分布式应用整体处理业务延时大幅度上升，TPS(Transaction PerSecond，每秒事务处理量)下降，数据复制失败(分布式数据库服务)等问题，进而影响用户用户体验。

因此，在测试阶段，对这些异地网络通信进行测试是很有必要的。但是在测试过程中，往往很难用实际的异地环境来进行测试，因此一般采用在本地Linux机器上，通过增加对应网络通信延时的方法来解决。

目前最普遍的在Linux上模拟网络延迟的方法就是通过tc模块来实现的，通过在其根目录下添加rootqdisc来实现。但是该方法虽然可以达到模拟网络延迟的作用，但其使用场景简单，具有很多缺陷，其中最大的缺陷是该方法会对所有使用eth0网卡的请求都延时100ms，不区分网段，不区分ip，不区分出入口流量，所有请求一律无差别延迟，这与真实的网络通信情况差异较大不符，从而无法模拟异地网络环境。

发明内容

有鉴于此，本发明提供一种基于Linux系统的数据处理方法、装置及系统，以解决上述提及的至少一个问题。

根据本发明的第一方面，提供一种基于Linux系统的数据处理方法，预先将本地机房中的一部分设备设置为包含第一类设备和第二类设备的本地设备，一部分设备设置为异地模拟设备，所述方法应用于所述第一类设备，所述方法包括：

基于预定规则利用所述第一类设备Linux系统中的流控模块设置具有延时传输数据包功能的流控规则，基于所述流控规则为所述第一类设备的防火墙设置数据包传输规则，并为所述第一类设备设置具有所述流控规则的虚拟网卡，

基于所述防火墙的数据包传输规则将数据包发送至所述异地模拟设备；

通过具有所述流控规则的虚拟网卡接收来自所述异地模拟设备的数据包，以此在本地机房中模拟异地机房的数据传输过程。

进一步地，将本地机房中的一部分设备设置为本地设备之后，所述方法还包括：

基于Linux系统为所述第一类设备创建包含目标网段地址或目标IP地址的地址集合；

将所述异地模拟设备所在的网段地址或IP地址加入到所述地址集合中。

进一步地，基于所述流控规则为所述第一类设备的防火墙设置数据包传输规则之前，所述方法还包括：

基于Linux系统为所述防火墙创建自定义链；

将所述流控规则和所述地址集合挂载到所述自定义链上。

进一步地，上述方法还包括：