[发明专利]分布式内存数据重分布方法及系统、主控服务器

说明书

本发明提供分布式内存数据重分布方法及系统、主控服务器，该方法包括：接收内存数据存储服务器集群发送的每台内存数据存储服务器的内存使用数据；当至少一台内存数据存储服务器的内存使用数据大于预设的内存使用阈值时，触发数据重分布过程；确定数据迁移信息，数据迁移信息包括需要数据迁出的服务器的IP地址、待迁移的HASH值、待迁移的业务数据量和目标服务器的IP地址；根据数据迁移信息将待迁移的业务数据迁移到目标服务器，目标服务器为内存数据存储服务器集群中新增的内存数据存储服务器。该方案在增加服务器进行数据重分布时可支持连续服务。

技术领域

本发明涉及数据存储和访问技术领域，特别涉及一种分布式内存数据重分布方法及系统、主控服务器。

背景技术

当前随着业务范围的快速扩展，银行﹑互联网企业面临着不断增长的交易欺诈风险。为降低这些交易的风险，企业将监控环节提前至交易时刻，即在后台服务器收到交易请求后，需要在毫秒级时间内提供历史交易数据以评价当前交易的风险等级，并将新增的交易数据传输给后台服务器成为新的历史评价数据。如何在短时间内为大量的并发交易提供历史交易情况，并将实时的交易数据加工成为实时的评价信息，为企业提供实时决策的依据，直接考验着企业的运营管理水平和技术能力。为此，多数企业采取分布式内存存储/访问技术，将实时数据分布存储在服务器集群的内存中，相比传统数据库，这种直接从内存中存取数据的方式不仅更快速，同时也能避免读取I/O的操作瓶颈，更符合企业短时间处理大量实时交易数据的需求。

然而，随着处理交易数据量的不断增大，给服务器集群的内存存储空间带来了巨大压力。目前，企业一般是通过横向扩展的方式，即，增加新的服务器来扩展内存存储空间；再将原有服务器中的内存数据重新分布，最终完成内存服务器集群的扩容。这种方法存在如下问题：在服务器内存数据重分布时，内存数据的存储位置都会发生变化，需要进行大规模的数据重新加载，直至内存数据重分布过程完成之后，系统才能恢复运行状态，提供正常服务，这样大大影响了系统对外提供服务的能力，影响了业务数据处理的实时性，容易造成数据丢失，也降低了系统的安全性和可靠性。

发明内容

本发明实施例提供了一种分布式内存数据重分布方法，不影响系统对外提供连续服务的能力，不影响业务数据处理的实时性，也不会造成数据丢失，同时也不会降低系统的安全性和可靠性。

分布式内存数据重分布方法包括：接收内存数据存储服务器集群发送的每台内存数据存储服务器的内存使用数据；

当内存数据存储服务器集群中的至少一台内存数据存储服务器的内存使用数据大于预设的内存使用阈值时，触发数据重分布过程；

确定数据迁移信息，所述数据迁移信息包括需要数据迁出的内存数据存储服务器的IP地址、待迁移的业务数据的HASH值、待迁移的业务数据量和目标服务器的IP地址；

根据数据迁移信息将持久化存储的待迁移的业务数据迁移到目标服务器，所述目标服务器为内存数据存储服务器集群中新增的内存数据存储服务器。

在一个实施例中，该方法还包括：

在数据重分布完成后，向需要数据迁出的内存数据存储服务器发送内存数据重分布迁移完成信息，控制需要数据迁出的内存数据存储服务器将已完成迁移的业务数据删除。

在一个实施例中，该方法还包括：

接收前端访问服务器集群发送的业务数据，并确定该业务数据的HASH值，根据路由表和业务数据的HASH值，将业务数据发送至内存数据存储服务器集群中对应的内存数据存储服务器；所述路由表记录了HASH值与内存数据存储服务器的映射关系，每台内存数据存储服务器的数据存储格式为：HASH值，业务数据。

在一个实施例中，根据路由表和业务数据的HASH值，将业务数据发送至内存数据存储服务器集群中对应的内存数据存储服务器，包括：