[发明专利]数据分布缓存方法及系统

说明书

技术领域

本发明涉及数据管理技术领域，特别涉及一种数据分布缓存方法及系统。

背景技术

目前，在NGB(Next Generation Broadcasting network，下一代广播电视网)领域中，广播电视的播出系统在各个地区相互独立，通常情况下，每个地级行政区域都会建立一套相对独立的系统来支持本地的广播电视业务。

而在上一级的省网架构下，为了满足省级广电系统对省内广电业务的统一管理，实现广电业务的互联互通及融合，需要对各个独立的系统进行整合，使用统一的业务管理系统。对于广电的业务，集中部署后需要分散用户数据访问的压力，于是需要实现分布式缓存的功能。

在现有技术的实现方案中，一般采用统一的数据库进行管理，即把所有的用户或者业务数据存储在统一的数据库中，业务直接访问数据库，查询数据实现业务数据的展现。当业务数据达到一定规模后，对系统容量及性能要求极高，为避免系统吞吐量有限造成访问瓶颈，通常会进一步根据业务类型把不同的业务数据分别存储在不同的数据库中来提高系统容量及性能。当单个业务数据的规模也达到一定程度后，会对业务数据进行垂直拆分，把业务数据分布到多个不同的数据库中，业务接收请求后访问不同的数据库获取数据。

然而，在实现本发明过程中，发明人发现，现有技术中业务数据仅根据业务类型进行划分，用户在访问数据时，需要根据请求的不同访问不同的数据库，由于省网架构下多数用户的实际访问距离较远，仅根据业务类型划分数据无法保证用户访问速度，因此现有技术中省网架构下广电业务访问效率相对低下。

发明内容

(一)要解决的技术问题

针对现有技术的缺点，本发明为了解决现有技术中访问效率低下的问题，提出了一种数据分布缓存方法及系统，有效减少了缓存数据对中心数据库内存的占用，提高了数据访问速度。

(二)技术方案

为了实现上述目的，一方面，本发明提供了一种数据分布缓存方法，所述方法包括步骤：

S1，在生成业务数据或业务数据发生变化时，根据预先设定的配置策略对每一个数据增加节点ID信息，将数据存储在中心数据库中；

S2，进行数据分发，将中心数据库中的业务数据取出，并根据每个数据所携带的节点ID信息，将数据分发到对应的节点服务器；

S3，从节点服务器中取出分发到该节点的数据，同步到该节点的缓存中；

S4，将每个用户群接入到一个特定的节点，用户通过该节点缓存访问业务数据。

优选地，所述中心数据库中统一存储全部业务数据。

优选地，步骤S1中，所述配置策略包括：

在进行业务相关表设计时，增加业务无关的拆分字段，作为数据分布在各个节点的依据；

相同业务组的表设计填充相同的字段值；

生成业务数据时，根据业务的属性配置填充对应的拆分字段的数据值；

各个分布缓存节点在同步本节点的数据时，把相同属性的拆分字段值同步到本节点的缓存中。

优选地，步骤S2进一步包括步骤：

在中心数据库中的数据发生变动时，触发中心数据库中的触发器，触发器检查数据的变化类型，从配置表中查询变动的数据需要分发的节点ID，如果需要分发数据到某节点，则生成该对应节点的逻辑日志；

将逻辑日志记录在数据同步表中；

定期检查数据同步表中的数据，存在需要同步的逻辑日志时，从同步表中取出逻辑日志，把同一节点的逻辑日志批量组合起来，放在分发线程的工作队列中；

将数据同步表的内容解析为相应的逻辑日志；

从批量的日志信息中，解析出单条的逻辑日志，取出逻辑日志的内容，将修改更新到缓存中。

优选地，步骤S3进一步包括步骤：

从配置文件中读取节点信息，通过节点信息查询同步条件表；

查询同步数据的条件并组装同步查询数据的SQL语句；

通过组装的SQL语句查询同步到本节点的数据，把查询的数据写入缓存中。

优选地，步骤S4进一步包括步骤：

为每个分布节点指定对应的用户群体；

在用户接入系统时，配置用户访问的服务器为该用户所在的分布节点；

分布节点同步该用户的数据，为用户提供针对该用户的服务。

另一方面，本发明还同时提供一种数据分布缓存系统，所述系统包括中心数据库和至少一个分布节点；其中，

所述中心数据库由多个数据库单元组成，用于统一存储全部业务数据并为每个业务数据配置节点ID信息；