[发明专利]NoSQL方式数据存储的优化方法及系统

说明书

技术领域

本发明涉及一种数据存储的技术领域，特别是针对NoSQL方式数据存储的优化的技术领域。

背景技术

大型业务应用系统，一般都将系统相关的数据存储到数据库中，但数据库访问受到IO、网络的因素，导致读写速度遇到瓶颈，使业务处理的速度变慢，直接影响到的业务的整个流程，特别是在快速流式数据处理过程中，该问题显得更加突出。

为了提高高速数据的查询速度,现有解决方案有：

1、使用更高性能的服务器,提高网络带宽吞吐量；

2、使用分布式数据库或NoSQL数据库；

3、提供内存缓存机制。

但是上述现有的解决方案存在以下缺陷：

采用更高性能的服务器和提供网络带宽量，需要很高的成本，而且仍然会受限于网络的问题，只是在一定程度上速度会有所提高，但还不能满足大批量流式处理的需求；

采用分布式数据库增加了同步的复杂度，而且并不能解决网络带宽的问题；采用NoSQL数据库能够在一定程度上解决大数据量且高并发的读写的需求，但该方案同样增加了同步的复杂度；

采用内存缓存机制可以有效的解决数据的传输问题，但是当数据量过大时，缓存量会受到限制，直接影响业务处理流程。

因此，如何提高大量高速数据的传输速度，同时又不受网络及存储量的限制是目前亟待解决的问题。

发明内容

有鉴于此，本发明提供一种NoSQL方式数据存储的优化方法及系统，以解决上述问题。

为达上述目的，本发明提供一种NoSQL方式数据存储的优化方法，该方法包括：查询流程、老化流程和同步流程；其中，

查询流程采用异步查询方式，将查询过程和返回结果的过程分离以提高查询效率；

老化流程通过将长时间无人访问的数据节点进行回收，以有效利用内存；

同步流程通过实时同步，在更新数据库时，进行本地缓存表的更新，以保证缓存中数据的有效性。

优选地，所述查询流程具体为：每次通过KEY值进行查询，首先通过KEY值在本地缓存表中进行查询，如果查询到结果，则更新本地缓存表中该KEY值的访问时间戳，然后直接返回结果；如果查询不到结果，则向远端NoSQL数据库发起查询请求，查询采用异步查询模式，即不等待查询结果，而直接返回，等数据库查到结果后，自动更新本地缓存表，等下次再查询此表项时，就能够正常查到。

优选地，所述老化流程具体为：通过一个守护线程循环遍历所有结点的上次访问时间，当时间超过所设置的老化时间长度后，将该结点删除。

优选地，所述同步流程具体为：本次对数据有写操作时，在写入本地缓存表的同时，写NoSQL数据库并发送同步内容到其它机器缓存表，来完成多机器缓存表与NoSQL数据库的数据同步。

此外，本发明还提供一种NoSQL方式数据存储的优化系统，该系统包括：NoSQL数据库，本地缓存表，远端缓存表，查询模块，老化模块，同步模块。其中本地缓存表与NoSQL数据库、远端缓存表、查询模块、老化模块以及同步模块均实现互连；其中，

查询模块采用异步查询方式，将查询过程和返回结果的过程分离以提高查询效率；

老化模块通过将长时间无人访问的数据节点进行回收，以有效利用内存；

同步模块通过实时同步，在更新数据库时，进行本地缓存表的更新，以保证缓存中数据的有效性。

优选地，所述查询模块每次通过KEY值进行查询，首先通过KEY值在本地缓存表中进行查询，如果查询到结果，则更新本地缓存表中该KEY值的访问时间戳，然后直接返回结果；如果查询不到结果，则向远端NoSQL数据库发起查询请求，查询采用异步查询模式，即不等待查询结果，而直接返回，等数据库查到结果后，自动更新本地缓存表，等下次再查询此表项时，就能够正常查到。

优选地，所述老化模块通过一个守护线程循环遍历所有结点的上次访问时间，当时间超过所设置的老化时间长度后，将该结点删除。

优选地，所述同步模块中，当本次对数据有写操作时，在写入本地缓存表的同时，写NoSQL数据库并发送同步内容到其它机器缓存表，来完成多机器缓存表与NoSQL数据库的数据同步。