[发明专利]一种redis数据缓存的value的检测和分片的方法及其系统

说明书

本发明提供了一种redis数据缓存的value的检测和分片的方法，该方法为：1、设置redis慢查询的阈值，通过日志记录，计算读取时间，如果超过阈值则把慢查询写入日志；2、监控慢查询日志，读取慢查询的redis key，对redis value在10‑100KB之间的进行处理；3、按10KB一组进行分片，每组value加上下一个分片的key后缀作为结尾，第1组分片的value以_1结尾代表下一组分片的key是key_1，第二组分片的vaule以_2结尾，以此类推_3到_9，直到最后一个分片不加后缀结尾；4、提供通用的redis读取接口，读取redis key的value如果是以_1结尾表示此redis是个被分片的大value，继续读取下一个数据分片key_1的数据，以此类推读到最后一个分片，拼接所有分片的字符返回客户端；有效减缓了客户端超时阻塞引发网络阻塞等问题。

技术领域

本发明涉及数据缓存技术领域，特别是一种redis数据缓存的value的检测和分片的方法及其系统。

背景技术

redis是数据缓存很常选型的中间件，是一个key(键)-value(值)存储系统；redis适合存储少量的热点数据，在系统运行中redis数据缓存的key我们可以严格定义，但redis数据缓存的value是用户难决定，有时很难控制value的大小。如果redis的value过大，可能导致客户端超时阻塞、引发网络阻塞导致读取redis超时等问题。如果在redis操作的时候同步计算和检测redis的value大小，那可能会因为少数大value而影响了整体的存储效率，因为大多数的value都是小的，但又无法放任这些大value不管，因为可能因为这些少数的大value导致客户端超时阻塞引发网络阻塞等情况。

发明内容

为克服上述问题，本发明的目的是提供一种redis数据缓存的value的检测和分片的方法，通过分片的方式把一个巨型redis数据缓存的value拆分成多个小value，有效减缓了客户端超时阻塞引发网络阻塞等问题。

本发明采用以下方案实现：一种redis数据缓存的value的检测和分片的方法，所述方法包括如下步骤：

步骤S1、设置redis数据缓存慢查询的阈值，通过redis数据缓存读取前后日志记录的时间差获取redis读取时间，当redis读取时间超过阈值，则把慢查询的redis数据缓存的key异步写入日志；

步骤S2、监控慢查询日志，读取慢查询的redis数据缓存的key，读取redis数据缓存的key对应的value如果小于10KB则不进行操作，结束流程，如果大于100KB则进行删除redis数据缓存的key，如果value在10-100KB之间，则进入步骤S3；

步骤S3、将redis数据缓存的value根据预设值进行按组分片，每组value值的内容为value_1，value_2，value_3，以此类推直到最后一个分片不加后缀结尾；则分组后的分片集合为{(key值，value值_1)，(key值_1，value值_2)...(key值_N-1，value值_N),(key值_N，value值)}；

步骤S4、提供一redis读取接口，读取rediss数据缓存key的value，如果value是以_1结尾表示此redis数据缓存是个被分片的value，继续读取下一个数据分片key值_1的数据，以此类推读到最后一个分片，拼接所有分片的字符返回给客户端。

进一步的，步骤S1的实现方式进一步具体为：设置一个redis慢查询的阈值为100ms，超过100ms的查询则是因为value太大引起的慢查询；通过redis读取前后日志记录的时间差，得到redis的读取时间，如果超过阈值100ms，则把慢查询的redis数据缓存key异步写入日志，不采用同步写入日志的方式是为了不降低系统的吞吐量。