[发明专利]基于运营商支付账户体系的压缩可信设备存储控制方法

说明书

本发明公开了一种基于运营商支付账户体系的压缩可信设备存储控制方法，在保障精准查询命中运营商以手机号为用户主体对应可信设备集合前提下，通过使用Redis中hashmap中key存储手机前3位、flield存储手机号中间3位、value使用手机号后5位加上umid(唯一设备ID)通过MD5生成32位定长字符串后存储到value中指定的bloom模块这样达到压缩存储尽可能的压缩消耗的宝贵内存空间。本发明实现运营商支付账户体系下降低可信设备基于内存容器的膨胀率；实现运营商支付账户体系下减少可信设备基于内存容器时的碎片率；满足运营商支付账户体系下进行登录、支付密码鉴权在50ms内完成验证可信设备。

技术领域

本发明涉及计算机软件应用技术领域，特别涉及一种运营商支付体系下数据压缩处理方法系统领域。

背景技术

在运营商支付账户体系下拥有数亿级别的客户账号，而在很多如密码登录、支付密码鉴权等鉴权验证场景中需要对用户的可信设备进行判断并按合理的逻辑新增到用户可信设备库中，从而减少对用户使用可信设备的打扰，并且避免频繁的调用短信、人脸等核验接口节约调用成本。假如一个账户可能同时使用评级10个设备筛选出30天的活跃设备总量有24亿左右海量设备。如果按现在传统的做法这么大的量如果直接使用设备id作为key直接写入缓存系统，按value占用16字节来算，大概要用230G内存的内存容器集群，这成本还是比较可观的。

使用内存容器进行存储及校验面临如下问题：(1)设备deviceID长短不一容易造成内存碎片；(2)纯内存存储由于指针大量存在，内存膨胀率比较高，一般在7倍；(3)运营商支付账号明天都会有大量新用户，每天新生成的deviceid依然很多；(4)由于服务要求在公网环境为了保证良好的用户体验需要设备检查需要在50ms以内，所以原则上当天新更新的账号于新 deviceID的mapping需要全部in memory，而不会让请求落到后端的冷数据穿透数据库；(5)业务方面，所有数据原则上至少保留60天甚至更久。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于运营商支付账户体系的压缩可信设备存储控制方法。

本发明提供了如下的技术方案：

本发明提供一种基于运营商支付账户体系的压缩可信设备存储控制方法，在保障精准查询命中运营商以手机号为用户主体对应可信设备集合前提下，通过使用Redis中hashmap中key存储手机前3位、flield存储手机号中间3位、value使用手机号后5位加上umid(唯一设备ID)通过MD5生成32 位定长字符串后存储到value中指定的bloom模块这样达到压缩存储尽可能的压缩消耗的宝贵内存空间，使用了定长的key和value为定长也会减少内存碎片，通过使用Redis哈希存储结构key+flield减少key和哈希表空间降低膨胀率，通过key淘汰策略定期的清理历史冷设备mapping数据；如下的详细技术方案如下：

(1)使用可信设备存储模型和存储结构表设计实现压缩内容存储空间：

通过使用Redis中hashmap中key存储手机前3位、flield存储手机号中间3位、value使用手机号后5位加上umid(唯一设备ID)通过MD5生成32 位定长字符串后存储到value中指定的bloom模块这样达到压缩存储尽可能的压缩消耗的宝贵内存空间；经过计算约5亿数据均分为10万份布隆存储模块，每个存储模块存储大约5000条手机号后5位+umid的可Mapping数据，经计算每个布隆存储模块约占用24.42kb大小；

当前redis使用：

10000*24.42/1024/1024＝2.324GB；如果单纯的使用手机(11位) 加单条可信设备umid(约32位)存储大约需要(11+32)*5亿用户设备 bit/1024kb/1024mb/1024G约为200GB以上的内存空间；综上可以内容存储压缩85倍左右的空间；