[发明专利]一种大数据高并发下人群画像存储及定向系统及方法

说明书

本发明公开了一种大数据高并发下人群画像存储及定向系统及方法基于文件的共享内存的自定义缓存系统，消息处理管理系统，基于人群画像数据进行bit位映射，用户标识ID转化为64位hash值进行存储，多hash函数，循环比对，避免碰撞的压缩写，基于位操作及校验值的定向功能模块的读进程的结合，形成了一套完善的人群画像的存储及定向系统。本系统具有很强的健壮性，先进性，通用性，很好的可维护性，易用性。

技术领域

本发明涉及一种大数据高并发下人群画像存储及定向系统及方法。

背景技术

随着网络技术的发展及智能终端的快速普及，移动互联网及传统互联网给大数据精准营销公司带来了新的机遇，同时也带来了新的挑战。

在大数据精准营销公司中，互联网广告平台DSP(需求方平台)是一个在线实时广告平台，它拥有两个核心特点，一是大量数据下非常快的数据运算速度和技术，二是高并发下先进的用户定向技术能力。

互联网广告平台对数据运算技术和速度、用户定向技术都要求极其苛刻。媒体卖方平台向DSP发竞价请求，到DSP的竞价响应，整个时间不得超过120毫秒。在这段时间内dsp平台还需要对几十乃至于上百个订单的每个订单进行地域判断，平台判断，频控次数判断，价格判断，尺寸判断，广告类型判断，点击数判断，曝光数判断，黑白名单判断，展示类型判断等等，还要对用户进行性别、职业、年龄、收入、兴趣爱好等等进行判断。实现用户定向投放。在几十万QPS的DSP平台上，实现对60亿左右的人群画像数据进行精准投放，这样的高并发下大量数据精准定向这对系统的架构带来极大的挑战。

用户定向是指对用户进行性别、职业、年龄、收入、兴趣爱好等等属性进行判断，选择出合适的用户。例如:某个奶粉的广告主希望看到广告的用户是女性、年龄在20-45之间的，月收入5000以上等等要求的人看到，DSP平台会根据这些要求定向投放。本公司的人群画像数据分6类45种左右状态，一条数据大约是200个byte左右，60亿左右的数据大小为12T左右，这些数据需要全部放在内存中，对于key value的缓存大约需要16T左右的内存，像redis还需要准备2倍以上的空间，大约需要32T以上。对内存的占用及系统的维护都是公司难以承受的。

人群画像的存储和定向系统需要满足以下要求：第一，毫秒级的读写及精确定向。第二，实时的在线增量添加及更新及数据的可持久化。第三，间隔时日，实时的在线无痕动态全量更新，更新中不对竞价系统有任何影响。第四，高并发下的稳定性，健壮性及运维的简单易用性。毫秒级的读写和可持久化，决定了必须用可持久化的分布式缓存，但现在常用的可持久化的分布式缓存redis面临着一系列的问题。首先，当数据量比较大时，持久化会占大量的CPU和内存资源，出现服务暂停现象。其次，全量更新时，主从进行全量同步，内存占用是Redis存储量的一倍以上。更可怕的是，大量数据的全量同步，会使主服务器占大量的CPU和内存资源造成说服务会中断，服务器无法响应请求。再次，redis是单线程的，单台服务器无法充分利用多核服务器的CPU。内存利用也很不经济。最后，是redis在全量更新删除操作的时候，也需要手动删除，同时还要做主从同步，造成系统中断服务。同时只能做物理删除，无法保留历史数据。

发明内容

本发明的目的在于提供一种大数据高并发下人群画像存储及定向系统及方法，旨在通过将基于文件的共享内存、分组、分片、bit位映射压缩人群画像，hash映射和链表结合的存储、bit位映射数据快速用户定向，远程调用(RPC)等功能有机的结合在一起，形成了一套完善的技术方案。

为实现上述的发明目的，本发明的技术方案如下：

首先，计算所需要的缓存大小进行分块，每个分块建立一个基于文件的共享内存，生成自定义缓存。同服务器的不同的进程开启远程调用(RPC)功能并共享该共享内存。共享内存中的数据有操作系统控制刷新文件到磁盘上。该服务器有多个读进程和一个写进程，进程间的数据通过共享内存映射。