[发明专利]一种数据存储结构、数据存储查询方法、终端及介质

说明书

本发明属于数据存储技术领域，具体涉及一种数据存储结构、数据存储查询方法、终端及介质，包括硬盘的冷数据集群、内存的热数据集群和内存的ID收录集群；所述冷数据集群，用于存储若干个设备数据，每个设备数据包括设备ID；所述热数据集群，用于存储活跃数据，活跃数据为在设置的时间阈值T内被重复查询的设备数据；所述ID收录集群，用于存储设备ID。本发明将广告人群数据进行冷热数据区分，将频繁出现在互联网上的设备数据存储在内存的热数据集群中，一段时间不在互联网上出现的设备数据存储在成本较低的硬盘的冷数据集群中，从而充分利用了资源、节约了存储成本。

技术领域

本发明属于数据存储技术领域，具体涉及一种数据存储结构、数据存储查询方法、终端及介质。

背景技术

广告程序化交易对API请求的实时性要求非常高，大部分ADX(广告交易平台)都要求DSP在100ms以内完成请求的响应，请求的频率非常高，请求的数据量非常大，在API端往往需要在内存中缓存广告的人群数据，这部分数据量往往非常大，随着内存成本的水涨船高，这部分的资源消耗也成为广告程序化交易服务的一大资源开销。

在程序化广告交易的竞价流量中，程序逻辑一般会通过广告流量中的设备ID获取该设备的设备数据，设备数据是一个比较庞大的集群，设备ID的量也非常大，一般在10亿规模以上，如此大规模的数据需要非常大的存储空间。

为了加快API的响应效率，我们一般会把数据存储在内存中，当然这也造成了非常高的存储成本。通过观察发现，因为网民更换手机设备等原因，一部分的设备将不会再出现在互联网上，还有部分网民上网的频率比较低，如果我们一直将这部分数据存储在内存中，将会造成资源的浪费和成本的增加。

发明内容

针对现有技术中的缺陷，本发明提供了一种数据存储结构、数据存储查询方法、终端及介质，将广告人群数据进行冷热数据区分，将频繁出现在互联网上的设备数据存储在内存的热数据集群中，一段时间不在互联网上出现的设备数据存储在成本较低的硬盘的冷数据集群中，从而充分利用了资源、节约了存储成本。

第一方面，本发明提供了一种数据存储结构，包括硬盘的冷数据集群、内存的热数据集群和内存的ID收录集群；

所述冷数据集群，用于存储若干个设备数据，每个设备数据包括设备ID；

所述热数据集群，用于存储活跃数据，活跃数据为在设置的时间阈值T内被重复查询的设备数据；

所述ID收录集群，用于存储设备ID。

第二方面，本发明提供了一种数据存储查询方法，基于第一方面所述的数据存储结构，包括以下步骤：

获取广告请求，根据广告请求得到设备ID；

查询ID收录集群；

判断ID收录集群是否存储有设备ID，若是，查询热数据集群，若否，将广告请求反馈给广告出价单元；

判断热数据集群是否存储有与设备ID相关的设备数据，若是，将设备数据反馈给广告出价单元，若否，则查询冷数据集群；

将从冷数据集群中查询到的设备数据反馈给广告出价单元，并将设备数据作为活跃数据更新到热数据集群中；

根据当前设备数据被查询的时间作为初始时间，判断在设置的时间阈值T内，设备数据是否被再次查询，若否，将设备数据从热数据集群中删除。

优选地，在获取广告请求前，还包括获取设备数据，将设备数据存入冷数据集群，将设备ID存入ID收录集群。

优选地，所述冷数据集群，用于存储若干个设备数据，每个设备数据包括设备ID；

所述热数据集群，用于存储活跃数据，活跃数据为在设置的时间阈值T内被重复查询的设备数据；