[发明专利]一种海量数据的热点数据的分析方法、系统及相关设备

说明书

本发明实施例公开了一种海量数据的热点数据的分析方法、系统及相关设备，用于准确地从海量数据中分析出任意周期的热点数据。本发明实施例方法包括：计算第一当前时间的第一偏移量，并根据所述第一偏移量计算得到第一逻辑时间；所述第一逻辑时间的时间粒度与多周期访问频度列表中的目标参考逻辑时间的时间粒度相同；确认所述第一逻辑时间与所述多周期访问频度列表中的目标参考逻辑时间是否相符；若相符，则将所述多周期访问频度列表中的目标参考逻辑时间内访问次数满足预设阀值的数据作为在所述第一逻辑时间的时间粒度内的热点数据。

技术领域

本发明涉及海量数据的处理技术领域，具体涉及一种海量数据的热点数据的分析方法、系统及相关设备。

背景技术

随着互联网的发展，各行业都面临着海量数据的处理。其中，如何实时、有效且低成本地分析出海量数据中的热点数据，对于进行海量数据分级存储、热点数据就近接入等都具有重大意义。

目前，海量数据中的热点数据的分析主要包括以下两种方法：

A1，根据数据被访问次数的宏观规律，预设数据被访问的阀值，在数据被访问的次数超过预设的阀值时，该数据作为热点数据；

A2，根据数据被访问时间的形态规律，将访问时间在某一时间后的数据作为热点数据。

发明人发现以上两种热点数据的分析方法分别存在如下技术问题：

对A1中的分析方法，没有考虑到数据被访问的时间局限性，大部分数据在某一历史时间段内被频繁访问，成为历史时间段内的热点数据，但是在历史时间段后不再被访问或访问较少，成为冷数据，但是仍然被作为热点数据；

对A2中的分析方法，没有考虑数据被访问的频率，对于某些新上传的文件中的数据，可能只被访问过一次，却被作为热点数据。

发明内容

针对上述存在的技术问题，本发明实施例提供了一种海量数据的热点数据的分析方法、系统及相关设备，能够准确地获得任意时间周期内的热点数据。

本发明第一方面提供了一种海量数据的热点数据的分析方法，包括：

计算第一当前时间的第一偏移量，并根据所述第一偏移量计算得到第一逻辑时间；所述第一逻辑时间的时间粒度与多周期访问频度列表中的目标参考逻辑时间的时间粒度相同；所述多周期访问频度列表至少包括至少一种不同时间粒度的参考逻辑时间和在每一种所述参考逻辑时间内至少一个数据的访问次数；

确认所述第一逻辑时间与所述多周期访问频度列表中的目标参考逻辑时间是否相符；

若相符，则将所述多周期访问频度列表中的目标参考逻辑时间内访问次数满足预设阀值的数据作为在所述第一逻辑时间的时间粒度内的热点数据。

进一步地，所述计算第一当前时间的第一偏移量，并根据所述第一偏移量计算得到第一逻辑时间包括：获取第一当前时间；计算所述第一当前时间与格林威治标准时间的第一偏移量；根据所述第一偏移量，采用多周期归档算法计算第一逻辑时间。

在一个可实施的方式中，所述方法还包括：当收到边缘节点的数据访问请求时，对所述多周期访问频度列表进行更新，所述数据访问请求中包括数据的特征信息。

进一步地，所述对所述多周期访问频度列表进行更新包括：计算第二当前时间的第二偏移量，并根据所述第二偏移量计算得到第二逻辑时间；所述第二逻辑时间的时间粒度与所述多周期访问频度列表中的目标参考逻辑时间的时间粒度相同；确定所述第二逻辑时间是否与所述多周期访问频度列表中的目标参考逻辑时间相符；若相符，则更新所述多周期访问频度列表的目标参考逻辑时间中所述特征信息对应的数据的访问次数；若不相符，则更新所述多周期访问频度列表中目标参考逻辑时间，和所述多周期访问频度列表中目标参考逻辑时间中的数据的访问次数。