[发明专利]一种基于时空网格的数据过滤方法、终端设备及存储介质

权利要求书

1.一种基于时空网格的数据过滤方法，其特征在于，包括以下步骤：

S1：采用基于规则的过滤器对数据进行过滤处理，剔除数据中不符合规则的异常数据；

S2：对过滤处理后的数据进行时空网格化处理为时空网格编码后，以哈希表结构进行存储；

S3：通过时空过滤器，对哈希表中不满足时空约束条件的数据进行过滤。

2.根据权利要求1所述的基于时空网格的数据过滤方法，其特征在于：不符合规则的异常数据包括：字段不完整的数据、存在于黑名单上的数据和不满足业务规则的数据。

3.根据权利要求1所述的基于时空网格的数据过滤方法，其特征在于：步骤S2中哈希表中关键字字段对应的内容为数据类型与时空网格编码的拼接。

4.根据权利要求1所述的基于时空网格的数据过滤方法，其特征在于：时空网格编码具体为：timeSlot|longitudeSlot|latitudeSlot，其中：“|”表示分隔符，timeSlot表示时间槽，longitudeSlot表示经度槽，latitudeSlot表示纬度槽，计算公式分别为：

timeSlot＝(timestamp–timestamp％timeSlotSize)/timeSlotSize

longitudeSlot＝(longitude–longitude％longitudeSlotSize)/longitudeSlotSize

latitudeSlot＝(latitude–latitude％latitudeSlotSize)/latitudeSlotSize

longitude＝int(longitude*100000)

latitude＝int(latitude*100000)

其中，timestamp表示时间戳，timeSlotSize表示时间戳单位，longitude表示经度值，latitude表示纬度值，longitudeSlotSize表示经度槽单位，latitudeSlotSize表示纬度槽单位，int(.)表示取整。

5.根据权利要求1所述的基于时空网格的数据过滤方法，其特征在于：步骤S3中采集日志基于通过时空过滤器进行过滤的具体过程包括以下步骤：

S301：根据接收到的采集日志A，提取其采集地点P和采集时间戳t；

S302：从redis中获取采集地点网格P对应的网格、以时间t对应时间槽为基准的前N个时间槽内的采集日志；

S303：判断采集日志A所在时间槽是否已存在采集日志，如果是，进入S304，否则，进入S305；

S304：判断采集日志A的时间是否比所在时间槽中已存在的采集日志的时间早，如果是，进入S306，否则，判定采集日志A为滞留日志，结束；

S305：将redis上该时间槽的采集日志更新为采集日志A，进入S307；

S306：将redis上该时间槽的采集日志更新为采集日志A，判定采集日志A为滞留日志；

S307：判断前N个时间槽是否存在采集日志A，如果是，判定采集日志A为滞留日志；否则，判定采集日志A为非滞留日志；

S308：对所有滞留日志进行过滤处理。

6.一种基于时空网格的数据过滤终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～5中任一所述方法的步骤。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～5中任一所述方法的步骤。