[发明专利]数据处理方法、系统、计算机存储介质及电子设备

说明书

本发明公开了一种数据处理方法、数据处理系统、计算机存储介质及电子设备，数据处理方法包括以下步骤：S1、记录每一辆经过起点区域和终点区域的过车数据，得到起点数据和终点数据；S2、将起点数据和终点数据分别写入分区表；S3、将分区表内的起点数据与终点数据进行匹配；S4、预定时间之后，删除分区表中未匹配成功的起点数据和终点数据。根据本发明实施例的数据处理方法，通过将起点数据和终点数据分别写入不同的分区表，将不同分区表的数据进行匹配，并且在预定时间之后，将未匹配成功的数据进行定期删除，可以合理删除过气数据，避免数据占用过大空间，保证系统运行速度，并且使得数据系统可以长期稳定运行。

技术领域

本发明设计数据处理技术领域，具体涉及一种数据处理方法、数据处理系统、计算机存储介质及电子设备。

背景技术

OD(origin-destination)分析，是指一个区域到另外一个区域的发射量和吸收量，通过OD分析能够知道两个地方的车辆进出情况。

每一辆过车，经过了设置的O区域，有可能在未来某一时间经过D区域。形成一条发射量和接收量，也有可能不在D区域出现。通过缓存存储O区域的数据，针对每一个D区域的数据进行一次搜索的对比。或者是通过把O的数据放在数据库表中，通过每条D区域的数据进行对比，进行搜索，匹配上来的就组成了一条OD发射。匹配不上的，而且过期的数据，就进行去除。

目前，OD分析通常采用内存的缓存方案，当数据量大到一定的程度，就需要写入磁盘，对大批量数据的分析，存在较大限制。

如果采用单表写入数据库的方式，当O区域的车辆数据和D区域的车辆数据匹配后，生成一条OD量，那么这条数据在O区域和D区域则已经形成过期数据。而车辆如果只是经过O区域或者是D区域，在很长一段时间没有同时经过两个区域，那这辆车的数据也是过期数据。由于过期的数据混合在有效数据中，只能使用DML语句删除。这种方案在数据库中会出现如下问题：会留下数据孔隙，随着系统不断的运行，单表会越来越大，查询匹配会越来越慢。

发明内容

本申请的一个目的是提供一种数据处理方法、数据处理系统、计算机存储介质及电子设备，可以合理删除过期数据，避免数据占用过大空间，保证系统运行速度。

根据本发明第一方面实施例的数据处理方法，包括以下步骤：S1、记录每一辆经过起点区域和终点区域的过车数据，得到起点数据和终点数据；

S2、将所述起点数据和所述终点数据分别写入分区表；S3、将所述分区表内的所述起点数据与所述终点数据进行匹配；S4、预定时间之后，删除所述分区表中未匹配成功的所述起点数据和所述终点数据。

根据本发明实施例的数据处理方法，通过将起点数据和终点数据分别写入不同的分区表，将不同分区表的数据进行匹配，并且在预定时间之后，将未匹配成功的数据进行定期删除，可以合理删除过气数据，避免数据占用过大空间，保证系统运行速度，并且使得数据系统可以长期稳定运行。

根据本发明的一个实施例，所述分区表为OD表。

根据本发明的一个实施例，所述分区表按照时间进行分区。

根据本发明的一个实施例，所述分区表由PostgreSQL使用派生表的方式支持。

根据本发明的一个实施例，所述分区表的父表为空表，所述分区表的子表为多个，多个所述子表的数据分别独立处理。

根据本发明的一个实施例，在步骤S4中，所述预定时间为一天、一周或一个月。

根据本发明的一个实施例，在步骤S4中，采用DDL的方式删除所述分区表中未匹配成功的所述起点数据和所述终点数据。