[发明专利]一种电动汽车及充换电设施系统海量数据处理方法

说明书

技术领域

本发明涉及一种计算机应用的海量数据处理方法，尤其是涉及一种专用于电动汽车系统海量数据处理方法。

背景技术

2009年初国家电网曾经做了汽车充电站的十年长期发展规划。根据规划，到2015年我国汽车充电站数量将达到1700座；到2020年我国汽车充电站数量有望达到10000座。这一规划在电动公交车和PHEV（插电式混合动力汽车）、EV（电动汽车）乘用车的共同拉动下，有望成为现实。

汽车充电站的管理需要用到电动汽车管理系统，电动汽车管理系统需要采集数据，其涉及的数据采集主要通过汽车充电站的站级系统采集充电站数据，将数据集中起来。

对于实时采集的数据类型包括：

1)电能数据：包括表码、需量等。

2)模拟量：包括电压、电流、有功功率等。

3)电能质量统计数据：包括电压、功率因数、谐波等数据。

4)事件记录数据：包括终端和表计的事件记录数据。

5)开关量数据、监控数据。

而运营管理方希望展示的分析数据包括：工况统计、计量点电量、功率因数、对象电量、负荷统计、极值分析数据、采集完整率、流量数据。再深入的分析包括涉及决策支持、运营效益、充电设备利用率等。

由于电动汽车管理系统实时采集的数据相当庞大，一般的处理方式已经很难满足系统管理的要求。

现有的应用系统直接依靠采集的基础数据提供用户所需的结果需要借助数据库的SQL统计分组等语句和应用服务器的实时计算能力，在数据量海量情况下对数据库系统和应用系统都有很大的压力，且某些应用功能要多种业务数据的综合分析才能得出最终结果，此时实时计算更是耗时巨大,对数据库、应用服务器的软硬件也提出了很高的要求，由于统计的耗时很长，用户的体验也很差，特别在多用户并发查询操作的情况下，系统不能再处理用户的请求,甚至造成系统内存不足而宕机。

发明内容

本发明所要解决的技术问题，就是提供一种电动汽车及充换电设施系统海量数据处理方法，其既能满足系统管理的要求，且实时计算费时较短，统计耗时也不长，用户体验较好，对数据库、应用服务器的软硬件要求不高，即便在多用户并发查询操作的情况下，系统也能很好地处理用户的请求,不会造成系统内存不足而宕机。

解决上述技术问题，本发明采用的技术方案如下：

一种电动汽车及充换电设施系统海量数据处理方法，包括以下步骤：

S1前置采集系统通过GPRS（通用无线分组业务）网络或应用程序接口、WebService（在线应用服务）服务其中之一的方式采集充电站的实时数据，根据实时数据的属性和业务特征按时间分表的方式录入基础数据采集库；

S2根据实时数据的属性，调用策略库的对应处理策略，对采集的实时数据进行预处理，形成基础数据；

S3根据基础数据的属性和业务特征，调度系统启动自动计算任务,并赋予自动计算任务对应的属性值；

S4调度系统对自动计算任务按照综合权重值的优先级排序，通过策略库中配置的权重阀值动态分配双线程池运行，分析处理基础数据得到以计量点对象为基础的基础计算数据；

S5计算服务向COMCACHE(缓存系统)缓存以计量点对象为基础的基础计算数据；

S6计算服务对COMCACHE缓存中以计量点对象为基础的基础计算数据二次处理,分析并计算出以充电桩、充电站、地区、全省为属性的高级计算数据；

S7DBSERVER存储系统向计算结果数据库存储基础计算数据和高级计算数据。

所述的步骤S1中，

实时数据是指：电动汽车充电站运营中产生的一系列不同种类的实时数据，包含：1)电能数据：包括表码、需量等；2)模拟量：包括电压、电流、有功功率等；3)电能质量统计数据：包括电压、功率因数、谐波等数据；4)事件记录数据：包括终端和表计的事件记录数据；5)开关量数据、监控数据；

实时数据的属性和业务特征是指：属性是:实时数据的不同种类,如表码、瞬时量、谐波、功率因素等；业务特征是：每个种类实时数据的采集密度、采集时间、数据项属性、所属上级对象。

所述的步骤S2中的实时数据预处理至少包含以下内容之一：数据的合并、合理性检查、表码飞走、表码反走、数据满量程、缺数统计、缺数的线性拟合；

所述的步骤S2中的策略库是指：一组可配置属性和方法的集合，详细定义了各种业务的参数及每种采集数据需要处理的过程和方法，存放于数据库；