[发明专利]一种提高大数据统计闲时计算效率的方法及装置

说明书

技术领域

本发明涉及通信技术领域，尤其涉及一种提高大数据统计闲时计算效率的方法及装置。

背景技术

FOTA(Firmware Over The Air)是一种无线手机升级软件，FOTA操作记录的大数据统计方案引入了目前大数据领域使用较多的闲时计算，但也存在较多问题。

单张分表的数据量大小与单次闲时任务的计算时间关系耦合度较高，数据量大，计算时间就久，如果单张量小，生成的分表数量会太多，中间件的负担就会太大，如果单张量大，限时任务的计算时间久，且处于写状态的那张分表的数据量也会处于一个较大值，那么，用户在进行统计操作的时候，就很可能会遇到闲时任务还未计算完成的情况，即使没有遇到这种情况，也很可能会面对处于写状态分表数据量较大的情况，那么预期的混合运算的时间就会较久，所带来的用户体验不佳；以分表为基本单元，闲时任务必须要等到分表完成写操作后才能运行，闲时任务的真实运行频率就会处于一个较低的值，效率很低；由于业务需求的特点，当用户点击升级下载，一条升级记录写入数据库，然后等用户完成下载动作，系统会进行回调动作，对之前写入数据库的记录进行下载状态等字段的更新，这个更新所需要的时间与用户完成下载的时间有关，可能快也可能慢，这样一张分表从写完所有数据到切换到只读状态就需要一个不确定的时间，而闲时任务需要等待这个不确定的时间，对效率又是一个降低。

发明内容

本发明的主要目的在于提出一种提高大数据统计闲时计算效率的方法及装置，通过将闲时计算的基础单位从分表改为单条记录，提高闲时计算的效率，达到提高服务器的使用效率，提高用户体验的目的。

本发明解决上述技术问题的技术方案如下：

根据本发明的一个方面，提供的一种提高大数据统计闲时计算效率的方法，包括：

将需要进行闲时计算的数据库中的每一个分表拆分为若干个单条记录，所述单条记录中包含更新标识字段；

启动闲时计算任务，通过所述更新标识字段判断所述单条记录是否已完成更新；

若已完成更新，则对所述单条记录进行闲时计算，并将闲时计算的结果生成闲时报表。

优选地，所述单条记录中还包括闲时报表生成字段，用以表示所述单条记录是否已完成闲时计算，并生成闲时报表。

优选地，所述若已完成更新，则对所述单条记录进行闲时计算，并将闲时计算的结果生成闲时报表之后还包括：

将所述单条记录的闲时报表生成字段的值设置为true。

优选地，所述更新标识字段为布尔型的isWritable字段。

优选地，所述启动闲时计算任务，通过所述更新标识字段判断所述单条记录是否已完成更新包括：

启动闲时计算任务；

判断所述更新标识字段的值是否为true，若是则表示所述单条记录正在更新；

若所述更新标识字段的值为false，则表示所述单条记录已完成更新。

作为本发明的另一个方面，提供的一种提高大数据统计闲时计算效率的装置，包括：

拆分模块，用于将需要进行闲时计算的数据库中的每一个分表拆分为若干个单条记录，所述单条记录中包含更新标识字段；

判断模块，用于启动闲时计算任务后，通过所述更新标识字段判断所述单条记录是否已完成更新；

闲时计算模块，用于完成更新后，则对所述单条记录进行闲时计算，并将闲时计算的结果生成闲时报表。

优选地，所述单条记录中还包括闲时报表生成字段，用以表示所述单条记录是否已完成闲时计算，并生成闲时报表。

优选地，还包括：

闲时报表生成模块，用于将所述单条记录的闲时报表生成字段的值设置为true。

优选地，所述更新标识字段为布尔型的isWritable字段。

优选地，所述判断模块包括：

任务启动单元，用于启动闲时计算任务；

更新判断单元，用于判断所述更新标识字段的值是否为true，若是则表示所述单条记录正在更新；若所述更新标识字段的值为false，则表示所述单条记录已完成更新。